metal-cppを使用して、C++でMetalのプログラムを作成する

metal-cppを使用して、C++でMetalのプログラムを作成する

C++のゲームやAppで、Metalの機能を活用できるようになりました。metal-cppでC++コードをMetalにブリッジする方法やオブジェクトライフサイクルの管理方法を紹介し、さらに、これらの言語をAppで連携させるユーティリティについて解説します。また、Objective-CとC++をスムーズに統合するAppアーキテクチャの設計に関するベストプラクティスも紹介します。

リソース
関連ビデオ

WWDC22
- Metal 3の紹介
ダウンロード

♪ アップテンポなヒップホップ曲 ♪ ♪ 皆さん始めまして Metal Ecosystem teamのエンジニアのKeyi Yuです今回は Metal-cpp の説明をします Metal-cpp はApple Platform のAppに C++ 言語でMetal の機能を追加します低オーバーヘッドのC++記述によるMetal-cpp で App にMetal 機能を組み込めますまず Metal-cpp の機能概要と仕組みを説明 Objective-C のオブジェクト指向の開発ライフサイクルの詳細にも触れます C++ と Objective-C のライフサイクルの違いをどう取扱うか方法を教えしますオブジェクトのライフサイクル管理に Xcode と Metal-cpp は優れた機能を備えてます最後にC++ コードをObjective-C クラスで扱える方法を教えますでは Metal-cpp から見ていきましょう Metal による最高の Graphics で Apple Platform のApp やゲームに GPU のパワーを今までにないほど発揮できます Objective-C のパワフルな機能や技法を元に作成されました C++ がコードベースだとMetal Objective-C の C++ ヘッダの代替えインターフェイスが必要そこで metal-cpp！ C++ App とObjective-C Metal を集約するC++ 言語です Metal-cpp をApp 作成に使用するとC++ 言語をMetal クラスで扱える同時にObjective-Cヘッダの呼び出しにも遜色ありません Metal-cpp は低付加的なMetal C++ ラッパー低負荷的な処理の上にシングルファイルのC++ ライブラリ関数と呼び出しインライン展開 Objective-C クラス定数列挙型のMetal C++ 名前空間のC++ へのダイレクトマッピングで Metal API 実装 Foundation やCoreAnimation に Metal-cpp ラッパー使用 Apache 2 ライセンスのオープンソースなのでライブラリを編集しApp に簡単に追加できます C++ 関数呼び出しのインライン展開で Objective-C ヘッダ実行 Objective-C のコンパイラと同じ機構で Objective-C メソッド処理を実装しますなので低オーバーヘッドのラッパーです Objective-C 呼び出しにC++関数呼び出しへの１対１マッピングを実装し Cocoaメモリ管理に従いますこれについては後ほど説明します１対１マッピングでGPU Frame Capture と Xcode デバッガーをデベロッパーツールでシームレスに使用できます以下は Metal-cpp で三角形の描画に必要な関数呼び出しです C++ 言語に詳しい方は同じシンタックスなので Metal を習得する良い機会だと思います Metal をObjective-C の関数呼び出しに- 使用した事があるならMetal の- Objective-C 呼び出しとmetal-cpp の使用も- ほぼ同じと理解ください今から metal-cpp の便利な使用方法を紹介まずコマンドバッファーにコマンドリストを追加 GPU 側で実行するよう命令します Objective-C への認証マッピングには C++ の生ポインターを使用しますレンダーコマンドエンコーダーを作成しコマンドバッファにレンダーコマンドのリストを格納 C++ の render CommandEncoder と Objective-C の renderCommandEncoder WithDescriptor は同じプログラム言語の命名規則だけが異なりますレンダーパイプラインのオブジェクトに頂点シェーダーとフラグメントシェーダーを含むその他の描画設定をしますエンコード呼び出しをし三角形を描画しますレンダーコマンドの作成を終了したことを示します可能な描画を示し三角型を描画します最後にコマンドバッファーに注目しますこれでコマンドリストをGPU で実行できます Metal-cpp 使用とMetal Objective-C とではほぼ変わりません Metal-cppの言語のシンタックスをフルに理解しなくても Metalのドキュメントや概念を把握すればMetalの使用できます旧Deferred Lightingの例の問題を解決したことはあるでしょう今度はMetal-cppのDeferred Lightningの問題です Metal-cppで描画の練習を重ねて下さい Metalで解読するインクリメンタルな C++言語のサンプルを多数紹介し色んなタスクに応用できます
Metal-cppの説明を聞いて実際この言語を作業にどう使用するか？ Metal-cppは昨年公開されましたご覧のページでダウンロードや詳細の確認できますインストールから使用について今から説明します Xcode を開きMetal-cpp ファイルをダウンロードして内容を展開します Metal-cpp のフォルダを現行プロジェクトに追加こうするとC++ 言語をC++17 以降の規格に更新しないといけません次にFoundation QuartzCore とMetal のフレームワークを追加最後に３つのフレームワークの C++ インターフェイスを実行するのため Metal-cpp は３つのヘッダのみのライブラリなので１つのcpp ファイルに付き以下のマクロコードを追加し実装を生成するようにします以下が３つのコードです NS_PRIVATE_IMPLEMENTATION CA_PRIVATE_IMPLEMENTATION MTL_PRIVATE_IMPLEMENTATION Metal-cpp のマクロに関しての詳細は詳細は Metal-cpp のヘッドについてのフォルダを参照ください Metal-cpp は単一ヘッダでインクルードするかシングルヘッダとして追加できます必要に応じヘッダファイルのインポートができますマクロコードのNS CA と MTL_PRIVATE_IMPLEMENTATION の割り当ては一回だけです割り当ての複製でエラーが生じるからです Metal-cpp を使用するためにCocoa のメモリ管理のポリシーに遵守したルールを理解するのが重要なのは便利なユーティリティでオブジェクトライフサイクルや App のアーキテクチャ管理と他のフレームワークとの規格デザインに役立つからですオブジェクトライフサイクル管理から説明します通常 App を利用をする時はメモリーの確保と解放が必要ですコマンドバッファやリソースパイプライン状態オブジェクトらの管理に必要なメモリ管理のため Objective-C やCocoa に含まれる参照カウントを利用参照カウントは Metal-cppにも同じくありますメモリ管理の合理化のため参照カウントを利用します参照カウントを使う場合は RetainCount のプロパティが全オブジェクトにあります App のコンポーネントはオブジェクトの相互作用の実施のためにカウントを増やし作用終了の際はカウントを減らします retainCount がゼロになると実行時のオブジェクトは開放されます Objective-C の参照カウント方式は２種類あります手動(Manual) での参照カウントのMRR と自動(Automatic) 参照カウントのARC です ARC での参照カウントはコンパイル時に適切なメモリ管理呼び出しを自動的に挿入します Metal-cpp オブジェクトの保持や解放は手動です Cocoa のポリシーのオブジェクト保持と解放についてのルールを理解する必要があります C++ でのオブジェクト作成と違い metal-cpp ではオブジェクト作成をNew” で削除をDelete” できません Cocoaの方式のalloc “New “Copy“ “コピー元- を反映する”と作成で生成されたオブジェクトには所有権があります Retain 機能でオブジェクトの所有権を保持できますオブジェクトの必要ない場合は所有権を放棄する必要がありますオブジェクト所有権の放棄は自分で設定ができます所有権のないオブジェクトの放棄を行うと復元時のエラーが発生する場合があります今までの説明した作業をCocoa をもとにした事例で見ていきましょうクラスAではalloc”でオブジェクトを生成し init”で初期設定をします init”の初期設定の復元は絶対しないことクラスA が所有権を保持するので割り当て解除をする必要がありますオブジェクトの参照カウントが１になります次はクラスB が参照を利用しオブジェクトを所有しますオレンジ色のキューブが指定する所有権を２つのオブジェクトが共有していますここで参照カウントが１増えます
このオブジェクトを必要としないクラスA はオブジェクトを手動で開放する必要があります結果参照カウントが１減ります今度はクラスB だけがオブジェクトを所有しますこれからクラスB がオブジェクトを解放します参照カウントが０で実行時にオブジェクトは解放されます以下の状況はクラスBからのオブジェクトを戻す処理の例ですしかしクラスB のオブジェクトは他のプロがラムに必要なのでクラスB のオブジェクトの割り当てをすぐに解除することはできませんこの場合はクラスB の自動解放機能を利用自動解放機能 (autorelease) を利用しても参照カウントは今だ１なので後でオブジェクトが使用できますここで質問です: クラスB はこのオブジェクトを保有しないので割り当て解除の責任はどこにあるかフレームワークのFoundationにAutoreleasePool という仕組みがあります Autoreleaseのインターフェイスを利用し AutoreleasePoolにオブジェクト所有をします AutoreleasePoolが消されると参照カウントが減少されます自動解放オブジェクトの作成は自分だけでなく Metal も多数の自動解放オブジェクトの作成をします一時的オブジェクトを作成しAutoreleasePoolに追加するメソッドは全てー autorelease”の呼び出しを使用します AutoreleasePoolが自動解放をするべきですこれで理解できるようにAutoreleasePoolを利用するとエレガントなコード作成ができます一般 App にAutoreleasePoolを利用するほかワーキングセットを小さくするにもAutoreleasePool”の生成や管理を小規模で追加することをすすめます立ち上げたスレッド内ごとに “AutoreleasePool”を作成する必要もあります以下がAutoreleasePool”と “Autorelease”されたオブジェクトの例ですご覧の通り AutoreleasePoolはalloc”でオブジェクトへ追加してるので所有権があり自動解放処理が必要です AutoreleasePoolです先ほど伝えたようにバッファをコマンド作成をする必要があります Allocで生成してなければ又はCreateで生成してない時は所有のものでないですこの場合 Metal が生成した自動解放のオブジェクトです “AutoreleasePool”にこのバッファを実行します AutoreleasePoolは割り当て解除する事になります “AutoreleasePool”から解放するまでオブジェクトを自由に利用できます renderPassDescriptorを作成しAutoreleasePoolで実行するようにしますあと自動的に解放されたオブジェクトは: RenderCommandEncoder 確認すべきオブジェクトはcurrentDrawable AutoreleasePoolでこれも実行されます pPool->releaseと書きAutoreleasePoolをオートリリースします割り当て解除をする前にAutoreleasePool" は全てをリリースをし今回の例だとコマンド実行のバッファ指定 RenderPassDescriptor RenderCommandEncoder とcurrentDrawable AutoreleasePoolはこの後解除されますこまでCocoa の割り当てオブジェクトの自動的解放と AutoreleasePoolsについて説明しましたオブジェクトライフサイクル管理の便利なツールの正しい使用でZombieオブジェクトの検出やメモリリークを防ぎデバッグ検出に役立たせましょうユーティリティ２種に注目: NS::SharedPtr と NSZombie NS::SharedPtr はライフサイクル管理に役立つ新しいユーティリティです Foundation フレームワークmetal-cpp のフォルダに含まれています std:shared_ptrと多少異なる事にお気づきでしょうか C++ の標準ライブラリとは別口に利用参照カウントの保存するのに追加の負担がありません NS::SharedPtrの説明をしていきますオブジェクトの利用で明確性のある機能と言えば移譲と保持機能です SharedPtr を作成するのに所有の移譲が可能でポインターの参照カウントを保持できます保持機能がパスするオブジェクトへ送信しますこの機能は"AutoreleasePool"のオブジェクト保持とポインタに所有者の権利既存を示すのに使用します下層オブジェクトを受け入れるのには T* のgetとoperator->で可能ですコピー移行構築割り当ては "SharedPtr"の通常の実行でコピーにより参照カウンとは増えます移行は迅速に行われ一般的なケースでは参照カウントは保持されますポインタが破棄されるまでにSharedPtrs は一回は解放の送信をしますこの送信を避けるには分離機能の呼び出しをします先ほどの話に戻りますがポインタの移譲と保持機能と作成する過程の違いを理解するのが重要です手動参照カウント- MRR が１のオブジェクトがTransferptrにあります "Transferptr"からsharedptrにオブジェクトの所有権が移行されても retainCountは変わりませんポインタがスコープ外になるとSharedPtr"のデストラクタが実行され MRR のオブジェクトの開放の呼び出しがあり retainCountが０に減ります今度はNS::RetainPtrの機能について話ます割り当て解放を避け後でオブジェクトを使用したい場合はNS::RetainPtrを利用します MRR オブジェクトでretainCount が１の例です RetainPtrに移行すると retainCountが１増えますスコープ外の実行の際は RetainPtr呼び出しで MRR オブジェクトの開放をし retainCount が１になります通常はオブジェクトの所有権は NS::TransferPtrにあります割り当てオブジェクトを保持すぐに解放したくない場合は"NS::RetainPtr"を利用しますこの二種類の機能でオブジェクトを移行する際 NS::TransferPtr では参照カウントは変わらず NS::RetainPtr の場合参照カウントが１増えるのは下層プロトコルからデータ保持呼び出しがあるからです両方の機能のデストラクタは解放呼び出しをパスインセットのオブジェクトへするため参照カウントは１減ります参照カウントが０になるとオブジェクトはランタイムから解放されます以下はNS::TransferPtrの事例です以前レンダーパスで三角形の描画について説明した際にこのレンダーパイプラインの情報が必要でしたこれがレンダーパイプライン生成に必要な呼び出しですパイプラインディスクリプタに必要なアトリビュートです Cocoaのポリシーではこの呼び出しは new と alloc で始まるので自信の所有オブジェクトとなりますなのでオブジェクトに解放の呼び出しをします NS::SharedPtr では MRR のオブジェクトの解放を呼び出さなくてもよいのは- オブジェクト所有権はNS::SharedPtrs が保有ここで生ポインタをTransferPtr に返します今後は以前のスライドで見たような解放の呼び出しをする必要はありません自動の参照カウント(ARC)の利用に慣れてる方はMRR で NS::SharedPtr の扱い方に似てる事にお気づきでしょう手動でメモリ使用解放済みのメモリ領域を使ってしまいバグ発生した事ないですか？この障害は解放されたオブジェクトを利用しようとした時に生じますこのような時に NSZombie をバグ検出に利用してください今説明した use-after-freeバグが発生した場合ブレイクポイントに達しスタックトレースを表示 Zombie の有効化は環境変数の設定だけで NSZombieEnabled を”YES"設定するだけです Xcode を利用する場合は Zombies の有効化をスキーマ設定でできます以下の通りですまず既存のレンダーパイプライン設定で新しいパイプラインのアセットを作成しますファンクションのnewRenderPipelineState を pDesc に挿入
実行をクリックするとブレイクポイントに達しスタックトレースを表示コードが不完全なようですどこが違うんだろう？ NSZombie のバグ検出はまずスキーマを有効化し
プログラムを再度実行するとブレイクポイントに達しますコンソールの出力の表示に新規データが確認できます： "デアロケート・インスタンスへメッセージ送信" 問題は解除済みの割り当てオブジェクト利用の様ですレンダーパイプラインディスクリプタだと表示なので解除の呼び出しをする前にレンダーパイプラインディスクリプタを利用しますこれでバグ検出ができ問題が解決しましたその他ツールや詳細は今年の WWDC サイトの “ゲームメモリの最適化分析データ”をご参照オブジェクト割り当ての retaincount の追跡管理など参考にして下さい Apple Platform のツールもご参照下さいツールはバッグ検出に便利でパフォーマンスの最適化につながります Metal-cpp のオブジェクトライフサイクル管理の説明ー後はゲームコントローラーやオーディオのフレームワークとのインターフェイス方法について説明します同じく Objective-C です App のエレガントなアーキテクチャーデザインと APIとのインターフェイスをどう同時に実行するか？ Objective-C にViewController を書き込み Metal-cpp のC++ではレンダーコマンドを使用 ViewController のレンダーコマンドの draw の呼び出しが必要ですチャレンジは２つの言語をはっきり分け共有しないといけない事です解決策はObjective-C ファイルからC++ 呼び出しをするアダプタクラスを作成することですアダプタクラスを作成すれば機能を実装したい Objective-C か C++ ファイル生成に集中できます例えば RendererAdapter をObjective-C クラスに作成インプリメンテーションに Objective-C メソッドを追加して- 直接呼び出しをかけれる様にしますインターフェイスではC++ のポインタでオブジェクトのレンダリングを定義しますメソッド内ではC++ 方式のレンダリングを直接呼び出します MTK:View をC++のオブジェクトとして描画方式まで通過する必要がありキーワードの”__bridge”を利用しC++型として認識されないとなりませんこれについては後ほどより詳しく説明します対照に Objective-Cで書かれた MTKView は C++ で書かれた Renderer に呼び出す必要がありますかなりのチャレンジです似た解決策としてアダプタクラスの作成もできます C++インターフェイスでの Objective-C呼び出しがC++ファイルで可能です例えば ViewAdapterのクラスを作成しますインターフェイスではC++で書き込むので RendererクラスでC++の呼び出しが簡単にできますインプリメンテーションに MTKViewからcurrentDrawableと depthStencilTextureらの Objective-C方式を呼び出すここで”__bridge”を含むキーワードに気づきました？ Metal-cppとObjective-Cオブジェクトの「cast- (型変換)」として利用します事前に知ってる通り Metal-cppオブジェクトは手動で保持と解放されるので Objective-Cから生成されたオブジェクトの by Objective-C 自動参照カウントとは違いますですからオブジェクトを MRRからARCへ逆のARCから MRRへ移行するべきですここで３種類の”＿bridge”castを紹介し Objective-CとC++間の型変換に役立つでしょう ”__bridge”のcastはObjective-Cと Metal-Cpp間のオブジェクトの所有権の移行も可能ですここでは所有権の移行はされてません ”__bridge_retained”で Objective-Cのポインタを Metal-Cppポインタに型変換 ARCから所有権を取得します ”__bridge_transfer”でMetal-Cppのポインタを Objective-Cのポインタへ castし所有権をARCへ移行問題の戻るとMetal-CppとObjective-C間ではオブジェクトのcastをする必要があります所有権の移行がされてない場合は ”__bridge”を利用します Metal-cppからObjective-Cにオブジェクト castし Objective-Cに所有権を移行したい時は ”__bridge_transfer”を利用します Objective-Cからmetal-cppにオブジェクトを castし所有権の移行をARCから取得したい時は ”__bridge_retained”を利用しますここではMetalKitを活用しアセットロードのコードを完成させます C++ AppにMetal-cppオブジェクトとしてテクスチャーが必要と言う事です Objective-Cメソッドで作成されます ARCに所有権を移行するので手動解放の機能が必要ですこの事例では ”__bridge_retained”のcastを選択します C++でカタログからテクスチャーをロードし Metal-cppのテクスチャーを返します内部ではいくつかのObjective-C呼び出しを Metal-Kitで実行テクスチャーのロードにオプション定義が必要で MetalKitを利用しテクスチャーロード作成 Objective-Cで呼び出し作成したローダーでテクスチャーオブジェクトを生成しカタログのテクスチャーをロードこの方法はMetalKitのObjective-C メソッドと同じです Objective-Cのテクスチャー生成後は Metal-cppオブジェクトに型変換し ARCから移行する作業です説明した手順を実行する時間になりました練習を通してcastの利用も説明します最初テクスチャーのロードが必要なテクスチャーロードのオプション定義をします Objective-CにMetal-cppの保存と使用- モードの安全な型変換が可能なのはMetal-cpp型の数値の定義が同じだからですテクスチャーロードを作成 Metal-cppのオブジェクトのデバイスなので initWithDeviceメソッドに移行しなくてはなりません Metal-cppオブジェクトは Objective-Cのオブジェクトであるので toll-free オブジェクトでcastします所有権の移行もしませんここでテクスチャーのロードのオプションとテクチャーロード利用しテクスチャー生成しますテクスチャーロードはMetal-cpp型として返しすので ARCから解放して対応するポインター型にcastをする必要があります ”__bridge_retained”のcastを利用します今後このテクスチャーをMetal-cppオブジェクトとして使用できます割り当ての開放も自分の責任です今の話はアダプタについての紹介で２つの言語をプログラムで同時に実装可能にするツールを教えしました Objective-C と C++間でインターフェイスが可能な３種類のcastも説明しました今回の話の概要としてMetal-cppは低オーバーヘッドの効率的な Metal C++ラッパです Metal-cppを利用する時のオブジェクト- ライフサイクル管理そしてObjective-Cとエレガントなインターフェイスの実施方法とバグ検出に役立つツールについて説明をしました Metal-cppをダウンロードし最高のツールをご活用下さい Metalでどんな作品が構築できるかお試しください皆さんがのC++ AppがApple Platformで活用できることを楽しみにしています参照してくれて有難う！ ♪

MTL::CommandBuffer* pCmd = _pCommandQueue->commandBuffer();
MTL::RenderCommandEncoder* pEnc = pCmd->renderCommandEncoder( pRpd );
pEnc->setRenderPipelineState( _pPSO );
pEnc->drawPrimitives( MTL::PrimitiveTypeTriangle, 
                      NS::UInteger(0), 
                      NS::UInteger(3));
pEnc->endEncoding();
pCmd->presentDrawable( pView->currentDrawable() );
pCmd->commit();

3:27 - Draw a single triangle in Objective-C

id<MTLCommandBuffer> cmd = [_commandQueue commandBuffer];
id<MTLRenderCommandEncoder> enc = [cmd renderCommandEncoderWithDescriptor:pRpd];
[enc setRenderPipelineState:_pPSO];
[enc drawPrimitives:MTLPrimitiveTypeTriangle 
        vertexStart:0 
        vertexCount:3];
[enc endEncoding];
[cmd presentDrawable:view.currentDrawable];
[cmd commit];

6:10 - Generate the implementation

#define NS_PRIVATE_IMPLEMENTATION
#define CA_PRIVATE_IMPLEMENTATION
#define MTL_PRIVATE_IMPLEMENTATION

#include <Foundation/Foundation.hpp>
#include <Metal/Metal.hpp>
#include <QuartzCore/QuartzCore.hpp>

11:46 - How to use autoreleased objects and AutoreleasePool

NS::AutoreleasePool* pPool = NS::AutoreleasePool::alloc()->init();
MTL::CommandBuffer* pCmd = _pCommandQueue->commandBuffer();
MTL::RenderPassDescriptor* pRpd = pView->currentRenderPassDescriptor();
MTL::RenderCommandEncoder* pEnc = pCmd->renderCommandEncoder( pRpd );
pEnc->endEncoding();
pCmd->presentDrawable( pView->currentDrawable() );
pCmd->commit();
pPool->release();

11:47 - How NS::TransferPtr works

{
   auto ptr = NS::TransferPtr( pMRR );
   // Do something with ptr 
   . . . 
}

17:19 - How NS::RetainPtr works

{
   auto ptr = NS::RetainPtr( pMRR );
   // Do something with ptr 
   . . . 
}

20:43 - Create an adapter class calling C++ from Objective-C files

@interface AAPLRendererAdapter () 
{
    AAPLRenderer* _pRenderer;
}
@end

@implementation AAPLRendererAdapter
- (void)drawInMTKView:(MTKView *)pMtkView
{
    _pRenderer->draw((__bridge MTK::View*)pMtkView);
}

@end

21:49 - Create an adapter class calling Objective-C from C++ files

CA::MetalDrawable* AAPLViewAdapter::currentDrawable() const
{
    return (__bridge CA::MetalDrawable*)[(__bridge MTKView *)m_pMTKView currentDrawable];
}

MTL::Texture* AAPLViewAdapter::depthStencilTexture() const
{
    return (__bridge MTL::Texture*)[(__bridge MTKView *)m_pMTKView depthStencilTexture];
}

24:59 - Cast between Objective-C and C++ objects and transfer ownership

MTL::Texture* newTextureFromCatalog( MTL::Device* pDevice, const char* name,   
                                     MTL::StorageMode storageMode, MTL::TextureUsage usage )
{
    NSDictionary<MTKTextureLoaderOption, id>* options = @{
            MTKTextureLoaderOptionTextureStorageMode : @( (MTLStorageMode)storageMode ),
            MTKTextureLoaderOptionTextureUsage : @( (MTLTextureUsage)usage )
    };

    MTKTextureLoader* textureLoader = [[MTKTextureLoader alloc] 
                                        initWithDevice:(__bridge id<MTLDevice>)pDevice];
    
    NSError* __autoreleasing err = nil;
    id< MTLTexture > texture = [textureLoader 
                        newTextureWithName:[NSString stringWithUTF8String:name] 
                               scaleFactor:1 
                                            bundle:nil 
                                           options:options 
                                             error:&err];

    return (__bridge_retained MTL::Texture*)texture;
}

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

リソース

関連ビデオ

WWDC22