Metal 3で、リソースのロードを高速化

Metal 3で、リソースのロードを高速化

Metal 3の高速なリソースストリーミングで、アセットを迅速にロードする方法をご覧ください。SSDストレージの速度とApple Siliconのユニファイドメモリアーキテクチャのスループットを活用するために、Appで非同期の "set-it-and-forget-it" ワークフローを使用する方法を紹介します。また、GPU のレンダリングと計算の作業と並行して実行する別のキューを作成し、それと同期させる方法についても検討します。最後に、オーディオなどのアセットを優先度の高いキューに指定して、データを低レイテンシーでロードする方法について説明します。

リソース
関連ビデオ

WWDC22
- Metal 3の紹介
ダウンロード

♪ 心地よいヒップホップ ♪ ♪ こんにちはJaideep Joshiです AppleのGPU SoftwareのエンジニアですこのセッションではゲームやAppのリソースロードを簡素化最適化するMetal 3の新機能をご紹介しますまず高速リソースロード機能が Appのアセットローディングパイプラインにどう適合するかをご紹介します Apple製品の新しいストレージ技術を活用した重要な機能が実装されています高速リソースロードは Appが遭遇する可能性のある興味深いシナリオを解決する高度な機能を備えていますこれらの機能をAppで効果的に利用するために知っておくべきベストプラクティスの推奨事項がいくつかあります Appに高速リソースロード機能を追加する際 Metal System Traceや GPUデバッガなどのツールが遭遇する可能性のある問題の分析と修正に役立ちます最後に高速リソースロードを実際に行う例をご紹介しますでは Metal 3の高速リソースロードの効果をご紹介します
Metal 3の高速リソースロードでは Appleプラットフォームに搭載されている Appleシリコンユニファイドメモリアーキテクチャと高速SSDストレージを活用することでゲームやAppの低レイテンシ化および高スループットでのアセットロードが可能ですゲームのアセットをオンタイムで準備するためにデータをストリーミングしロード時間を短縮するための最適な方法を学びますロード時間を短縮するための重要なポイントは可能な限り粒度を下げ必要な物だけをロードすることです Metal 3の高スループットと低レイテンシにより Appはテクスチャオーディオジオメトリデータなどより高品質なアセットをストリーミングできます次にゲームにおけるアセットのロードの例について説明しますゲームは通常最初の起動時や新しいレベルの開始時にローディング画面を表示しゲームのアセットをメモリにロードしますプレイヤーがレベルを進むにつれゲームはシーン用のアセットをさらにロードしますその欠点はゲームがストレージシステムに何度もリクエストを出し前もってアセットをロードする間プレイヤーは長時間待たされることですさらにこれらのアセットはメモリを多く消費しますこのエクスペリエンスを改善する方法はいくつかありますゲームはプレイヤーがオブジェクトに近づくにつれ動的にストリーミングしてこのエクスペリエンスを改善できますこの方法ではゲームは最初に必要な物だけをロードしプレイヤーがレベルを進むにつれて他のリソースを徐々にストリーミングします例えばこの黒板は最初は低解像度で読み込まれますがプレイヤーが歩き近づくと高解像度で読み込まれますこの方法でローディング時間での待ち時間を短縮できますしかし高解像度のアイテムを読み込むのに時間が掛かり過ぎプレイヤーが近づいても低解像度のまま表示される可能性がありますその対処法として各アセットを小分けにしてストリーミングする方法があります例えばゲームではMipレベル全体ではなくシーン内で見える領域のスパーステクスチャのみをロードすることができますこれでAppがストリームするデータ量を大幅に削減できますこの方法でロード要求は小さくなりますが数は大きくなりますしかし最新のストレージハードウェアは複数のロード要求を一度に実行でき問題ありませんつまりゲームプレイを犠牲にせずにシーンの解像度やスケールを大きくすることができます低ロードのリクエストを大量に出すと同時にロードのリクエストに優先順位をつけ優先度の高いリクエストを時間内に終了させることもできますここまでゲームのビジュアル再現度を上げつつロード時間を短縮する方法を紹介しましたが Metal 3の高速リソースローディングがどのように役立つかをご紹介します高速リソースローディングはストレージからリソースをロードする非同期APIです既存のロードAPIとは異なりロードを発行するスレッドはロードの終了を待つ必要がありませんロードオペレーションは同時に実行され高速なストレージのスループットをより有効活用できますロードオペレーションをバッチ処理することでリソースロードのオーバーヘッドをさらに最小化できます最後に Metal 3ではロードオペレーションに優先順位をつけ低レイテンシを実現可能ですではリソースをロードする手順からアセットロードパイプラインの構築に役立つ主な機能を紹介しますリソースの読み込みは3つのステップで行いますファイルを開き必要なロードコマンドの発行しそのレンダリング作業を同期させますここではファイルを開く方法から説明します既存のファイルを開くにはMetalデバイスのインスタンスでファイルハンドルを作成します例えばこのコードではMetalデバイスのインスタンスを使用して新しいmakeIOHandleメソッドにファイルパスの URLを指定してファイルハンドルを作成しますファイルハンドルができたらそれを使ってロードコマンドを発行できますここではAppの典型的なシナリオとしてロードオペレーションを行い GPU作業をエンコードする場合を説明します既存のロードAPIでは Appはレンダリング作業のエンコード前にロード作業の終了を待つ必要があります Metal 3ではAppはロードコマンドを非同期で実行できますまず Metal IOコマンドキューを作成します次にそのキューを使い IOコマンドバッファを作成しそれらのバッファにロードコマンドをエンコードしますしかしコマンドバッファはコマンドキュー上で非同期に実行されるためAppはロード作業の終了を待つ必要がありません実際にIOコマンドバッファ内のすべてのコマンドが実行されるだけではなく IOコマンドバッファ自体も同時に実行され順序に関係なく完了しますこの同時実行モデルはスループットを最大化しより高速なストレージハードウェアを有効活用できますコマンドバッファには3種類の IOコマンドをエンコード可能ですテクスチャストリーミングのために MetalテクスチャをロードするloadTexture シーンまたはジオメトリデータを MetalバッファにロードするloadBuffer CPUアクセス可能なメモリにロードするloadBytesです IOコマンドキューから IOコマンドバッファを作成しますキューを作成するにはIOコマンドキュー記述子を最初に作成し設定しますキューはデフォルトで同時実行されますがコマンドバッファを連続して順番に実行するよう設定することも可能です次にキュー記述子を Metalデバイスインスタンスの makeIOCommandQueueメソッドに渡しますコマンドキューのmakeCommandBuffer メソッドを呼び出し IOコマンドバッファを作成します次にそのコマンドバッファを使用してテクスチャやバッファをロードするロードコマンドをエンコードします Metalのバリデーションレイヤーは実行時にエンコードエラーを検出しますロードコマンドが先に作成したfileHandle インスタンスを使用しますコマンドバッファにロードコマンドを追加し終わったらコマンドバッファのコミットメソッドを呼び出して実行のためにキューに投入します IOコマンドキューコマンドバッファの作成ロードコマンドの発行キューへの投入を説明したところでロード作業と他のGPU作業の同期についてご説明します Appは通常レンダリング用のリソースの読み込みが完了した後にレンダリング作業を開始しますしかし高速リソースロードを使用するAppは IOコマンドキューとレンダーコマンドキューを同期させる必要がありますこれらのキューはMetalの共有イベントで同期できます Metal共有イベントによりIOキューからのコマンドバッファとレンダリングキューからのコマンドバッファを同期できます waitEventコマンドをエンコードすることでコマンドバッファに共有イベントを待つよう指示できます同様に signalEventコマンドをエンコードすることでコマンドバッファに共有イベントを通知するよう指示できます Metalは共有イベントを完了する前にコマンドバッファ内のすべてのIOコマンドを完了させますコマンドバッファ間で同期するにはまず Metal共有イベントが必要になりますコマンドバッファのwaitForEvent メソッドを呼び出すことで共有イベントを待つように指示できます同様にコマンドバッファのsignalEvent メソッドを呼び出し共有イベントを通知するよう指示できます同様のロジックを対応するGPUコマンドバッファに追加して IOコマンドバッファが同じ共有イベントからの通知を待つようにすることができますまとめると Metal Appのリソースをロードする主な機能とAPIは以下の通りです Metalファイルハンドルを作成しファイルを開く IOコマンドキューと IOコマンドバッファを作成しロードコマンドを発行する次にロードコマンドをコマンドバッファにエンコードしキューで実行する最後に Metal共有イベントと共に waitとsignalEventコマンドを使用しロードとレンダリングを同期させる次は役に立つかもしれない高度な機能について説明します典型的なシナリオとしてゲームのマップ全体をメモリに収められずマップを地域に分割する例を挙げますプレイヤーがマップを進むにつれ一部のマップのプリロードが始まりますプレイヤーの向きからゲームはプリロードに最適な地域が北西　西南西の３地域だと判断しますしかしプレイヤーが西に移動し南下を始めると北西部をプリロードする利点はなくなります今後のロードのレイテンシを短縮するため Metal 3はロードのキャンセルを行えますでは実際のやり方を見てみましょうプレイヤーが中央地域にいるとき 3つの地域のIOコマンドバッファをエンコードしコミットします次にプレイヤーが西の領域から南に向かう際tryCancelメソッドを使い北西地域のロードをキャンセルしますキャンセルはコマンドバッファの要素なためコマンドバッファの実行中にキャンセルできますもし後の時点で地域が完全に読み込まれたかを知りたければコマンドバッファの状態を確認します Metal 3ではIO 作業の優先順位を付けられますプレイヤーがテレポートして新しい場所に移動し大量のグラフィックアセットを読み込むゲームを考えてみましょう同時にゲームではテレポートの効果音を鳴らす必要があります高速なリソースロードによりオーディオを含む Appのすべてのアセットをロードできますオーディオをロードするには先ほどの loadBytesコマンドを使用して Appに割り当てメモリにロードできますこの例ではテクスチャとオーディオのIOコマンドバッファは単一のIOコマンドキューで同時に実行されていますこの図はストレージ層でのリクエストを簡略化したものですストレージシステムはオーディオとテクスチャの両方のロード要求を並行して行えますオーディオの遅延を防ぐためにストリーミングシステムがテクスチャのリクエストよりもオーディオのリクエストを優先できることが重要ですオーディオのリクエストを優先するには IOコマンドキューを別に作り優先順位を高に設定しますストレージシステムが優先度の高いIOリクエストのレイテンシを下げ他のリクエストよりも優先されますオーディオアセット用に優先度の高いキューを別に作成することでオーディオのロードリクエストの実行時間が短くなり並列で行われるテクスチャのロードリクエスト実行時間は長くなります優先度の高いキューの作成方法ですがコマンドキュー記述子の優先順位プロパティを高に設定するだけです優先順位を標準または低に設定し通常通り新しいIOコマンドを記述子から作成することも可能ですキューを作成した後に優先順位を変更することはできませんのでご注意ください Appに高速リソースロードを追加する際に気を付けるべきベストプラクティスをいくつかご紹介しますまずアセットの圧縮を検討しましょうビルトインまたはカスタム圧縮を使用することで Appのディスク使用領域を減らすことができます圧縮を使用すると実行時のパフォーマンスと引き換えにディスク使用領域を削減できますさらにスパーステクスチャを使用する場合はスパースページサイズを調整することでストレージスループットを改善できますそれぞれについて圧縮から先に詳しく見ていきましょう Metals 3のAPIを使ってオフラインでアセットファイルを圧縮できますまず圧縮コンテキストを作成しチャンクサイズと圧縮方法を設定します次にアセットファイルのパーツをコンテキストに渡すことですべてのファイルの圧縮を一度に行うことができます圧縮コンテキストはすべてのデータをチャンクしお使いのコーデックで圧縮しパックファイルに格納しますこの例ではコンテキストは64Kチャンクでデータを圧縮しますが圧縮したいデータのサイズと種類に応じて適切なチャンクサイズを選択できます Metal 3における圧縮APIの使用方法を説明しますまず圧縮ファイルを作成するためのパス　圧縮方法チャンクサイズを指定して圧縮コンテキストを作成します次にファイルデータを取得しコンテキストに追加しますここではファイルデータは NSDataオブジェクトの中にあります複数回コールしてデータを追加すれば異なるファイルのデータの追加が可能ですデータの追加が終わったら FlushAndDestroyCompression Context関数を呼び出し圧縮ファイルをファイナライズ保存しますファイルハンドルを作成することで圧縮ファイルを開いたりアクセスできますこのファイルハンドルはロードコマンドの発行時に使用します圧縮ファイルに対して Metal 3はインライン解凍を行いオフセットを解凍に必要なチャンクのリストに変換してリソースにロードします Metalデバイスのインスタンスでファイルハンドルを作成します例えばこのコードではMetalデバイスインスタンスを使って先に説明したmakeIOHandleメソッドに圧縮ファイルのパスを提供しファイルハンドルを作成しています圧縮ファイルの場合追加のパラメータは圧縮方法ですこれは圧縮ファイル作成時に使用した圧縮方法と同じですでは対応する圧縮形式とそれぞれの特徴について説明します圧縮方法の選び方をより良く理解しましょう LZ4は解答速度が重要でディスク容量に余裕がある場合に使用しますコーデックの速度と圧縮率のバランスが重要な場合はZLib　LZBitmap LZFSEを使用しましょうバランス型コーデックの中でも ZLibはApple以外のデバイスで良く機能します LZBitmapはエンコードとデコードが高速で LZFSEは高い圧縮率を持っています最高の圧縮率が必要な場合 LZMAコーデックを検討しますが Appがアセットのデコードに要する時間は長くなりますまた独自の圧縮形式を使用することも可能ですカスタム圧縮コーデックが有効なデータもあるかもしれませんその場合圧縮コンテキストを自身の圧縮方式とオフセットに置き換え実行時に解凍を独自に行います圧縮を使用してディスク使用量を減らす方法を見ましたのでスパースページサイズの最適化について見てみましょう Metalの以前のバージョンでは 16Kの粒度でスパーステクスチャにタイルをロードしていました Metal 3では 2つの新しいスパースタイルサイズを指定できます 64と256Kですこれらの新しいサイズでより大きな粒度でテクスチャをストリーミングできストレージハードウェアを有効活用できますより大きなタイルサイズを使用するとストリーミングするデータ量も増大するためお使いのAppとそのスパーステクスチャに最適なサイズを確かめる必要があります次に Metal Developer Toolsを使用して Appの高速リソース読み込みの分析とデバッグを行う方法を見ていきましょう Xcode 14は高速リソースロードをフルサポートしています Metal System Traceによるランタイムプロファイリングや MetalデバッガによるAPIインスペクション高度な依存性解析も可能です
まずランタイムプロファイリングから始めましょう Xcode 14では Instrumentsは Metal System Traceテンプレートを使用して高速リソースロードをプロファイリングできます Instrumentsは MetalAppで実現するための強力な解析および解析およびプロファイリングツールです Metal System Traceテンプレートは読み込み操作のエンコードと実行のタイミングを You will be able to understand how they correlate アクティビティとどのように相関しているかを相関しているかをon both the CPU and the GPU. InstrumentsでMetal Appをプロファイリングする方法については以前のセッション「GPUカウンタによる MetalのAppやゲームの最適化」と「Apple GPU向けのハイエンドゲームの最適化」をご覧くださいではデバッグの話に入ります Xcode 14のMetalデバッガを使うと新しい高速リソース読み込みAPIを使ったゲームの解析ができるようになりますフレームキャプチャを取ればすべての高速リソース読み込みAPIコールを確認できます作成されたIOコマンドバッファから発行された読み込み操作まで確認できます新しいDependencyビューアを使って高速リソース読み込みの依存関係を視覚的に確認できます DependencyビューアはIOコマンドバッファと Metalパス間のリソースの依存関係を詳細に表示できますここから新しいシンクロナイゼーションエッジやグラフフィルタリングなど新しいDependencyビューアのすべての機能を使用してリソース読み込みの依存関係を深く掘り下げ最適化できます Xcode 14のDependency ビューアについては今年の「Metal 3でバインドレスにする」のセッションをご覧くださいでは実際に高速リソース読み込みを見てみましょうこれは新しい高速リソース読み込みAPIでタイルサイズ16Kのスパーステクスチャを使用しテクスチャデータをストリーミングするテストシーンですこのビデオはM1 Proチップを搭載した MacBook Proのものですストリーミングシステムは GPUのスパーステクスチャアクセスカウンタにクエリしてサンプリングしたがロードされていないタイルとロードしたがAppが使用していないタイルの2つを識別します Appはこの情報を用いて必要なタイルのロードリストと不必要なタイルのエビクションリストをエンコードしますこれにより作業用セットにはAppが主に使用するタイルのみが含まれるようになりますプレイヤーがシーンの別の場所に移動する場合 Appは全く新しい高解像度テクスチャのセットをストリーミングする必要がありますストリーミングシステムが十分に高速であればプレイヤーはストリーミングの発生に気づきませんシーンを一時停止するとより明確に画像の違いを観察できます左側はpread APIを使用してシングルスレッドでスパースタイルを読み込んでいます右側は高速リソース読み込みAPIを使いスパースタイルを読み込んでいますプレイヤーがシーンに入った時はほとんどのテクスチャは完全に読み込まれていません読み込みが完了すると最終的な高解像度版のテクスチャを見ることができますシーンの冒頭に戻ってスロー再生すると高速リソース読み込みによる改善がより分かりやすくなりますこのレンダリングではAppがまだ読み込んでいないタイルを赤でマークして違いを強調しています最初シーンにはほとんどのタイルが読み込まれていないことが分かりますしかしプレイヤーがシーンに入ると高速リソース読み込みにより高解像度版タイルの読み込みが改善されシングルスレッドのpread版に比べ遅延を最小限に抑えられます Metal 3の高速リソース読み込みによりパワフルで効率的なアセットストリーミングを構築し最新ストレージ技術を Appに活用させることができます高画質な画像を含むアセットをジャストインタイムでストリーミングすることでロード時間の短縮が可能になります Metalの共有イベントを使用して GPUがシーンをレンダリングする間非同期でアセットを読み込めますすぐに必要なアセットにはより優先度の高いコマンドキューを作成することで待ち時間を最小化できますそしてロードコマンドを早めに送信してストレージシステムを最大限活用しましょう不要なコマンドはいつでもキャンセルできます Metal 3の高速リソース読み込みは最新のストレージシステムのパワーを活用し高スループットのアセット読み込みを実現する新たな方法を導入しますこれらの機能を使って皆さんのAppのビジュアル品質と応答性がどのように向上するか楽しみですご視聴ありがとうございました ♪

5:19 - Create a handle to an existing file

// Create an Metal File IO Handle

// Create handle to an existing file
var fileIOHandle: MTLIOFileHandle!
do {
    try fileHandle = device.makeIOHandle(url: filePath)
} catch {
    print(error)
}

6:49 - Create a Metal IO command queue

// Create a Metal IO command queue

let commandQueueDescriptor = MTLIOCommandQueueDescriptor()

commandQueueDescriptor.type = MTLIOCommandQueueType.concurrent // or serial

var ioCommandQueue: MTLIOCommandQueue!
do {
    try ioCommandQueue = device.makeIOCommandQueue(descriptor: commandQueueDescriptor)
} catch {
    print(error)
}

7:17 - Create and submit a Metal IO command buffer

// Create Metal IO Command Buffer

let ioCommandBuffer = ioCommandQueue.makeCommandBuffer()

// Encode load commands
// Encode load texture and load buffer commands
ioCommandBuffer.load(texture, slice: 0, level: 0, size: size, 
                     sourceBytesPerRow:bytesPerRow, sourceBytesPerImage: bytesPerImage,  
                     destinationOrigin: destOrigin,
                     sourceHandle: fileHandle, sourceHandleOffset: 0)
ioCommandBuffer.load(buffer, offset: 0, size: size,
                     sourceHandle: fileHandle, sourceHandleOffset: 0)


// Commit command buffer for execution
ioCommandBuffer.commit()

8:51 - Synchronize loading and rendering with Metal shared events

var sharedEvent: MTLSharedEvent!
sharedEvent = device.makeSharedEvent()

// Create Metal IO command buffer
let ioCommandBuffer = ioCommandQueue.makeCommandBuffer()

ioCommandBuffer.waitForEvent(sharedEvent, value: waitVal)

// Encode load commands

ioCommandBuffer.signalEvent(sharedEvent, value: signalVal)
ioCommandBuffer.commit()

// Graphics work waits for the IO command buffer to signal

10:29 - TryCancel Metal IO command buffer

// Player in the center region
// Encode loads for the North-West region
ioCommandBufferNW.commit()
// Encode loads for the West region
ioCommandBufferW.commit()
// Encode loads for the South-West region
ioCommandBufferSW.commit()

// Player in the western region and heading south
// tryCancel NW command buffer
ioCommandBufferNW.tryCancel()

// ..
// ..
func regionNWCancelled() -> Bool {
    return ioCommandBufferNW.status == MTLIOStatus.cancelled
}

12:28 - Create a High Priority Metal IO command queue

// Create a Metal IO command queue

let commandQueueDescriptor = MTLIOCommandQueueDescriptor()
commandQueueDescriptor.type = MTLIOCommandQueueType.concurrent // or serial

// Set Metal IO command queue Priority
commandQueueDescriptor.priority = MTLIOPriority.high // or normal or low

var ioCommandQueue: MTLIOCommandQueue!
do {
    try ioCommandQueue = device.makeIOCommandQueue(descriptor: commandQueueDescriptor)
} catch {
    print(error)
}

14:04 - Create a compressed file

// Create a compressed file

// Create compression context
let chunkSize = 64 * 1024
let compressionMethod = MTLIOCompressionMethod.zlib
let compressionContext = MTLIOCreateCompressionContext(compressedFilePath, compressionMethod, chunkSize)

// Append uncompressed file data to the compression context
// Get uncompressed file data 
MTLIOCompressionContextAppendData(compressionContext, filedata.bytes, filedata.length)


// Write the compressed file
MTLIOFlushAndDestroyCompressionContext(compressionContext)

15:05 - Create a handle to a compressed file

// Create an Metal File IO Handle

// Create handle to a compressed file
var compressedFileIOHandle : MTLIOFileHandle!
do {
    try compressedFileHandle = device.makeIOHandle(url: compressedFilePath, compressionMethod: MTLIOCompressionMethod.zlib)
} catch {
    print(error)
}

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

リソース

関連ビデオ

WWDC22