RealityKitの新機能

RealityKitの新機能

iOS、iPadOS、macOS、tvOS、visionOS向けの優れた3Dコンテンツの構築を支援するRealityKitの新機能を活用して、クリエイティブな可能性を解き放ちましょう。ARKitのデータに、RealityKitを介して直接アクセスする方法を学びます。オブジェクト操作機能を使用して、3Dコンテンツをより自然に操作する方法を解説します。シーン理解、環境の融合、インスタンス化などのための新しいAPIについての、インタラクティブなサンプルを用いたデモも行います。

関連する章
- 0:00 - イントロダクション
- 3:19 - アンカーの新機能
- 6:52 - ManipulationComponent
- 10:01 - シーン理解
- 11:18 - EnvironmentBlendingComponent
- 12:26 - MeshInstancesComponent
- 16:28 - イマーシブメディア
- 21:43 - アクセサリとその他の新機能
リソース
関連ビデオ

WWDC25
こんにちは RealityKitチームのソフトウェアエンジニアのLaurenceです「What's new in RealityKit」セッションへようこそこのセッションでは今年リリースされたRealityKitの新機能のいくつかを紹介します
Appleは2019年に RealityKitを導入しましたその目的は 3Dコンテンツをアプリに統合することによりリアルなレンダリングを実現しイマーシブ体験を向上させることですそれ以来皆様から多くのフィードバックをいただきそれを参考にこのフレームワークを年々改良してきました RealityKitは 3Dコンテンツを現実世界の環境とシームレスに融合させるための多彩な機能を提供しており visionOS上でイマーシブなアプリやゲームを作成できます visionOSに加えて RealityKitはその主要な機能の多くを iOS、iPadOS、macOSにも提供しています RealityKitのクロスプラットフォーム機能を活用するとアプリを一度記述するだけで最小限のコード変更で様々なプラットフォームに展開できます今年 RealityKitが最新のtvOSに対応したことを発表できるのをうれしく思いますこれにより既存のアプリや体験をAppleTV に展開したり大画面向けの新しいアプリを作成したりできるようになりました RealityKitはすべての世代の AppleTV 4Kに対応しています今年のRealityKitアップデートでは仮想世界と現実世界を融合させた 3D体験をこれまでになく簡単に作成できる多彩な新機能が追加されましたこのセッションではこれらの機能のいくつかを紹介します例えば ManipulationComponentや EnvironmentBlendingComponentや MeshInstancesComponentなどですこれらの機能のいくつかを利用して空間パズルゲームを作成してみますゲームは目の前の平面に固定された鍵のかかったチェストから始まりますこのチェストの周りには操作できる複数のオブジェクトが配置されていますそのオブジェクトの1つの底面にチェストを開ける鍵が取り付けられていますオブジェクトをつかんで調べることで隠された鍵を見つけることができます鍵を手に入れたらチェストを開けて賞品を確認しましょう
小さな花火が表示されます
まず RealityKitの新しいネイティブ ARKitサポートを使ってプレイヤーの前のスペースにモデルを固定しアンカーのライフサイクルの変化を処理します次に ManipulationComponentを使用してシーン内の3Dエンティティにインタラクションを追加しますまた PhysicsBodyComponentを使ってオブジェクトから手を放すとリアルに落下するようにします次に新しいSceneUnderstanding APIを使用してゲームエンティティがシーン認識メッシュと衝突できるようにします
その後 EnvironmentBlendingComponentを使ってアプリを現実世界により自然に溶け込ませます
次に新しい MeshInstancesComponentを使って 3Dモデルの複数のインスタンスを効率的に描画しシーンを装飾する方法を紹介します次に新しいイマーシブメディアのアップデートについて説明しますまた空間アクセサリやエンティティのアップデートなどその他の新しい発表内容についても取り上げますまず新しいAPIを使用して 3Dモデルを現実世界の環境に固定しますこのAPIによって RealityKitから ARKitデータに直接アクセスできます RealityKit AnchorEntityを使用してゲームをテーブルに配置します AnchorEntityはバーチャルコンテンツを現実世界の表面に固定するために使用されます今年は ARKitのアンカーデータに直接アクセスできるようにすることで AnchorEntityをさらに強化していますではその方法を説明します RealityKitを通じてARKitデータに直接アクセスするにはまず SpatialTrackingSessionを作成する必要がありますセッションの構成によって AnchorEntityの状態が変化したときに RealityKitは新しい AnchorStateEventsをアプリに送信します次に AnchorEntityを設定して目的のアンカーのプロパティをフィルタリングできますこのアプリでは特定の寸法のテーブルを探したいと思います RealityKitが AnchorEntityに設定したプロパティに合致する最適なアンカーを見つけると AnchorStateEventを発生させますこのAnchorStateEventインスタンスにはアンカーの変形や範囲などの ARKitのデータが含まれておりゲームを配置するために使用できますではこれをコードで見ていきましょうまず SpatialTrackingSessionを作成して RealityKitのAnchorEntityを現実世界の環境にトラッキングできるようにします私のゲームではチェストを生成する平面をトラッキングする必要がありますそのため SpatialTrackingSessionの構成で平面のトラッキングを有効にします
これで作成した構成を実行することでトラッキングセッションを開始できます次にゲームをテーブル上に配置するために AnchorEntityを生成しますこのAnchorEntityは水平面であるテーブルとして分類し 15cm四方の最小サイズが関連付けられていますこのAnchorEntityはアンカーされていない状態で開始されますが指定した分類とサイズに一致するテーブル平面が検出されるとアンカーされますアンカー状態が変化したときに更新情報を受け取るには新しいAnchorStateEvents APIを使用する必要があります
AnchorStateEvents APIを使用するとエンティティがアンカーされたときアンカーが解除されそうなときまたはアンカーに失敗したときのイベントをサブスクライブできますアプリではDidAnchorイベントを使用してゲームエンティティをテーブル面の範囲内に配置します
コードでは DidAnchorイベントをサブスクライブすることでアンカーエンティティが環境に正常にアンカーされた時点を検知していますイベント構造体からは新しいARKitAnchorComponentを格納する更新されたアンカーエンティティを取得できますこのコンポーネントは使用できる範囲や変換などのARKitデータを保持しておりそれによってゲームエンティティをアンカーされた面に配置できますこのデータにアクセスするには ARKitAnchorComponentの anchorプロパティを使用します
anchorプロパティを使用するには ARKitの anchor型にキャストする必要がありますこの場合は AnchorEntityが平面を対象にしているためPlaneAnchorにキャストしてみます
これで ARKitのアンカーのextentや transformの生データにアクセスできます ARKitのtransformデータ具体的には originFromAnchorTransformと anchorFromExtentTransformを使用してゲームをアンカーされた平面の中央に正しく配置しますこれでイマーシブ空間を開くと適切な平面が見つかったときにゲームオブジェクトが生成されます
次に RealityKitの新しい ManipulationComponentを使用してシーンにインタラクションを追加します ManipulationComponentを使うとシーン内の3Dエンティティをつかむ回転させるなどの操作が簡単にできるようになります手を持ち替えるなどの高度なジェスチャーもサポートしています
ManipulationComponentを使用してプレイヤーがゲームオブジェクトをつかんだり回転させたりしてその下にある鍵を探せるようにしますここではこの機能をゲームに追加する方法を紹介しますが ManipulationComponentの仕組みや活用方法について詳しく知りたい場合は「Better together: SwiftUI and RealityKit」セッションをご覧くださいエンティティをつかんで操作できるようにするには ManipulationComponentの configureEntity関数を呼び出すだけですこの関数によって必要なコンポーネントの InputTarget、Collision HoverEffect、Manipulationなどが自動的にエンティティに追加されます以上ですこれでエンティティを手で持ち上げて回転させることができるようになりますただし手を放すとオブジェクトはスムーズなアニメーションを描画しながら元の位置に戻ります
コードに戻り ManipulationComponentの「releaseBehavior」プロパティを stayに設定します
次にこのmanipulationComponent インスタンスをエンティティに割り当てますこれによりオブジェクトを手放したときに自動的に元の位置に戻るアニメーションが無効になりその場に静止したままになります次にオブジェクトを床に落とす必要がありますそのためにエンティティに PhysicsBodyComponentを追加しますただし PhysicsBodyComponentで重力を有効にするのはオブジェクトがつままれて持ち上げられていないときだけにします新しいManipulationEvents APIを使えばこれを簡単に実現できます
ManipulationEventsは RealityKitがエンティティの操作中に発行する様々なインタラクション状態を表すイベントです
例えば WillReleaseイベントはプレイヤーがエンティティを手放したときに発生します同様に WillBegin、WillEnd DidUpdateTransform、DidHandOffなど他のイベントも用意されています詳しくは developer.apple.com/jpのドキュメントをご参照ください
WillBeginとWillEndイベントを使用してゲームのエンティティが操作されていないときだけ重力の影響を受けるように設定します
まず WillBeginイベントをサブスクライブし physicsBodyComponentのmodeをkinematicに変更してオブジェクトの移動中に物理システムが干渉しないようにしますこの設定によりエンティティへの重力の影響をも防ぐことができます
次に WillEndイベントをサブスクライブし physicsBodyComponentのmodeを dynamicに戻しますエンティティが操作されなくなったタイミングでこれを行いますこれによりエンティティはシーン内の他の物理オブジェクトに反応できるようになり重力の影響も受けるようになりますゲームオブジェクトが物理に反応するようになったのでプレイヤーの周囲の環境と衝突できるようにする必要がありますこれを行うには新しい SceneUnderstanding APIを使用して部屋のメッシュをアプリの物理シミュレーションに追加します RealityKitのSpatialTrackingSession APIを使うと周囲の環境のメッシュを生成できますこのメッシュはシーン認識メッシュと呼ばれ部屋にある現実世界のオブジェクトとの衝突や物理演算を処理できます
現実世界の環境からシーン認識メッシュを利用するには SpatialTrackingSessionの構成で SceneUnderstandingFlagsを設定します
visionOSは現在 collision（衝突）フラグと physics（物理）フラグに対応していますこの2つを使ってゲームオブジェクトがシーン認識メッシュと衝突できるようにしますこれらのフラグは SpatialTrackingSessionの構成で設定してから実行します
これを行うには前に設定した SpatialTrackingSessionを更新します衝突と物理のシーン認識フラグを SpatialTrackingSessionの構成に追加するだけでセッションを開始する準備は完了ですこれでシーン認識メッシュがゲームの物理シミュレーションに追加されゲームオブジェクトをテーブルや床に落とすと環境と衝突するようになりますゲームが環境とインタラクションできるようになったので視覚的にも環境に反応させたいと思いますこれに使用するのは EnvironmentBlendingComponentです EnvironmentBlendingComponentはイマーシブ空間アプリ向けの新しいコンポーネントで今年の RealityKitアップデートで導入されました
これによりエンティティを現実世界の静的オブジェクトで隠すことができますこのコンポーネントを持つエンティティは現実世界の静的オブジェクトに覆われている量に応じて部分的または完全に隠されます人やペットなど動的に動くオブジェクトではこのコンポーネントを含むオブジェクトは隠されません
この機能を追加する場合必要な作業は EnvironmentBlendingComponentを追加して周囲の環境に隠れるように優先するブレンドモードを設定するだけですこれで EnvironmentBlendingComponentを持つエンティティを現実世界のオブジェクトの背後に配置するとエンティティがそれによって隠されていることがわかります EnvironmentBlendingComponentを使用するエンティティは背景環境の一部として扱われ常にシーン内の他のバーチャルオブジェクトの背後に描画されます EnvironmentBlendingComponentの動作を確認できたので周囲のゲーム領域に新しいMeshInstancesComponentを使用して装飾を追加します昨年 RealityKitにLowLevelMesh APIと LowLevelTexture APIが追加されレンダリングデータをさらに細かく制御できるようになりました今年のRealityKitアップデートではこの低レベルアクセスが別のレンダリング機能であるインスタンス化にも拡張されましたこのアプリでは周囲の空間を装飾する一方でプレイ可能な領域も定義します
空間を装飾するために数多くの複製エンティティを生成することもできますがこれを行うにはエンティティのクローンを何度も作成する必要がありこれによりModelComponentのコピーも多数作成されますこの方法ではメモリ使用量と処理の負荷が大きくなる可能性がありますより効率的で便利な方法として新しいMeshInstancesComponentを使用する方法があります
MeshInstancesComponentを使用すると 1つのエンティティで同じメッシュを複数回描画できます指定する必要があるのはメッシュの描画に使用する変換のリストだけです iOS、iPadOS、macOS、tvOSでは LowLevelBufferを使用してレンダリングデータをCustomMaterialに渡すことで各インスタンスを固有の見た目にできます MeshInstancesComponentは利便性が高いことに加え GPUに送信するデータの量を減らすことでパフォーマンスも向上させます重複したメッシュを描画する際にモデルやマテリアルの複数のコピーを GPUに送信する代わりに MeshInstancesComponentはデータは一度だけ送信します
1つのMeshInstancesComponentで描画されるモデルは 1つのエンティティの一部とみなされますこのコンポーネントを使用して広い領域をカバーする場合は複数の小さなエンティティに分割してカリングを可能にするのが合理的です MeshInstancesComponentをコードで使用する方法を紹介しますまずインスタンス化するメッシュが必要ですこれはアプリのコンテンツバンドルからエンティティを読み込むことで取得しますこれで MeshInstancesComponentと LowLevelInstanceDataオブジェクトを初期化できます LowLevelInstanceData オブジェクトは個々のメッシュインスタンスのデータを保持します LowLevelInstanceDataオブジェクトを作成するときはアプリで必要なインスタンス数を指定する必要がありますここではプレイ領域を大まかに表示するために20を指定して過密にならないようにします次に LowLevelInstanceData オブジェクトを MeshInstancesComponentに割り当てますその際インスタンス化するメッシュパーツのインデックスを指定します今回インスタンス化するメッシュは単純でメッシュパーツの1つだけであるため LowLevelDataObjectを partIndex: 0に割り当てます
これで LowLevelInstanceData オブジェクトに各メッシュインスタンスの変換を設定します
装飾に変化を持たせるために各インスタンスのスケール角度、位置をランダムにしますこれらの値を使用して変換行列を作成しそれを各インスタンスに割り当てます
これで meshInstancesComponentをエンティティに追加すると MeshInstancesComponentのデータを使用してエンティティが描画されます
これで... ゲームが完成しました
ゲームを開始して目の前の平面に固定しますプレイ領域内のオブジェクトは持ち上げたり回転させたりできるのでチェストを開ける鍵を探してみましょうこのアプリの作成に使用した新しいAPIを簡単にまとめます新しいAnchorStateEvent APIを使用してコンテンツを固定しました次にオブジェクトとのインタラクションに ManipulationComponentを使用しましたまたシーン認識フラグを使用してゲームのエンティティがシーン認識メッシュと衝突できるようにしました最後に EnvironmentBlendingComponentと MeshInstancesComponentを使用してゲームを現実世界に溶け込ませます次に今年 RealityKit追加される他のワクワクする機能をいくつか紹介します例えば新しいイマーシブメディアのサポートなどです今年は RealityKitで画像を提示するためのまったく新しいコンポーネント ImagePresentationComponentが導入されますこれは3種類の画像に対応していますまず従来の2D画像や写真 iPhoneやVision Proで作成した立体写真である空間写真新しい種類の3D画像である空間シーンこれは既存の2D画像や写真から作成されます
空間シーンは 2D画像から生成されるリアルな奥行きを持つ3D画像です写真をジオラマにしたようなものでユーザーがシーンに対して頭を動かすことで発生する視差効果によって空間シーンの奥行きが強調されます空間シーンは既存の2D写真に命を吹き込むすばらしい方法です visionOSのPhotosアプリや RealityKitを使用した独自のアプリで使用できますそれではこの3種類の画像をアプリに追加するコードを説明していきますまず RealityKitで2D画像や写真を表示する方法を紹介します
最初に2D写真のURLを取得しそのURLを使用して新しいImagePresentationComponentを作成しますこのコンポーネントのイニシャライザは非同期です画像をメモリに読み込むのに少し時間がかかる場合があるためですコンポーネントが初期化されたらエンティティに割り当てて RealityKitのシーンで表示できます
空間写真を表示するにはもう1つステップが必要ですエンティティで設定する前にコンポーネントに希望する表示モードを割り当てる必要がありますまた最初に画像が対応していることを確認することで適切な表示モードを指定できます希望する表示モードを指定しない場合や画像がモードに対応していない場合は ImagePresentationComponentは画像が空間写真であっても2D （モノスコピック）モードで表示しますイマーシブな空間写真の表示を有効にするには希望する表示モードとして spatialStereoImmersiveを使用します空間写真から画像表示コンポーネントを作成する場合常に両方の空間ステレオモードが利用可能になります 2D画像と空間写真はどちらもディスク上のファイルから読み込まれますこの画像を空間シーンとして表示するにはいくつかの追加手順が必要になりますなぜなら空間シーンを表示する前に空間シーンを生成する必要があるためですここでは空間シーンをコードで生成して表示する方法を紹介します
空間シーンは 2D画像または空間写真を使用して生成できます空間写真から空間シーンを生成する場合空間写真の1つのチャンネルのみが変換用の2D画像として使用されます空間シーンを作成する場合 ImagePresentationComponentを画像の URLから直接初期化するのではありません代わりに URLからSpatial3DImageを作成し Spatial3DImageを使用して ImagePresentationComponentを初期化しますただしこのコンポーネントはまだ空間シーンとして表示する準備ができていませんそのためには最初にシーンを生成する必要があります
そのために Spatial3DImageの generateメソッドを呼び出します数秒で空間シーンが生成されます生成に成功すると ImagePresentationComponentの availableViewingModesが更新され spatial3D モードと spatial3DImmersiveモードが追加されます次にそのいずれかを希望する表示モードとして設定してウィンドウ表示やイマーシブ表示で空間シーンを表示できるようになります空間シーンを事前に生成しておく必要はありません Photosアプリのようにアプリを使用しているユーザーがボタンを押すまで待つこともできます generateを呼び出す前にコンポーネントの表示モードを.spatial3Dに設定すると空間シーンの準備ができ次第すぐに表示するようコンポーネントに指示できますこれによりコンポーネントは生成中に進行状況のアニメーションを表示し生成が完了すると同時に空間シーンを表示しますこちらは Vision Proでの表示例です ImagePresentationComponentは visionOSのPhotosアプリと同じ生成アニメーションを表示し最終的な結果は3Dでもすばらしい見栄えです
ここでは ImagePresentationComponentを使って 2D画像、空間写真、空間シーンを表示する様々な方法を簡単にまとめてみましょうこのコンポーネントについて詳しくは「Presenting images in RealityKit」のサンプルコードを developer.apple.com/jpでご確認ください
今年のもう1つのイマーシブメディアの更新として VideoPlayerComponentが幅広いイマーシブビデオフォーマットの再生に対応できるように更新されましたポータルとイマーシブの両方のモードで空間スタイリングによる空間ビデオ再生に対応するようになりました
Apple Projected Media Profile対応の 180度、360度広視野角ビデオの再生も可能です Apple Projected Media Profile対応のビデオではユーザーが快適さの設定を構成でき RealityKitはそれに応じて自動的に再生を調整します
Apple Immersive Videoに加えこれらのビデオ形式も様々な表示モードで再生されるよう構成できますこれらのアップデートについて詳しくは「Support immersive video playback in visionOS apps」セッションをご覧ください
次に今年発表されたその他のアップデートについて説明しますまずはトラッキング対応空間アクセサリを紹介します次に SwiftUIとRealityKitの統合に関する最新のアップデートを見ていきますその後新しいエンティティのアップデートについて紹介します RealityKitのAVIFテクスチャサポートの概要を説明します次に新しいホバー効果の groupID機能について説明します最後に RealityViewsへの後処理効果の追加についてお話ししますでは始めましょう RealityKitではトラッキング対応の空間アクセサリのサポートが追加され共有スペースとフルスペースの両方でアプリを操作できます空間アクセサリは6自由度でトラッキングできアプリやゲーム内でのインタラクションを強化する触覚フィードバックにも対応しています空間アクセサリによる入力をアプリに追加する方法の詳細については「Explore Spatial Accessory Input on visionOS」のセッションをご覧ください今年 RealityKitではSwiftUIとの統合を強化するためにいくつかの新しいコンポーネントも導入されました ViewAttachmentComponentを使用すると非常に簡単に SwiftUIビューをエンティティに直接追加できますさらに PresentationComponentによってポップオーバーなどのモーダル表示をエンティティに追加できますまた新しいGestureComponentによって SwiftUIのジェスチャーをエンティティに追加するプロセスが簡素化されます詳しくは「Better Together: SwiftUI and RealityKit」セッションで今年のSwiftUIとRealityKitの統合に関する最新情報をご確認ください
新しいエンティティのアタッチメソッドも導入されエンティティを別のエンティティのピンにアタッチできますこのAPIによりメッシュをアニメーションスケルトンのジョイントにアタッチする作業が大幅に簡素化されますこの方法でメッシュをアタッチすることでメッシュを手動で整列させる必要がなくなりまたコストのかかる階層的な変換の更新も回避できますさらに新しいEntityのイニシャライザを使えばメモリ上のDataオブジェクトからエンティティを読み込むこともできますこの新しいイニシャライザを使用すると RealityKitのシーン全体やUSDファイルをオンラインソースから読み込んだりネットワークでストリーミングしたりできますこのイニシャライザは既存のEntityのイニシャライザと同じファイルフォーマットをサポートします
さらに RealityKitはAVIF形式でエンコードされたテクスチャのサポートを追加していますこれはJPEGと同様の品質を提供しながら 10ビットカラーに対応しサイズは大幅に小さくなります MacのPreviewアプリやターミナルのusdcrush を使用してこの圧縮を有効にした状態で USDをエクスポートできますまた HoverEffectComponentに新機能のGroupIDが追加されています GroupIDはホバー効果間の関連付けをする方法です GroupIDを共有するホバー効果はアクティベーションも共有しますホバー効果にGroupIDを割り当てると相対的な階層に依存せずにホバー効果を有効化する方法を自由に制御できるようになります通常ホバー効果は左側の例のように階層的に適用され子エンティティは親エンティティの効果を継承しますただし右側の例のようにエンティティに Entity AやBなどのGroupIDがある場合それらのホバー効果は子エンティティに伝播しません
今年のもう1つの注目の機能は RealityViewでの後処理効果のサポートです customPostProcessing APIを使用すると bloomなどのカスタムエフェクトをアプリに追加できますその際 Metal Performance ShadersやCIFilters 独自のシェーダを使用できますこのAPIは iOS、iPadOS、macOS tvOSでサポートされています
今年のRealityKitアップデートでは 3D体験の創造をこれまでになく容易にすることに注力しています今回は RealityKit APIを利用してゲームをユーザーの環境に固定しゲームのピースを直観的に操作できる空間パズルゲームの作成方法を紹介しましたまたアプリがRealityKiで空間コンテンツを直接表示できるようにする新しいイマーシブメディアのアップデートについても説明しました
それから空間アクセサリのトラッキングエンティティの更新、ホバー効果の GroupIDなどの追加アップデートについても紹介しましたこれらの新機能により RealityKitを使った 3Dアプリの構築は非常に簡単になりました皆さんがどんな体験を生み出すのかとても楽しみにしていますありがとうございました

// Set up SpatialTrackingSession
@State var spatialTrackingSession = SpatialTrackingSession()

RealityView { content in
             
    let configuration = SpatialTrackingSession.Configuration(
        tracking: [.plane]
    )
		// Run the configuration
    if let unavailableCapabilities = await spatialTrackingSession.run(configuration) {
        // Handle errors
    }
}

4:34 - Set up PlaneAnchor

// Set up PlaneAnchor
RealityView { content in

		// Set up the SpatialTrackingSession

    // Add a PlaneAnchor
    let planeAnchor = AnchorEntity(.plane(.horizontal,
                                          classification: .table,
                                          minimumBounds: [0.15, 0.15]))
    content.add(planeAnchor)
}

5:48 - Handle DidAnchor event

// Handle DidAnchor event

		didAnchor = content.subscribe(to: AnchorStateEvents.DidAnchor.self) { event in

		guard let anchorComponent =
           event.entity.components[ARKitAnchorComponent.self] else { return }


		guard let planeAnchor = anchorComponent.anchor as? PlaneAnchor else { return }

		let worldSpaceFromExtent =
    planeAnchor.originFromAnchorTransform *
    planeAnchor.geometry.extent.anchorFromExtentTransform

    gameRoot.transform = Transform(matrix: worldSpaceFromExtent)

    // Add game objects to gameRoot 
}

7:38 - Set up ManipulationComponent

// Set up ManipulationComponent
extension Entity {
    static func loadModelAndSetUp(modelName: String,
                                  in bundle: Bundle) async throws -> Entity {

        let entity = // Load model and assign PhysicsBodyComponent
        let shapes = // Generate convex shape that fits the entity model

        // Initialize manipulation
        ManipulationComponent.configureEntity(entity, collisionShapes: [shapes])
        var manipulationComponent = ManipulationComponent()
        manipulationComponent.releaseBehavior = .stay
        entity.components.set(manipulationComponent)

        // Continue entity set up
    }
}

9:28 - Subscribe to willBegin ManipulationEvent

// Subscribe to ManipulationEvents

// Update the PhysicsBodyComponent to support movement
willBegin = content.subscribe(to: ManipulationEvents.WillBegin.self) { event in
    if var physicsBody = event.entity.components[PhysicsBodyComponent.self] {
        physicsBody.mode = .kinematic
        event.entity.components.set(physicsBody)
    }
}

9:29 - Subscribe to willEnd ManipulationEvent

// Subscribe to ManipulationEvents
                
// Update the PhysicsBodyComponent to be a dynamic object
willEnd = content.subscribe(to: ManipulationEvents.WillEnd.self) { event in
    if var physicsBody = event.entity.components[PhysicsBodyComponent.self] {
        physicsBody.mode = .dynamic
        event.entity.components.set(physicsBody)
    }
}

10:52 - Set up Scene understanding mesh collision and physics
```
// Set up Scene understanding mesh collision/physics

let configuration = SpatialTrackingSession.Configuration(
    tracking: [.plane],
    sceneUnderstanding: [.collision, .physics]
)
```

11:56 - Set up EnvironmentBlendingComponent

// Set up EnvironmentBlendingComponent

entity.components.set(
    EnvironmentBlendingComponent(preferredBlendingMode: .occluded(by: .surroundings))
)

14:20 - Set up MeshInstancesComponent

// Set up MeshInstancesComponent entity

let entity = try await ModelEntity(named:"PebbleStriped.usdz")
var meshInstancesComponent = MeshInstancesComponent()
let instances = try LowLevelInstanceData(instanceCount: 20)
meshInstancesComponent[partIndex: 0] = instances
    
instances.withMutableTransforms { transforms in
    for i in 0..<20 { 
        let scale: Float = .random(in:0.018...0.025)
        let angle: Float = .random(in:0..<2) * .pi
        let position = randomPoint(in: inArea, with: scene)
        let transform = Transform(scale: .init(repeating: scale),
                                  rotation: .init(angle: angle,axis: [0, 1, 0]),
                                  translation: position)
        transforms[i] = transform.matrix
    }
}
        
entity.components.set(meshInstancesComponent)

17:36 - Load and display a 2D photo

// Load and display a 2D photo
    
guard let url = Bundle.main.url(forResource: "my2DPhoto", withExtension: "heic") else {a
    return
}

let component = try await ImagePresentationComponent(contentsOf: url)

let entity = Entity()
entity.components.set(component)

17:57 - Load and display a spatial photo with windowed presentation

// Load and display a spatial photo with windowed presentation
    
guard let url = Bundle.main.url(forResource: "mySpatialPhoto", withExtension: "heic") else {
    return
}

var component = try await ImagePresentationComponent(contentsOf: url)

// Discover if the component supports windowed spatial photo presentation.
if component.availableViewingModes.contains(.spatialStereo) {
    component.desiredViewingMode = .spatialStereo
}

entity.components.set(component)

18:22 - Load and display a spatial photo with immserive presentation

// Load and display a spatial photo with immersive presentation
    
guard let url = Bundle.main.url(forResource: "mySpatialPhoto", withExtension: "heic") else {
    return
}

var component = try await ImagePresentationComponent(contentsOf: url)

// Discover if the component supports immersive spatial photo presentation.
if component.availableViewingModes.contains(.spatialStereoImmersive) {
    component.desiredViewingMode = .spatialStereoImmersive
}

entity.components.set(component)

18:56 - Load a spatial photo and use it to generate and present a spatial scene

// Load a spatial photo and use it to generate and present a spatial scene
    
guard let url = Bundle.main.url(forResource: "mySpatialPhoto", withExtension: "heic") else {
    return
}

let spatial3DImage = try await ImagePresentationComponent.Spatial3DImage(contentsOf: url)
var component = ImagePresentationComponent(spatial3DImage: spatial3DImage)

try await spatial3DImage.generate()

// Discover if the component supports windowed spatial scene presentation.
if component.availableViewingModes.contains(.spatial3D) {
    component.desiredViewingMode = .spatial3D
}

entity.components.set(component)

20:06 - Generating a spatial scene as needed

// Load a spatial photo and use it to generate and present a spatial scene
    
guard let url = Bundle.main.url(forResource: "mySpatialPhoto", withExtension: "heic") else {
    return
}

let spatial3DImage = try await ImagePresentationComponent.Spatial3DImage(contentsOf: url)
var component = ImagePresentationComponent(spatial3DImage: spatial3DImage)

component.desiredViewingMode = .spatial3D // (or .spatial3DImmersive)

entity.components.set(component)

try await spatial3DImage.generate()

23:35 - Load entity from Data object

// Load entity from Data object
    
if let (data, response) = try? await URLSession.shared.data(from: url) {
    if let entity = try? await Entity(from: data) {
        content.add(entity)
    }
}

関連する章

リソース

関連ビデオ

WWDC25