visionOSアプリでのイマーシブなビデオ再生のサポート

visionOSアプリでのイマーシブなビデオ再生のサポート

visionOSアプリでイマーシブなビデオを再生する方法を学びましょう。各種のイマーシブなレンダリングモードとそれらをサポートするフレームワークを紹介し、イマーシブなビデオをアプリでレンダリングする方法について説明します。このビデオの内容を十分理解できるよう、最初に、WWDC25の「Explore video experiences for visionOS」を視聴することをおすすめします。

関連する章
- 0:00 - イントロダクション
- 1:24 - visionOS 26でサポートされるビデオプロファイル
- 3:09 - クイックルックでのイマーシブなビデオの再生
- 4:25 - AVKitによるイマーシブなビデオの再生
- 9:11 - 不快感緩和のための検出
- 9:51 - RealityKitでのカスタム再生
- 11:48 - RealityKitでの段階的イマーシブモード
- 16:32 - RealityKitによる空間ビデオのレンダリング
- 21:16 - RealityKitでの不快感緩和のための検出
- 22:57 - RealityKitコンテンツのSwiftUIとの統合
リソース
関連ビデオ

WWDC25
WWDC24
- ボリュームとイマーシブな空間の詳細
WWDC23
- RealityKitによる空間コンピューティンングアプリの拡張
こんにちは AVKitチームのメディアアプリケーションエンジニア Jamalです visionOS Spatial Mediaチームのソフトウェアエンジニア Michaelです visionOSで好きなことの1つはこのプラットフォームに固有の方法でビデを見ることです visionOS 2ではドック再生や空間ビデオなどのすばらしい体験が含まれます visionOS 26ではクイックルック AVKit、RealityKitなどのおなじみのメディアフレームワークが拡張されよりイマーシブなメディアプロファイルに対応することで visionOSで優れたイマーシブなビデオ再生体験を生み出すことができます本日は Jamalと私で皆さんのアプリでこのイマーシブなビデオ再生に対応する方法を紹介します Jamal お願いしますありがとう Michael まず様々な種類のビデオプロファイルを簡単に確認します次にクイックルックや AVKitの新しいAPIでイマーシブメディア再生をサポートする方法を紹介します最後に Michaelが RealityKitを使用してアプリでイマーシブ再生体験をカスタマイズする方法を説明しますこのビデオを見れば visionOSアプリでのイマーシブビデオ再生体験のサポートや創造に必要なすべての知識を身につけることができますまず visionOS 26で対応している様々な種類のビデオプロファイルを見ていきましょう
visionOS 1ではアプリ内でのビデオ再生は主に2Dビデオと 3Dビデオによって提供されていました空間メディアにより人々は魅力的なステレオコンテンツを撮影しイマーシブな方法で楽しむことができました visionOS 26には 180度、360度、広視野角のビデオに対応した Apple Projected Media Profile （APMP）が導入されました究極のイマーシブ体験を実現するには Apple Immersive Videoがありますこれらの各プロファイルにはそれぞれの特長がありますこれらの用語になじみがない場合は「Explore video experiences for visionOS」セッションをご覧ください先ほど挙げたビデオプロファイルをサポートする方法は様々ですそのためアプリに最適なテクノロジーを選択することが特別なイマーシブ体験を提供するうえで重要です
クイックルックはイマーシブメディアを含むあらゆるメディアをすばやく表示するのに最適なフレームワークです AVKitはどのプラットフォームでもわかりやすく一貫性のあるビデオ体験を提供する一方で再生コントロールも強化されています RealityKitはビデオゲーム環境などの他に類を見ないイマーシブ再生体験が求められるアプリ向けに設計されています最後にブラウザでのイマーシブ再生のサポートが必要な場合は「What's new for spatial web」セッションをご覧ください Webコンテンツのイマーシブ再生について詳しく説明しています
次に visionOS 26のクイックルックと AVKitで使用できるツールを紹介しますこれによりイマーシブビデオ再生アプリの作成をすぐに始められますクイックルックにはメディアをすばやく表示・プレビューできるAPIが2つあります PreviewApplicationはメディア表示の外部プロセスウインドウを有効にするAPIです QLPreviewControllerはアプリのウインドウ内またはモーダル表示スタイルでメディアをプレビューするためのAPIです visionOS 26では QLPreviewControllerは空間写真と空間ビデオに対応するように強化されましたさらに PreviewApplicationは Apple Immersive Videoと Apple Projected Media Profileに対応し 180度、360度、広視野角のビデオも処理できます
QLPreviewControllerと PreviewApplicationは新しいビデオプロファイルの表示や切り替えを管理できますまた適切なビデオスタイルにプレビューを調整します visionOS 26では既にQuick Look APIを実装しているすべてのアプリはイマーシブメディアプロファイルを自動的にサポートします PreviewApplicationや QLPreviewController APIを実装する方法については WWDC23のビデオ「Discover Quick Look for spatial computing」と WWDC24の「What's new in Quick Look for visionOS」をご覧ください次にイマーシブビデオ再生を完全にサポートするために導入された新しいAVKit APIを紹介します visionOS 26では AVExperienceController APIを活用して新しいイマーシブ体験への切り替えを実現していますイマーシブ体験への切り替えを実現するために AVExperienceControllerには様々なオプションがあります最初のオプションはExpandedです Expanded体験では AVPlayerViewControllerが UIウインドウのシーン全体を使用して表示され visionOS 26では Expandedの構成によってイマーシブビデオ再生を実現できます Expanded構成では新たに AutomaticTransitionToImmersive プロパティが追加されこれを使用してイマーシブ体験への自動切り替えを行うかどうかを制御できます AutomaticTransitionToImmersive プロパティの値はシステムのデフォルトの動作を優先する場合はdefaultに自動切り替えが不要な場合は noneに設定します
AutomaticTransitionToImmersive プロパティの値として noneを設定すると AVPlayerViewControllerはイマーシブコンテンツが検出されたときにポータル表示として処理します Expandedのままで AVExperienceControllerを使用する場合イマーシブ体験への自動切り替えを無効にすることでイマーシブコンテンツをポータル表示として処理できますまず AVPlayerViewControllerを作成しイマーシブメディアコンテンツを設定します次にそのexperienceControllerにプラットフォームに適した推奨設定を追加しますこれには Expandedや Immersiveも含まれています AutomaticTransitionToImmersive プロパティの初期値はdefaultなのでここで値に.noneを指定しておく必要があります AVPlayerViewControllerが既にアプリのビュー階層にある場合 AVExperienceControllerを Expanded体験に切り替える準備は完了です AVExperienceControllerのExperiencesに含まれる新しいImmersive APIを使用すると自動トリガーに頼らず明示的にイマーシブ体験に切り替えることが可能になりました Expandedと同様に
このイマーシブ体験APIにも新しい構成用APIが追加されイマーシブビデオを再生する場所をアプリ側で指定できるようになりましたこのコードスニペットは Immersive体験をConfiguration APIと組み合わせて使用する方法を示しています AVPlayerViewControllerがビュー階層に追加されていない場合は Configuration APIでこれを指定する必要がありますこれを行うには Experience Controllerの Configurationにアクセスし希望するウインドウの UIシーンに対して .over関数で配置を指定します定義が完了すると AVExperienceControllerはイマーシブ体験への切り替えができます AVPlayerViewControllerが既にビュー階層に含まれている場合 AVExperienceControllerはそれが含まれているウインドウシーンを目的の配置シーンとして認識しますこのようにしてアプリは AVKitでイマーシブ体験に切り替えることができますイマーシブ体験との切り替えの際には AVExperienceControllerがアニメーションと体験間の切り替えを処理しますこれらの切り替えはユーザーの操作、アプリのロジックまたはシステムによっていつでも開始されます
したがって AVExperienceControllerを使用する際は切り替えや表示状態の変化を理解しておくことが重要ですこれによりアプリのアクティブ状態を柔軟に処理できるようになりますこの場合は AVExperienceControllerの Delegateプロトコルを使って解決しますこのプロトコルには 3つのデリゲートメソッドがあります didChangeAvailableExperiencesは利用可能な体験モードが変更されたときに通知します prepareForTransitionUsingは AVExperienceControllerが切り替えを開始する直前に通知しアプリが新しい状態に備え最終準備ができるようにします didChangeTransitionContextは新しい体験への切り替えが完了したときに通知します
体験としてのImmersiveの可否は提供されるコンテンツの種類によって異なります didChangeAvailableExperiences メソッドを使用して現在のコンテンツでイマーシブ体験が利用可能かどうかを確認できます例えば AVPlayerViewControllerに 2Dメディアコンテンツを指定した場合イマーシブ体験は利用できません AVExperienceControllerとそのデリゲートメソッドの使用方法について詳しくは「Playing immersive media with AVKit」のサンプルコードをご覧くださいイマーシブビデオ再生用の新しいAPIに加えてクイックルックとAVKitは visionOS 26で快適性低下の検出に対応するようになりましたイマーシブビデオではカメラの動きが激しくなることがあり視聴者に不快感を与える可能性がありますこの問題に対処するために Apple Projected Media Profile コンテンツで動きの検出がサポートされましたクイックルックやAVKitは再生中のハイモーションを検出し自動的にイマーシブレベルを下げます視聴者は設定アプリでオプションを調整できクイックルックとAVKitの動作を視聴者の好みに合わせて変更できますほとんどのイマーシブビデオ再生体験にはクイックルックとAVKitが最適ですよりカスタムなイマーシブ体験には RealityKitが理想的な選択肢ですその理由はMichaelに説明してもらいましょうありがとう Jamal 私もRealityKitがカスタムビデオ再生に最適なフレームワークであると思います例えばイマーシブなゲームにビデオを組み込んだりカスタムユーザーインターフェイスでビデオを表示したりする場合です visionOS 26では RealityKitはイマーシブビデオのネイティブ再生をサポートしますこのセクションでは 180度、360度広視野角ビデオ向けの新しい段階的イマーシブモードと Apple Immersive Video さらにPhotosアプリのような完全な空間スタイリングによる空間ビデオレンダリングについて説明しますまたビデオの不快感緩和を適用するタイミングを検出する方法も示します最後に SwiftUIシーン内で RealityKitを使用してビデオを再生するためのヒントも紹介します VideoPlayerComponentは RealityKitでビデオを描画するための強力なAPIです RealityKitのエンティティにアタッチすると AVPlayerの現在のビデオとコンポーネントのプロパティに基づいて独自のメッシュとマテリアルを生成しますそのため VideoPlayerComponentはイマーシブ表示モードでビデオをレンダリングするのに最適ですメッシュの更新とアニメーションが自動的に処理されるため developer.apple.com/jpの Destination Videoプロジェクトのビデオのドッキングの例のような使い方ができます VideoPlayerComponentの概要については「Enhance your spatial computing app with RealityKit」をご覧ください
visionOS 26では VideoPlayerComponentがクイックルックやAVKitと同様にすべてのイマーシブビデオプロファイルに対応するようになりました Apple Projected Media Profileビデオと Apple Immersive Videoから見ていきます VideoPlayerComponentはこれらに対して 3つのイマーシブモードをサポートしていますポータルモードではウインドウ表示用のポータルにビデオが描画されますプログレッシブモードは新しいAPIでユーザーはDigital Crownを使ってイマーシブレベルを調整でき周囲の世界とのつながりを維持しながら引き続きビデオを楽しむことができます 100%のイマーシブ状態ではプログレッシブモードは完全なイマーシブ表示モードと同等になります
visionOS 26以降 Apple Projected Media Profileビデオと Apple Immersive Videoではプログレッシブイマーシブ表示モードは完全イマーシブ表示モードよりも優先されますこれはより柔軟な処理が可能になることに加え不快感の緩和にも対応しているためですこれについては後で詳しく説明しますここではポータルモードで180度のビデオをレンダリングするビューを作成しそれを共有スペースの WindowGroupに配置しますポータル再生を構成するにはまずローカルURLまたはHTTP ライブストリーミングURLを使用して AVPlayerItemと AVPlayerを作成します次に playerを使って VideoPlayerComponentを初期化しますそのdesiredImmersiveViewingModeを portalに設定しそのコンポーネントをエンティティにアタッチします VideoPlayerComponentのメッシュの高さはデフォルトで1 mです SwiftUIウインドウシーンに収まるようにビデオを0.4 mにスケール変更します最後にエンティティをシーンに追加しますこのビデオをプログレッシブモードでレンダリングするにはコンポーネントの desiredImmersiveViewingModeを portalからprogressiveに変更しますプログレッシブモードではコンポーネントがスケールを制御するためスケール操作は効果がありません明確にするためにこのスケール設定は削除しますただしコンポーネントを progressiveに更新するだけでは SwiftUIシーン内でレンダリングするには不十分ですメッシュが拡張されたときにウインドウシーンの境界と干渉しないようにするため新しいProgressiveVideoViewを ImmersiveSpaceに配置する必要がありますプログレッシブモードでレンダリングする場合は ImmersiveSpaceにprogressiveイマーシブスタイルが設定されている必要がありますここで初期イマーシブレベルは1で完全なイマーシブ状態と同等です 10%から100%まで幅広い範囲を選択したのはユーザーが好みのイマーシブレベルに調整できるようにするためです 0%を含めるとコンテンツが消えるまでイマーシブレベルを下げることができこのアプリで望ましい動作ではなくなります再生の構成では SwiftUIの ImmersionStyleとコンポーネントのイマーシブ表示モードの両方が重要です RealityViewでレンダリングする場合常にdesiredImmersiveViewingModeと ImmersionStyleを一致させる必要がありますイマーシブスタイルの詳細については 2024年のビデオ「Dive deep into volumes and immersive spaces」をご覧ください SwiftUIのシーンを切り替える際にポータルモードからプログレッシブモードへの移行には ImmersiveViewingModeDidChange イベントの発生を待つ必要があります ImmersiveViewingModeWillTransition イベントとDidTransitionイベントはアニメーションによる切り替えの際にUIの表示と非表示を切り替えるタイミングを通知し動きとステレオ表示の不快感を軽減しますこれらのイベントの実例については developer.apple.com/jpにある「Playing immersive media with the RealityKit」のサンプルコードをご覧ください Apple Projected Media Profile ビデオとApple Immersive Videoのポータルレンダリングの場合は desiredImmersiveViewingModeを portalに設定しますポータルは通常 SwiftUIのWindowGroupを使用して共有スペースに配置されますがイマーシブスタイルが混在しているイマーシブ空間に排他的にも配置できますイマーシブレンダリングの場合 desiredImmersiveViewingModeを progressiveに設定し前のコードのように ImmersionStyleがprogressiveに設定された ImmersiveSpaceに配置しますシステムの推奨動作を実現するには desiredViewingModeを設定しないでください viewingModeはモノスコピックビデオの場合は自動的にモノにステレオ180度やApple Immersive Videoなどのステレオビデオの場合はステレオになります空間ビデオは皆さんのような方々であれば既にAppleのエコシステム全体で撮影をしているかもしれません空間ビデオには空間メタデータが含まれより快適でイマーシブな描画ができます Apple Projected Media Profileビデオや Apple Immersive Videoと同様に空間ビデオは RealityKitでネイティブにサポートされるようになり完全な空間スタイリングとイマーシブモードでレンダリングされます
空間ビデオの空間スタイリングに使用するのは VideoPlayerComponentの desiredSpatialVideoModeプロパティですこのプロパティを設定することで空間ビデオのレンダリング方法を指定します現在どのようにレンダリングされているかを確認するには取得専用のspatialVideoMode プロパティを読み取ります空間ビデオに空間スタイリングを適用するには desiredSpatialVideoModeを .spatialに設定します
空間レンダリングは .portalと.fullの両方の ImmersiveViewingModeをサポートしています他のイマーシブビデオとは異なり空間ビデオのイマーシブレンダリングは常にフルイマーシブ表示モードで構成されていますイマーシブ空間ビデオはコンテンツの視野角に基づいて固定サイズでレンダリングされます
desiredSpatialVideoModeをデフォルト値の.screenに設定すると空間ビデオはスクリーンメッシュ上に従来のステレオ形式でレンダリングされます SpatialVideoModeは現在のビデオが有効な空間ビデオでない限り更新されません名前が示すようにこのモードは空間ビデオにのみ適用されます新しいVideoPlayerEventの SpatialVideoModeDidChangeの受信登録か spatialVideoModeプロパティの監視により SpatialVideoModeプロパティが更新されたかどうかやそのタイミングを判定します
ポータルモードで空間ビデオをレンダリングするにはまず空間ビデオを保持するAVPlayerを使用してVideoPlayerComponentを作成します desiredViewingModeをstereoに設定しますこれは空間ビデオのデフォルトですがここでは明示的に指定します次に desiredSpatialVideoModeを spatialに設定し desiredImmersiveViewingModeとして portalを選択します先ほどと同様にウインドウ内に収まるようにビデオをスケーリングします空間モードではイマーシブ表示モードを fullに設定することでビデオを拡張できますスケーリング操作も削除しますこれはイマーシブ表示ではコンポーネントがサイズを制御するためです先ほどの例と同様にクリッピングを避けるためにビューは ImmersiveSpace内に配置する必要がありますただしイマーシブ空間ビデオレンダリングは他のイマーシブビデオとは異なりヘッドロックされないためエンティティの位置を手動で設定する必要があります床から1.5メートル上で前方1メートルの位置を選びますただしより堅牢な手法としてはヘッドアンカーを使ってエンティティの初期位置をユーザーの正面に設定します最後にこのImmersiveSpatialVideoViewを ImmersiveSpaceでラップします空間ビデオではイマーシブモードをパススルーでレンダリングするために ImmersionStyleをmixedに設定します空間ビデオをシステム環境でもレンダリングできるようにするにはこれは私が常に望んでいる動作ですが新しいimmersiveEnvironmentBehaviorシーン修飾子をcoexistオプションと共に使用します
まとめると空間ビデオのポータルは desiredSpatialVideoModeをspatialに desiredImmersiveViewingModeを portalに設定することで構成でき共有スペースでも ImmersionStyleがmixedに設定されたImmersiveSpaceでも表示できます空間ビデオでは表示モードはデフォルトでステレオになりますイマーシブモードの空間ビデオでは desiredImmersiveViewingModeをfullに ImmersiveSpaceのImmersionStyleを mixedに設定してパススルーでレンダリングします
空間スタイリングなしで従来のステレオ形式でレンダリングするには desiredSpatialVideoModeを screenに設定しますこのモードではイマーシブ表示モードは効果がありません空間ビデオは desiredViewingModeをmonoに設定することでモノスコピック表示でレンダリングできますこのモードでは SpatialVideoModeも ImmersiveViewingModeも効果がありませんこれらの非イマーシブモードは通常 WindowGroupの共有スペースに表示されますイマーシブビデオを視聴することは本当にイマーシブ体験ですつまり映像に激しい動きがあると再生は非常に敏感に反応する可能性があります Apple Projected Media Profileビデオでは RealityKitが再生中に不快感の緩和を自動的に実行します先ほどJamalが AVKitとクイックルックで説明したことと同じです
新しいVideoComfortMitigationDidOccur イベントは映像内の激しい動きに応じてシステムが不快感の緩和を適用したときに通知しますこのイベントの受信した際に特別な処理は必要ありませんそれは単に特定の不快感の緩和処理が適用されたという通知です reducedImmersionの不快感緩和処理はプログレッシブレンダリングでのみ有効ですそのため Apple Projected Media Profile ビデオでは fullの代わりにプログレッシブイマーシブ表示モードとイマーシブスタイルを使用することが重要ですポータルレンダリングでは不快感緩和は発生しませんポータル再生はほとんどのコンテンツで既に快適だからです VideoPlayerComponentの対応する動作とレンダリングスタイルは表示されるビデオのプロファイルによって異なります ContentTypeDidChangeイベントを使用して VideoPlayerComponentでビデオの種類を検出しますこれには Apple Projected Media Profile ビデオなどの新しい種類も含まれますビデオの種類が変更されたときは即座に反応し利用可能な表示モードの判定や不快感緩和が適用されるかどうかの確認 UI要素の更新を行います VideoPlayerComponentを UIと組み合わせる場合や単にSwiftUIのシーンに表示する場合は RealityKitコンテンツとSwiftUIを円滑に統合するためのヒントがいくつかあります例えばメディアをUIと一緒に配置するにはメッシュのスケール管理が重要ですポータルモードではメッシュのサイズは playerScreenSizeプロパティによってエンティティのローカル座標空間に反映されますポータルメッシュは常に高さ1メートルで作成されますビデオエンティティをスケーリングする場合アスペクト比を維持するために常にX軸とY軸を均一にスケーリングしますウインドウシーンの高さが 1メートル未満の場合メッシュはシーンの境界によってクリップされますただしエンティティのサイズを縮小すれば回避できますシーン内に収まるようにビデオをスケーリングするには GeometryReader3Dで利用可能なウインドウサイズに基づいてスケールを設定します developer.apple.com/jpにある「Playing immersive media with RealityKit」サンプルプロジェクトではシーンに合わせてビデオポータルをスケーリングする例が示されています
また注意する点としてカスタムUIがビデオメッシュと同じ平面に配置される場合描画順は未定義になります ModelSortGroupComponentを VideoPlayerComponentと同じエンティティに追加し planarUIPlacement カテゴリを指定するModelSortGroupでエンティティと同一平面上のUIの描画順序を明示的に指定しますクイックルック AVKit、RealityKitのいずれをイマーシブビデオ再生のフレームワークとして選択するかは皆さん次第ですこれらのすばらしい体験をアプリに組み込むためのツールは揃っています
アプリに新しいイマーシブ体験を追加してくださいイマーシブゲームに 360度APMPビデオを追加したり Apple Immersive Videoや空間ビデオをストリーミングしたりしてみましょう新しいAPMPビデオタイプを掘り下げるにはビデオ「Learn about the Apple Projected Media Profile」をご覧ください Apple Immersive Videoの詳細についてはビデオ「Learn about Apple Immersive Video technologies」をご覧くださいさあ驚きのイマーシブビデオ体験を創造しましょう

5:03 - AVExperienceController - AutomaticTransitionToImmersive

struct ExpandedConfiguration {
    enum AutomaticTransitionToImmersive {
  		case `default`
  		case  none
    }
}

5:50 - Disable Automatic Transitions to immersive

import AVKit

let controller = AVPlayerViewController()

let experienceController = controller.experienceController
experienceController.allowedExperiences = .recommended(including: [.expanded, .immersive])

experienceController.configuration.expanded.automaticTransitionToImmersive = .none

await experienceController.transition(to: .expanded)

6:26 - AVExperienceController - Immersive

enum Experience {
    case immersive
}

struct Configuration {
		struct Placement {
			static var unspecified: Placement
			static func over(scene: UIScene) -> Placement
		}
}

6:53 - Transition to immersive

import AVKit

let controller = AVPlayerViewController()

let experienceController = controller.experienceController
experienceController.allowedExperiences = .recommended(including: [.immersive])

let myScene = getMyPreferredWindowUIScene()
experienceController.configuration.placement = .over(scene: myScene)

await experienceController.transition(to: .immersive)

8:13 - AVExperienceController.Delegate

func experienceController(_ controller: AVExperienceController, didChangeAvailableExperiences availableExperiences: AVExperienceController.Experiences)

func experienceController(_ controller: AVExperienceController, prepareForTransitionUsing context: AVExperienceController.TransitionContext) async

func experienceController(_ controller: AVExperienceController, didChangeTransitionContext context: AVExperienceController.TransitionContext)

12:52 - PortalVideoView

@main
struct ImmersiveVideoApp: App {
    var body: some Scene {
        WindowGroup {
            PortalVideoView()
        }
    }
}

13:03 - Portal Rendering

import AVFoundation
import RealityKit
import SwiftUI

struct PortalVideoView: View {
    var body: some View {
        RealityView { content in
            guard let url = URL(string: "https://cdn.example.com/My180.m3u8") else { return }
            let player = AVPlayer(playerItem: AVPlayerItem(url: url))
            let videoEntity = Entity()
            var videoPlayerComponent = VideoPlayerComponent(avPlayer: player)
            videoPlayerComponent.desiredImmersiveViewingMode = .portal
            videoEntity.components.set(videoPlayerComponent)
            videoEntity.scale *= 0.4
            content.add(videoEntity)
        }
    }
}

13:57 - Progressive Immersion Rendering

import AVFoundation
import RealityKit
import SwiftUI

struct ProgressiveVideoView: View {
    var body: some View {
        RealityView { content in
            guard let url = URL(string: "https://cdn.example.com/My180.m3u8") else { return }
            let player = AVPlayer(playerItem: AVPlayerItem(url: url))
            let videoEntity = Entity()
            var videoPlayerComponent = VideoPlayerComponent(avPlayer: player)
            videoPlayerComponent.desiredImmersiveViewingMode = .progressive
            videoEntity.components.set(videoPlayerComponent)
            content.add(videoEntity)
        }
    }
}

14:20 - ProgressiveVideoView

import AVFoundation
import RealityKit
import SwiftUI

@main
struct ImmersiveVideoApp: App {
    var body: some Scene {
        ImmersiveSpace {
            ProgressiveVideoView()
        }
				.immersionStyle(selection: .constant(.progressive(0.1...1, initialAmount: 1.0)), in: .progressive)    
    }
}

17:22 - SpatialVideoMode

if let vpc = components.get[VideoPlayerComponent.self] {
	vpc.desiredSpatialVideoMode = .spatial
}

18:32 - Spatial Video Portal Rendering

import AVFoundation
import RealityKit
import SwiftUI

struct PortalSpatialVideoView: View {
    var body: some View {
        RealityView { content in
            let url = Bundle.main.url(forResource: "MySpatialVideo", withExtension: "mov")!
            let player = AVPlayer(url: url)
            let videoEntity = Entity()
            var videoPlayerComponent = VideoPlayerComponent(avPlayer: player)
            videoPlayerComponent.desiredViewingMode = .stereo
            videoPlayerComponent.desiredSpatialVideoMode = .spatial
            videoPlayerComponent.desiredImmersiveViewingMode = .portal
            videoEntity.components.set(videoPlayerComponent)
            videoEntity.scale *= 0.4
            content.add(videoEntity)
        }
    }
}

19:02 - Spatial Video Immersive Rendering

import AVFoundation
import RealityKit
import SwiftUI

struct PortalSpatialVideoView: View {
    var body: some View {
        RealityView { content in
            let url = Bundle.main.url(forResource: "MySpatialVideo", withExtension: "mov")!
            let player = AVPlayer(url: url)
            let videoEntity = Entity()
            var videoPlayerComponent = VideoPlayerComponent(avPlayer: player)
            videoPlayerComponent.desiredViewingMode = .stereo
            videoPlayerComponent.desiredSpatialVideoMode = .spatial
            videoPlayerComponent.desiredImmersiveViewingMode = .full
            videoEntity.position = [0, 1.5, -1]
            videoEntity.components.set(videoPlayerComponent)
            content.add(videoEntity)
        }
    }
}

19:46 - ImmersiveSpatialVideoView

import AVFoundation
import RealityKit
import SwiftUI

@main
struct SpatialVideoApp: App {
    var body: some Scene {
        ImmersiveSpace {
            ContentSimpleView()
        }
        .immersionStyle(selection: .constant(.mixed), in: .mixed)
        .immersiveEnvironmentBehavior(.coexist)
    }
}

21:40 - Comfort Mitigation Event

switch event.comfortMitigation {
case .reduceImmersion:
    // Default behavior
    break
case .play:
    // No action
    break
case .pause:
    // Show custom pause dialog
    break
}

関連する章

リソース

関連ビデオ

WWDC25

WWDC24

WWDC23