Apple Immersive Videoの最新情報
Apple Immersive Videoのツール、リソース、関連テクノロジーの最新情報を確認しましょう。
Apple Immersive Liveフォーマットについて
試合の生中継やライブイベントには、単なる中継としての役割だけでなく、臨場感が求められます。Apple Immersive Videoのライブストリーミングでは、競技のすべてのプレー、観客の歓声、そしてドラマチックな瞬間を、現実さながらの精密さとスケール感でApple Vision Pro内に展開して臨場感を届けます。Live Media Formatおよびツールが、MV-HEVCへのエンコード前に、ProResビデオ、空間オーディオ、キャリブレーション済みレンズのメタデータをまとめて転送。これによってネイティブなApple Immersive Videoワークフローを、SMPTE ST 2110に準拠したプロ仕様の放送インフラストラクチャに直接組み込みます。イマーシブなライブ制作のパイプライン全体について確認しましょう。
Immersive Media Supportフレームワーク
Immersive Media Support（IMS）フレームワークには、Apple Immersive Videoのリッチなメタデータの読み書きや作成に必要な機能がすべてそろっています。すでにvisionOSとmacOSに導入されているIMSが、iPadOSとiOSでもご利用いただけるようになりました。同じクロスプラットフォームAPIを利用しているため、iPhoneやiPadでもイマーシブなコンテンツの処理、制御、再生が可能です。
ライブや複雑な制作シナリオのパラメータも、オリジナルの現場仕様に含まれていなかったカメラパラメータでも、自在に操作できます。新しいカメラオーバーライド機能により、制作の進行や展開に合わせてカメラをインラインで定義して、静的メタデータを拡張したり置き換えたりできます。既存のカメラを参照するか新しいカメラを追加して、回転、キャリブレーションモデル、AIMEデータから派生したオプションのマスクを指定します。レンダリング時にフレームに対してオーバーライドが適用されるため、イマーシブなコンテンツのキャプチャ方法や表示方法をフレーム単位で正確に制御できます。
visionOS 27では、X軸反転に加えて新たに導入されたY軸反転機能を使って、カメラを任意の向きに取り付けて撮影したメディアでも表示を正しく処理できます。再生時には完全なステレオ対応で反転が適用され、両方の目（カメラ）がステレオペアとして正確に処理されるので、反転されたカメラリグからの映像をイマーシブなコンテンツにシームレスに統合できます。
Apple Immersive Video配信のための静的フォビエーション
Apple Immersive Video（AIV）はカメラあたり8K、毎秒90フレームで撮影され、毎秒100億を超えるピクセルを生成します。たとえ最速のネットワークだとしても、そのような大量のデータのストリーミングに使うのは現実的ではありません。とはいえ、映像を4Kにスケールダウンすれば、イマーシブなコンテンツの臨場感を生み出す源であるピクセル密度が失われかねません。そこでこれに代わる方法として、クリエイターが静的なフォビエーション分布関数を適用して、サイズが小さめのフレームの大部分を、通常は魚眼レンズの中央領域に位置する主要なピクセルに割り当てる仕組みを採用しました。その結果、ストリーミング可能な4Kフレームサイズで、オリジナルの90fpsという高精度の大部分を維持できるようになりました。これこそが、Apple Immersive Videoが容易にストリーミング可能なファイルサイズでありながら、高い知覚解像度を実現している理由の1つです。新しいサンプルプロジェクトでは、この手法をIMSと組み合わせて、ストリーミング可能なフレームサイズで高精度のイマーシブなビデオを配信する方法を紹介しています。
独自のサイズのポータルビュー
Apple Immersive Videoでは素晴らしいイマーシブ体験を味わえますが、マルチタスクを行う際やインタラクティブなアプリの使用中など、場合によってはイマーシブレベルを下げる必要があります。没入感を抑える方法としてはポータルビューも優れていますが、デフォルトのアスペクト比16:9では、重要なコンテンツの一部が切り取られてしまうことがあります。この問題を解決するため、ポータル表示モード用に再生アプリでカスタム幅のアスペクト比を定義できます。カスタムのアスペクト比を設定するには、AVKitベースのアプリの場合はAVPlayerViewControllerのAVPlayerViewController.viewport.portal.aspectRatioを、RealityKitベースのアプリの場合はVideoPlayerComponentのVideoPlayerComponent.portalSizeを使用します。
Apple Spatial Audio Format
Apple Spatial Audio Format（ASAF）プロダクションスイートのPro Tools用AAXプラグインを新たにアップデート。さらに高度なクリエイティブコントロールをコンテンツ制作者に提供します。リファレンスビデオに合わせてオブジェクトを配置し、アンビソニックスを使用する際は、新しいシーンコンプレッサープラグイン、強化されたヒートマップ描画、精度が向上した空間フィルタリングアルゴリズムなど、大幅な改善によるメリットを存分に活かしましょう。オブジェクトの方向制御が強化され、スタンドアロンのLFEやセンターなど追加のチャンネルベッドレイアウトに対応するなど、ミキシングのオプションも拡充されています。また、DAWセッションと一緒にASAF Video Playerアプリのステータスも保存されるため、作業中断前の状態からスムーズに作業を再開できるようになりました。
