Apple Immersive Video（AIV）は、visionOS上でステレオスコピックな広い視野角がもたらす体験をアダプティブに、かつ高品質で提供するための新しいメディアフォーマットです。キャプチャから配信までをサポートする専用ツールとワークフローによって、最高レベルの忠実度、リアル感、臨場感を実現します。Apple Spatial Audio Formatと組み合わせることで、Apple Immersive Videoは体験のリアル感を維持するメタデータを利用して、現実世界の正確なスケールと反応性の高い投影を提供。エンタープライズアプリからエンターテインメントまで、Apple Vision Proを使用するユーザーに新しい豊かなビジュアルメディアをもたらします。
Apple Immersive Video（AIV）は、メディア制作および配信技術における大きな進歩から生まれました。目の前に広がる世界を、人間の視力に近い精度と時間解像度で捉えるための新たな技術を駆使したAIVが、これまでにない忠実度と空間表現の正確性を提供します。毎秒90フレームのフレームレートと、カメラあたり50MPを超える高解像度で撮影されたAIVは、メタデータにもとづく高精度の処理により、Apple Vision Pro上で現実世界と同じスケール感を維持します。
AIVは、高度なイメージキャプチャ、レンズのキャリブレーション管理、グラフィックアシスト、ダイナミックなオーディオ要素、モーションのメタデータ、ダイナミックなピクセル再投影を単一のファイルに集約した複合フォーマットです。技術的な複雑さを意識させないAIV対応ツールのおかげで、AIVワークフロー体験は、従来の2Dコンテンツを扱う場合とほとんど変わりがありません。
Apple Immersive Videoでは視力1.0相当を実現するため、距離の認識が信頼できるかどうかの境目となる、1度あたり60ピクセル（ppd）を目指しています。Apple Immersiveカメラは最低でも1度あたり40ピクセル以上で撮影することにより、Apple Vision Proへの配信に十分耐える細密さを確保。この40ppdという最低基準をクリアするため、AIVコンテンツをストリーミング配信用にエンコードやパッケージングする際は、静的フォビエーション技術を利用して最大限の知覚解像度を維持しています。
Apple Immersive Videoは最大230度の視野を提供できます。180度を超える視野角を提供するAIVは、自然で快適な視聴と効率的なピクセル利用を実現できるよう最適化されています。Apple Immersive Videoはピクセルを360度全体に分散させる代わりに、人間の自然な視野に集中させることで、視覚解像度と視聴時の快適さを最大限に高めています。これによってコンテンツ制作者は、ユーザーの注意を目の前のストーリーに集中させることができます。
Apple Immersive Videoでは動的なカスタム投影を採用しており、従来の経緯度を使った正距円筒図法による画像処理で生じる画質低下やエイリアシングの発生を防いでいます。各ショットには、レンダリングに使用した実際のレンズまたはバーチャルレンズ独自の光学系メタデータが含まれています。この新しいキャリブレーションとレンダリングの技術により、VR180など従来の全方位ビデオフォーマットには不可欠だった、一般的な前処理や複製ファイルの生成が不要になりました。
Vision Proでは、すべてのピクセルを撮影時点と同じ形で再投影するため、コンテンツの歪みや結合処理によるアーチファクトをなくしています。高度にキャリブレーションされたレンズデータは、正確な再投影に不可欠な完全な「光学的指紋」を含む軽量な.ILPDファイルに保存されます。これにより、手動でのレンズ解決処理が不要となり、ビジュアルエフェクトをシームレスに統合できます。
Apple Immersive Videoは、物語の語り方と体験のあり方に変革をもたらします。AIVは人間の目と同じ方法でコンテンツを記録し、実際のスケール、空間的な奥行き、現実的な立体感を保持します。クリエイターは、かつてない臨場感でユーザーを「その瞬間」に直接引き込むことができます。環境の精緻な細部から、人間の周辺視野の全体に至るまで、ほかのどのメディアでも得られないユーザー体験を実現できます。
Apple Immersive Videoは、ストーリーが展開する中で「ここぞ」という場所にユーザーを配置します。現実世界のスケールと空間関係を忠実に捉えた高解像度、高フレームレートの撮影によって、現実世界を自然に知覚しているかのような本物の立体感を体験できます。臨場感を高めることにより、試合中のコートサイドやトレーニングシミュレーション内で周囲の環境を感じ、雰囲気を体感することができます。
メタデータを利用してビデオとオーディオで現実世界を忠実に再現することで、環境の細部や被写体の身振りなど、これまでにない微細なニュアンスまで捉えることができます。ストーリーテリングの力も組み合わせれば、リアルなディテールによってコンテンツへの信頼性が高まります。演出された環境で自然な会話を収録する場合でも、複雑なメンテナンス手順を実物大の1:1スケールで実演する場合でも、リアル感によって、2Dメディアでは得られない新しい価値を体験にプラスできます。
従来の平面ディスプレイメディアでは被写体を拡大できますが、Apple Immersive Videoでは、被写体に物理的に近付くことができます。ユーザーとコンテンツの関係に変化が生まれ、親密な出会いが生まれ、ストーリーを体験として感じられるようになります。ドキュメンタリーで野生動物のすぐそばに座る瞬間を作り出したり、ガイド付きトレーニング環境では微細な表情が感情に及ぼす力を活用したり。ついに、体験が終わった後も心に刻まれる記憶が生まれるようなストーリーを生み出すことが可能になりました。
Apple Immersive Videoはユーザーを新たな世界へと連れて行くだけでなく、ユーザーとコンテンツの間に真のつながりをもたらします。頭の動きに自然に連動する空間オーディオと、知覚を重視したリアルな空間スケールによって、外側から眺めるのではなく、同じ空間を共有しているかのような感覚を味わえます。ユーザーが傍観者ではなく親しい相談相手になるようなシーンや、顧客対応のやり取りをより的確に表現したコンテンツにもぴったりです。
イマーシブなオーディオ技術の飛躍的な進化を支えるApple Spatial Audio Format（ASAF）は、Apple Immersive Videoとの連携を念頭に、Apple Vision Proの空間的な要求や知覚的な要求に応えられるよう設計されました。
オブジェクトベース、チャンネルベース、Higher Order Ambisonics（HOA）のオーディオを1つのコンテナに統合することで、ASAFは既存の空間オーディオフォーマットでは実現できない音響精度と適応性を提供。3次元空間におけるサウンドの挙動を制作チームが正確に制御できるようにします。ヘッドトラッキングによるバイノーラルレンダリングは、ユーザーの動きに動的に対応するため、オーディオと視覚環境との空間的整合性が常に保たれます。
音がヘッドフォンの外に存在し、ユーザーの周囲の空間に広がっているように感じられる、説得力のある外部化の実現を目指して、バイノーラルレンダリングは当初から、高い詳細度と精度を持つ主要な要素として重視されてきました。バイノーラルレンダリングによって、Vision ProでApple Immersive Videoコンテンツを視聴する際、自然でイマーシブな感覚を体験できます。
ASAFは、HOAシーンベースのベッドと単独のオーディオオブジェクトを組み合わせることで、あらゆるスケールで完全な空間カバレッジを実現します。HOAは、記録された環境における周囲の音場全体を捉えます。一方、オーディオオブジェクトはサウンドデザイナーに、個々の要素の配置と動きを正確に、かつ個別に制御する能力を提供します。これらの表現を組み合わせることで、人間の聴覚の精度に適した空間解像度を提供しています。
空間オーディオ体験が音に対するユーザーの潜在的な期待と一致するとき、没入感は最も強くなります。初期の反射、距離、音源の放射パターン、方向などの重要な音響要素が正確でしかも相互に矛盾しないことが、これを実現するための前提条件となります。
音響効果をコンテンツ作成時に焼き込む代わりに、ASAFの空間レンダラは主要な音響要素を再生時に動的に計算して、ユーザーやオブジェクトの位置と向きの変化に継続的に適応します。シーン内をどのように移動しても、空間的な精度の高い体験が保たれます。
ASAFの空間レンダラはAppleの各プラットフォームで一貫しており、macOSでコンテンツ制作時に使用するレンダリング環境と同じものが、Vision Proで体験を提供する際にも使われます。ミキサーは、制作から配信までの間に変換による喪失が生じることなく、再生時にはクリエイティブな判断が意図した通り正確に反映されるものと信頼できます。クリエイターは、オーディオ体験をほかのAppleプラットフォームへと自信を持って展開できます。
ASAFの空間機能においては、このフォーマットの高いチャンネル数を現実的なビットレートで処理できる転送ソリューションが求められます。この課題に対応するため、高解像度のASAFコンテンツを効率的に配信する新しい空間コーデックとして、APAC（Apple Positional Audio Codec）が開発されました。APACは、フォーマットで想定されている空間精度と細部を損なうことなくビットレートを低く抑え、没入感あふれる最高品質のオーディオをVision Proに配信するためのシンプルな方法をクリエイターに提供します。
ASAFの空間精度、動的な適応、知覚的忠実度が正しく組み合わさったとき、ユーザーはシーンに完全に没入し、デバイスや周囲を取り巻くものを超えて解き放たれたような体験を得ることができます。まさにこれこそが、ASAFが達成しようとしている基準であり、既存のフォーマットではApple Vision Proの要件を満たすには十分でなかった理由でもあります。
Apple Immersive Videoのエコシステムは、キャプチャからポストプロダクション、visionOSでの配信に至るまで、イマーシブな制作のあらゆる段階に対応した完全にエンドツーエンドのソリューションです。Apple Immersive認定ハードウェアとソフトウェアはネイティブに連携するよう設計されており、パイプライン全体で自動的に品質を維持し、これまでイマーシブな制作を複雑なものにしていた技術的負担を低減します。
認定カメラは、Apple Immersive Videoに不可欠な高解像度および高フレームレートのステレオスコピック撮影に対応しています。各カメラシステムは、AIVの厳格な光学要件を満たすよう検証されています。レンズのキャリブレーションとメタデータは撮影時に埋め込まれ、最初のフレームから徹底して光学的な整合性が保たれます。
高次アンビソニックマイクを使えば、カメラの視点から音響環境を録音してレンズに合わせた空間と方向を捉え、ポストプロダクションで要素を追加していくためのベースとなる音場を提供できます。空間オーディオの収録機能は、従来のモノラルやステレオの制作サウンドに替わるものとしてよりも、これらを補完するものとして設計されています。ポストプロダクションチームは、説得力のあるイマーシブなサウンドスケープの構築に必要な素材を、幅広く提供できるようになります。
従来、イマーシブなメディアのポストプロダクションには、複雑な3D同期、手動によるレンズソルビング、非効率な投影管理などの技術的な負担が付きもので、クリエイティブな作業に費やすべき時間が奪われていました。AIV対応ワークフローは、そうした技術的に複雑な作業を見えないところで自動的に管理します。カメラ固有のメタデータはパイプライン全体を通して各ショットに保持され、コード変換や手動での投影管理が不要になります。レンズのキャリブレーション、3D同期、世界のスケールは、編集や仕上げのすべての段階で自動的に処理されます。これによってチームは、ユーザーの体験を実際に形作るためのクリエイティブな要素に集中できます。
空間オーディオのポストプロダクションワークフローも同じ理念に従っており、サウンドデザイナー、ミキサー、仕上げチームは、認定済みのApple Spatial Audio Formatツールによって、オーディオポストの各段階を専用のワークフローで進めることができます。空間内への配置、オブジェクトベースのミキシング、最終的なAPACエンコード配信の処理は、Apple Vision Pro用に特別に設計された統合ワークフロー内で行われます。
Apple Immersive対応の配信ツールがイマーシブなメタデータやApple Spatial Audio Format（ASAF）コンポーネントを検証し、ローカル再生および品質管理用の.aivuファイルを生成して、Apple Immersiveの配信仕様に準拠した高品質なエンコードを配信用に準備します。
HLS ToolsやAVKitなどのApple Developerフレームワークを使用して、ストリーミングやアプリベースの再生に備えて標準ベースのパッケージ化や統合を行います。SpatialGen、Ateme、Colorfrontなどのツールを使用して、イマーシブなコンテンツのエンコードやトランスコードを行います。ストリーミング配信向けの配信でも、visionOSアプリへの埋め込み再生でも、これらのツールは一貫性、信頼性、高品質のイマーシブな表示を保証します。
