Apple Immersive Videoテクノロジーについて

真のイマーシブ体験を実現するための、Apple Immersive VideoおよびApple Spatial Audio Formatテクノロジーの機能を確認しましょう。Apple Immersive Videoを利用するために必要なメタデータを読み書きする機能を提供する、新しいImmersiveMediaSupportフレームワークを紹介します。Apple Immersive VideoのコンテンツをHLS経由で再生およびストリーミングできるように、スタンドアロンファイルにエンコードして公開するためのガイドラインについても解説します。このセッションの内容を十分理解できるよう、まず「Explore video experiences for visionOS」のビデオを視聴することをおすすめします。

リソース

関連ビデオ

WWDC25

こんにちは Blakeです Apple Immersive Videoチームのエンジニアですこのビデオでは Apple Immersive Videoを作成するための macOSと visionOS 26の新機能について説明します WWDC25の「Explore video experiences for visionOS」に出てくる visionOS 26で利用可能なビデオプロファイルの原理と Apple Immersive Videoの大まかな概要に基づいて話を進めますまずはそちらをご覧くださいこのビデオでは Apple Immersive Videoの機能と空間オーディオのテクノロジーについて説明しみなさんが真のイマーシブ体験を創造できるようにします Apple Immersive Videoから始めましょう Apple Immersive Videoは最高品質のイマーシブ体験ですビデオはApple Vision Proで再生されます忠実度の高いビデオとフルイマーシブオーディオでまるでその場にいるかのような体験ができますコンテンツには高い没入感があるためこの高忠実度のビデオを撮影できる特別なカメラが必要です例えば Blackmagic URSA Cine Immersiveは Apple Immersive Videoのためにゼロから設計されています

Apple Immersive Videoカメラは工場で独自にキャリブレーションされ各立体視レンズの正確な曲率をキャプチャします

このキャリブレーション情報はすべてのビデオファイルに含まれていますキャリブレーションはビデオメタデータでビデオを正しく投影するために使用されます

この表は WWDC25の「Explore video experiences for visionOS」に出てきますこれにはvisionOS 26がサポートするさまざまな形式が含まれています特にApple Immersive Videoではカメラキャリブレーションサポートのためにパラメトリック投影タイプを使用します macOSとvisionOS 26には Immersive Media Supportフレームワークの機能が追加されカスタムワークフローを作成できるようになりました Apple Immersive Video向けの必須メタデータを読み書きでき編集ワークフローでコンテンツをプレビューする機能を提供しますノンリニア編集ソフトウェアやビデオ圧縮とエンコードツールのようなビデオ制作パイプラインをサポートする作成ツールについては Apple Immersive Videoを読み書きする方法コンテンツを公開して誰でも視聴できるようにする方法制作プロセス中にコンテンツをプレビューする方法を取り上げますでもまずは Apple Immersive Video体験を可能にするメタデータから始めましょう Apple Immersive Videoは複数のカメラを使用して制作できます各カメラに独自のキャリブレーションが設定されているためこれらのカメラの組み合わせで撮影場所を表現します Immersive Media Supportフレームワークの VenueDescriptor型には撮影場所で使用されるすべてのカメラの組み合わせが含まれますこのVenueDescriptorの情報は Apple Immersive Media Embedded（AIMEData）として保存されますがこれについてはこのセッションの後半で詳しく説明します VenueDescriptor型はカメラとカメラビューモデルへの参照カメラの追加と削除機能 AIMEDataへの参照 URLへの保存機能を保持しますがこれは後で重要になりますビデオで使用する各カメラにはカメラキャリブレーション以外の情報を含めることができますマスクのポイント（エッジブレンド）はアルファを使用してコンテンツのエッジをマスクします

またカメラの原点位置情報の設定などカメラキャリブレーションにはさらにいくつかの機能がありますカスタム背景環境もカメラキャリブレーションに含めることができます VenueDescriptorと ImmersiveCameraの全機能については Immersive Media Supportのドキュメントをご覧くださいカメラキャリブレーションは出力ビデオのビデオフレームに固有であるため特定のフレームにどのキャリブレーションを使用するかを定義するためのダイナミックメタデータが存在しますさらにタイムドダイナミックメタデータコマンドがあります Immersive Media Supportフレームワークのプレゼンテーションコマンドとして表され出力されるQuickTime ファイルに多重化されますすべてのビデオフレームには複数のプレゼンテーションコマンドを含められますこれらのコマンドはビデオトラックのすべてのフレームと連動します別のPresentationCommandは shotFlopですこれはさまざまな理由で編集に使用され画像と視線が Y軸上でフロップしますイマーシブカメラでは立体視レンズを使用するため画像と視線がスワップするので shotFlopはより難しい編集処理になることに注意が必要ですしかし PresentationCommandを使用するとこれらはすべて再生中に visionOSによって自動的に処理されますカメラキャリブレーションと shotFlopコマンド以外にもビデオフレームにベイクされずに動的にレンダリングされるフェードがありますこれらのコマンドの詳細については PresentationDescriptor型および PresentationCommand型をご参照くださいでは自分のアプリでApple Immersive Videoを使う方法を説明しますコンテンツをHLSとしてセグメント化したり Apple Immersive Videoファイルを編集したり独自のカスタムプレーヤーを作成したりするにはメタデータを読むことが重要ですまた一般的に制作現場で使用される単一のファイルベースのスタンドアロン Apple Immersive Video 体験のために Apple Immersive Video Universal ファイル形式が用意されました Apple Immersive Video Universal （AIVU）ファイルは PresentationDescriptorが多重化された出力ビデオのコンテナで VenueDescriptorもメタデータとして含まれています

AIVUファイルはvisionOSの Quick Lookを通してファイルアプリから再生できます自分のアプリでApple Immersive Videoをスタンドアロンファイルまたは HLSとして再生するには WWDC25の「Support Immersive Video Playback in visionOS Apps」をご覧ください Apple Immersive Videoをストリーミングするアプリやサービスを構築したり Apple Immersive Videoコンテンツを他者と共有したりする場合 AIVUファイルは必要なメタデータをすべて含むコンテンツを簡単に取り込んだり共有したりするための最良の方法です新しいImmersive Media Support フレームワークとともに AVFoundationには Apple Immersive Videoの読み書きに役立つ新しいAPIもあります AIVUファイルから VenueDescriptorを読み取るには使い慣れたAVFoundation APIを使ってアセットのメタデータを読み込みます VenueDescriptorとしてAIMEDataを読み込むために特定のメタデータをフィルタリングするための新しい quickTimeMetadataAIMEData識別子があります PresentationDescriptorのメタデータを読み取るにはビデオフレームの各プレゼンテーションタイムスタンプとタイミングを合わせたメタデータグループを取得します quickTimeMetadataPresentation ImmersiveMedia識別子に基づくフィルタリングを行いその値をプレゼンテーション記述子の型にデコードしますまたタイムドメタデータグループの取得方法の詳細については AVFoundationのAVPlayerItem MetadataOutput APIをご覧ください Apple Immersive Videoを作成するには制作ツールのためであれノンリニア編集ソフトからの出力であれ独自のAIVUファイルを作成できます Apple Immersive Videoを作成する際いくつか重要なことがありますビデオアセット投影の種類には AppleImmersiveVideoを使用する必要がありますこの投影の種類はApple Immersive Video専用のパラメトリックな種類として定義されているため投影を取得する方法がわかっていますまた AVAssetWriterを使用し VenueDescriptorと PresentationCommandの値をビデオアセットのメタデータに書き込む必要があります VenueDescriptorを使用して AIMEDataを取得し AIMEData識別子を使用して AVMetadataItemに格納します PresentationCommandsについては PresentationDescriptorのreaderを使って特定の時間のコマンドを取得します先ほど述べたpresentation 識別子を使用してビデオフレームバッファの指定された時間と期間に一致する時間指定された AVMetadataItemを作成します AIVUファイルを作成したら Immersive Media Support フレームワークで AIVUValidatorの validate関数を使用して検証できます検証に関する問題が発生した場合はエラーがスローされ有効な場合はtrueが返されます AVAssetWriterをAIVUファイルの書き込みに使用する方法の詳細については「Authoring Apple Immersive Video」サンプルプロジェクトをご参照ください Apple Immersiveコンテンツを公開するには HLSセグメンテーションを使用してビデオをアプリケーションに直接ストリーミングします Apple Vision Proでは MV-HEVCレンダリングができます推奨解像度は片眼あたり4320×4320 毎秒90フレームで P3-D65-PQ色空間と Apple空間オーディオを使用しますこれについてはこのビデオの後半で説明します Apple Immersive Videoのセグメンテーションに推奨される階層は平均帯域幅が毎秒最小25〜100メガビットピーク時は毎秒50〜150メガビットです独自の階層を構築する場合は品質とサイズのトレードオフを考慮することが大切です同じ解像度とフレームレートを維持し続ける必要があります HLSプレイリストを作成する際は VenueDescriptorをAIMEDataとして含める必要があります HLSプレイリストと共にファイルに格納し Apple Vision Proがコンテンツを正しくレンダリングできるようにします AIMEファイルを作成するには save関数を使用してVenueDescriptor オブジェクトを保存しそのAIMEファイルを HLSプレイリストにコピーします QuickTimeファイルをセグメント化する際にはメタデータトラックをビデオセグメントと一緒に保持して Presentation Descriptorコマンドを保持することが重要です HLSマルチバリアントプレイリストには注意すべき重要なタグがいくつかあります Apple Immersive Videoはバージョン12以降が必要です AIMEファイルをポイントする撮影場所記述データID フルイマーシブのコンテンツタイプ APACオーディオを使用することに加えて（これはビデオの後半で説明します）必須ビデオレイアウトはステレオビデオで Apple Immersive Video プロジェクションを使用します Immersive Media Supportフレームワークのもう1つの新しい重要なAPIは ImmersiveMediaRemotePreviewSenderと Receiverです重要なのはこのプレビュー方法は Apple Immersive Videoの低ビットレートパフォーマンスのみをサポートすることですまた素早くプレビューしたいとき完全なビデオファイルの処理が済んでいないときは編集ワークフローで使用する必要があります例としてはビデオ編集中にApple Vision Proでコンテンツを表示することですこれらのAPIは Apple Immersive VideoフレームをMacから Apple Vision Proに送信します ImmersiveMediaRemotePreviewSenderと Receiverで Immersive Videoフレームを1つまたは複数のレシーバに送信できますカスタムコンポジタを使用することで visionOSアプリでのライブプレビューが可能になります詳細については Immersive Media Supportのドキュメントをご覧ください空間オーディオは魅力的なイマーシブ体験の制作について考えるときビデオと同じくらい重要です Apple Spatial Audio Format（ASAF）と呼ばれる空間オーディオの新しいフォーマットを作成しました ASAFは制作現場で使用され真にイマーシブなオーディオ体験を創造します Apple Positional Audio Codec（APAC）はこのオーディオ形式を配信用にエンコードするために使用されます ASAFはオーディオのレンダリングに音響的な手掛かりを使用して真に外部化されたオーディオ体験を実現しますこれは新しいメタデータとリニアPCM Appleプラットフォームに組み込まれた強力な新しい空間レンダラで構成されます数多くの点音源と高解像度の音響シーンつまり高次のアンビソニックスにより高解像度の空間オーディオを生成しますレンダリングされたオーディオは完全に適応型でオブジェクトの位置と向きリスナーの位置と向きに合わせて変化しますどれもベイクされていません ASAFの音はあらゆる方向からどの位置からもどんな距離からも聞こえてきます ASAFはブロードキャスト WAVEファイルに含まれリニアPCM信号とメタデータと共に運ばれます一般的に ASAFは制作現場で使用されます ASAFオーディオをストリーミングするにはそのオーディオをmp4 APACファイルとしてエンコードする必要があります APACはASAFを効率的に配信しますすべてのApple Immersive Video体験には APACが必要です APAC再生は watchOSを除くすべての Appleプラットフォームで利用できチャネルオブジェクト高次アンビソニックスダイアログバイノーラルオーディオ対話型要素拡張可能なメタデータのプロビジョニングをサポートしますこのコーデックの効率性により毎秒64キロビットの低ビットレートでのイマーシブな空間体験が可能になります HTTP Live Streamingで空間オーディオを配信するにはオーディオチャンネル情報と共にメディアタグを含めて APACをストリーム情報タグでオーディオコーデックとして指定する必要があります HLSの新機能について特にAPACオーディオのサポートについては HLSの新機能の記事をご参照ください ASAFコンテンツはユーザーごとのライセンスで利用可能な AppleのPro ToolsプラグインまたはBlackmagic DesignのDaVinci Resolve Studio Editorを使用して作成し APACにエンコードできますこのセッションでは Apple Immersive Videoを特徴づけるメタデータの原理そして Immersive Media Supportフレームワークと空間オーディオで可能になったメタデータの読み書きの方法について取り上げましたアプリを拡張してApple Immersive Videoと空間オーディオ機能を追加し真のイマーシブ体験をバックアップしましょう visionOS向けのその他のイマーシブビデオフォーマットの詳細については「Learn About the Apple Projected Media Profile」をご覧ください Apple Immersive Videoの再生方法については WWDC25の「Support Immersive Video Playback in visionOS apps」をご覧ください私はApple Immersive Videoを見るのが大好きですみなさんがさらに多くの体験を創造するのを楽しみにしています Apple Immersive Video Universal ファイルを送ってください私も見てみたいですありがとう

6:23 - Read VenueDescriptor from AIVU file

func readAIMEData(from aivuFile: URL) async throws -> VenueDescriptor? {
    let avAsset = AVURLAsset(url: aivuFile)
    let metadata = try await avAsset.load(.metadata)
    let aimeData = metadata.filter({ $0.identifier == .quickTimeMetadataAIMEData }).first
    if let dataValue = try await aimeData.load(.value) as? NSData {
        return try await VenueDescriptor(aimeData: dataValue as Data)
    }
    return nil
}

6:50 - Read PresentationDescriptor from AIVU playback

func presentation(timedMetadata: [AVTimedMetadataGroup]) async throws ->   
[PresentationDescriptor] {
    var presentations: [PresentationDescriptor] = [] 
    for group in timedMetadata {
        for metadata in group.items {
            if metadata.identifier == .quickTimeMetadataPresentationImmersiveMedia {
                let data = try await metadata.load(.dataValue) {
                    presentations.append(
                        try JSONDecoder().decode(PresentationDescriptor.self, from: data)
                    )
                }
            }
        }
    }
    return presentations
}

7:52 - Create AVMetadataItem from VenueDescriptor

func getMetadataItem(from metadata: VenueDescriptor) async throws -> AVMetadataItem {
    let aimeData = try await metadata.aimeData
    let aimeMetadataItem = AVMutableMetadataItem()
    aimeMetadataItem.identifier = .quickTimeMetadataAIMEData
    aimeMetadataItem.dataType = String(kCMMetadataBaseDataType_RawData)
    aimeMetadataItem.value = aimeData as NSData
        
    return aimeMetadataItem
}

8:02 - Create timed AVMetadataItem from PresentationDescriptorReader

func getMetadataItem(reader: PresentationDescriptorReader, 
                     time: CMTime, frameDuration: CMTime) -> AVMetadataItem? {
    let commands = reader.outputPresentationCommands(for: time) ?? []
    if commands.isEmpty { return nil }

    let descriptor = PresentationDescriptor(commands: commands)
    let encodedData = try JSONEncoder().encode(descriptor)
    let presentationMetadata = AVMutableMetadataItem()
    presentationMetadata.identifier = .quickTimeMetadataPresentationImmersiveMedia
    presentationMetadata.dataType = String(kCMMetadataBaseDataType_RawData)
    presentationMetadata.value = encodedData as NSData
    presentationMetadata.time = time
    presentationMetadata.duration = frameDuration
    
    return presentationMetadata
}

8:20 - Validate AIVU file

func validAIVU(file aivuFile: URL) async throws -> Bool { 
    return try await AIVUValidator.validate(url: aivuFile)
}

9:31 - Save AIME file

let aimeFile = FileManager.default.temporaryDirectory.appendingPathComponent("primary.aime")
try? await venueDescriptor.save(to: aimeFile)

Apple Immersive Videoテクノロジーについて

関連する章

リソース

関連ビデオ

WWDC25