了解 Apple 沉浸视频

概览 一种全新的媒体方法

Apple 沉浸视频 (AIV) 代表了媒体制作与交付工程的一项基础性进步。AIV 利用新技术，以接近人类的视觉锐度和时间分辨率拍摄你眼前的世界，带来前所未有的还原度和空间精准度。AIV 以每秒 90 帧的帧率拍摄，每只眼睛的像素超过 5000 万。它通过元数据驱动的精确度，在 Apple Vision Pro 上保持真实世界比例的准确性。

AIV 是一种复合格式，将高级图像捕捉、镜头校准管理、图形辅助、动态音频元素、运动元数据和动态像素重新投影整合到单一文件中。这一技术复杂性由支持 AIV 的工具为用户管理，使 AIV 工作流的体验与处理传统 2D 内容一致。

通过清晰度实现临场感的保真度

Apple 沉浸视频的目标是每度 60 个像素，这相当于人眼 20/20 的视力，也就是距离感知变得可靠的临界值。Apple 沉浸摄像机每度至少可捕捉 40 个像素，保证了源素材具有足够多的细节以在 Apple Vision Pro 上交付。为了维持 40ppd 的最小值，静态注视点技术即使在对 AIV 内容进行编码和打包以用于流媒体传输时，依然能保留最大的感知敏锐度。

周边视角

Apple 沉浸视频的目标视角可达 230 度。AIV 的视角能力超过 180 度，针对自然观看舒适度和像素利用效率进行了优化。通过将像素集中在人类自然视野范围之内，而非进行 360 度全方位分布，Apple 沉浸视频在最大化清晰度和观看舒适度的同时，也为内容创作者保留了将观众的注意力聚焦于眼前故事的能力。

动态定制投影

Apple 沉浸视频采用动态定制投影技术，消除了传统经纬图或等距柱状投影图像处理所带来的潜在质量损失和锯齿。每个镜头都携带了渲染该镜头的真实或虚拟摄像机镜头的独特光学系统元数据。这种全新的校准与渲染技术免除了为支持 VR180 等传统全向视频格式而通常所需的预处理和重复文件生成环节。

现实世界比例

Apple Vision Pro 会对捕捉到的每一个原始像素进行重新投影，确保内容不出现任何扭曲和拼接伪影。存储在轻量级 .ILPD 文件中的高度校准的镜头数据包含了精确重新投影所需的完整“光学指纹”，从而省去了手动镜头解算环节，并实现了视觉特效的无缝集成。

全新的创意画布 将观众优美地放入场景之中

Apple 沉浸视频是对故事讲述和体验方式的革新。AIV 捕捉内容的方式跟人眼一样。它保留了真实的比例、空间深度和栩栩如生的立体感。创作者现在可以让观众直接置身于所看到的时刻之中。从最细微的环境细节到完整的人类周边视觉，每一处都极致还原，这是任何其他媒体都无法实现的用户体验。

临场感

Apple 沉浸视频能够让观众随着故事的展开，置身于相应的场景中。通过忠实还原现实世界比例和空间关系的高分辨率、高帧率拍摄，观众能够体验到真实的维度，就如同自然感知到一样。临场感使观众能够感知环境并感受氛围，无论是在体育比赛的场边还是在训练模拟中。

真实性

视频和音频中由元数据驱动的精准度，实现了对现实世界的高保真还原，能够以前所未有的方式捕捉环境细节或拍摄对象的肢体语言等细微之处。与叙事相结合时，逼真的细节会让观众对内容建立起信任感。无论是在剧本设定的环境中捕捉未经修饰的对话，还是以 1:1 的比例演示复杂的维修流程，这种真实性都为你的体验带来了新的价值，这是 2D 媒体无法实现的。

接近感

在平面屏幕媒介中，创作者可以放大拍摄对象，而 Apple 沉浸视频则可让观众从物理层面靠近对象。这改变了观众与内容之间的关系，营造出亲密的接触感，把观看故事转变为亲身感受的体验。你可以在纪录片中让观众坐在距离野生动物咫尺之遥的地方，或者在引导式培训场景中利用细微面部表情所蕴含的情感力量。有史以来第一次，你可以通过故事创作让观众形成长久萦绕于心的体验感记忆。

情感连接

除了将观众传送到新的地方之外，Apple 沉浸视频还能在观众与你的内容之间建立真正的连接。通过能够自然响应头部运动的空间音频，以及符合人类感知的、一致的现实世界比例，观众会感觉他们正共同身处其中，而不是从外部旁观。无论是在观众成为倾诉对象而非旁观者的精心编排的场景中，还是在能够更真实还原顾客服务互动的内容中，都是如此。

Apple 空间音频格式 会移动、会响应，并且属于你所创造的世界的音频

Apple 空间音频格式 (ASAF) 代表了沉浸式音频工程的一项基础性进步，它旨在与 Apple 沉浸视频协同工作，专为满足 Apple Vision Pro 的空间与感知需求而打造。

通过将基于对象的音频、基于声道的音频以及高阶环境立体声 (HOA) 统一到单一容器之中，ASAF 实现了现有任何空间音频格式都无法企及的声学精度与适应能力，可让团队精确控制声音在三维空间中的行为。支持头部追踪的双耳渲染技术能够动态响应观众的运动，确保音频始终与视觉环境保持空间上的一致性。

耳机原生渲染

双耳渲染从一开始就被视为头等大事，其细节和精度水平是为了实现令人信服的外部化效果，即让听者感到声音来自耳机之外，并存在于自己周围的空间中。其结果便是，当观众在 Apple Vision Pro 上观看 Apple 沉浸视频内容时，会体验到自然、沉浸的临场感。

混合音频架构

ASAF 将基于 HOA 场景的声床与离散音频对象结合，以实现全尺度的完整空间覆盖。HOA 捕捉录制环境的完整环境声场，而音频对象则允许声音设计师对单个声音元素的位置与运动进行精确、独立的控制。这两种表现形式共同提供了与人类听觉敏锐度相匹配的空间分辨率。

自然度与感知准确性

当空间音频体验符合听者潜意识中对声音表现方式的预期时，沉浸感最为强烈。要实现这一点，关键声学线索 (例如早期反射、距离、声源辐射模式和朝向) 必须准确无误且互不冲突。

ASAF 的空间渲染器不是在内容创作时将声学效果固化其中，而是在播放时动态计算关键声学线索，持续适应听者与对象的位置和朝向变化。因此，无论听者如何在场景中移动，都能始终获得空间准确的聆听体验。

跨平台一致的艺术完整性

由于 ASAF 的空间渲染器在 Apple 各平台上保持一致，因此内容创作阶段在 macOS 上使用的渲染环境与在 Apple Vision Pro 上呈现体验的渲染器完全相同。混音师可以确信自己的创作决策在播放时将得到精确保留，不会在制作与交付之间产生转换损耗。因此，创作者可以放心地将音频体验发布到其他 Apple 平台。

Apple Positional Audio Codec (APAC)

ASAF 的空间能力要求传输解决方案能够以实用的比特率处理该格式的高声道数。为应对这一挑战，Apple 开发了一款全新的空间编解码器 APAC (Apple Positional Audio Codec)，它专为高效交付高分辨率 ASAF 内容而设计。APAC 在保持低比特率的同时，不牺牲该格式旨在保留的空间精度与细节，让创作者能够简单轻松地将最高品质的沉浸式音频交付到 Apple Vision Pro。

沉浸式临场感

当正确执行时，ASAF 的空间精度、动态适应性与感知保真度的结合便能创造出一种体验，使听者被传送到超越设备和周围环境的地方，完全沉浸在场景之中。这就是 ASAF 所力求达到的标准，以及为何现有的任何格式都无法满足 Apple Vision Pro 的需求。

工具与工作流 精简专业的端到端解决方案

Apple 沉浸视频生态系统是一套完整的端到端解决方案，涵盖了沉浸内容制作的每一个阶段，包括拍摄、后期制作和 visionOS 上的交付。Apple 沉浸认证的硬件与软件以原生方式协同工作，可在整个流程中自动地保持画质，并降低过去使沉浸内容制作变得复杂的技术开销。

拍摄

经过认证的摄像机能够满足 Apple 沉浸视频要求的高分辨率、高帧速率立体视频拍摄。每个摄像机系统都经过验证，以满足 AIV 严格的光学要求；镜头校准与元数据在拍摄时即被嵌入，以确保从第一帧就开始保持光学完整性。

高阶环境立体声麦克风能够从摄像机的视角录制声音环境，捕捉与镜头相匹配的空间和方向信息。这提供了空间声床，后期制作中可以在其上叠加其他元素。空间音频采集旨在增强而非取代传统的单声道和立体声制作声音，为后期制作团队提供构建令人信服的沉浸式声景所需的全部素材。

• 阅读支持 AIV 的工作流

后期制作

过去，沉浸媒体的后期制作需要大量的技术性工作，复杂的 3D 同步、手动镜头解算以及低效的投影管理都会占用本应用于创意工作的时间。而支持 AIV 的工作流将这些技术复杂性转移到幕后。摄像机专属的元数据在整个流程中始终保留在每个镜头中，因此不需要进行转码和手动投影管理。镜头校准、3D 同步和现实世界比例在剪辑和最终成片的每个阶段都会自动处理。团队可以自由地专注于真正塑造观众体验的创意考量。

空间音频后期制作流程遵循相同的理念，经过认证的 Apple 空间音频格式工具为声音设计师、混音师和最终成片团队提供了贯穿音频后期每个阶段的专用路径。空间定位、基于对象的混音以及最终的 APAC 编码交付都在一个专为 Apple Vision Pro 设计的连接工作流中完成。

交付

支持 Apple 沉浸的交付工具会验证沉浸元数据和 Apple 空间音频格式 (ASAF) 组件，生成用于本地播放或质量控制的 .aivu 文件，并按照 Apple 沉浸的交付规范准备符合标准的高质量编码以供分发。

使用 HLS Tools 和 AVKit 等 Apple Developer 框架，进行基于标准的打包，并集成到流媒体和 App 播放中。使用 SpatialGen、Ateme 和 Colorfront 等工具对沉浸内容进行编码和转码。无论是为流媒体分发进行交付，还是将播放嵌入 visionOS App，这些工具都能确保一致性、可靠性和高质量的沉浸内容呈现。

• 示例代码：沉浸视频和空间音频播放