visionOS 27 的新功能

RealityKit 可助你构建交互式高保真空间体验，将你的内容与现实世界完美融合。今年，众多激动人心的新功能惊喜亮相，让这种奇妙体验更具沉浸感。

现在，物理空间的光线可将虚拟光照融入到现实环境中，让虚拟物体的光影能够投射到物理表面。将这项功能与新的 Projective Textures API 相结合，就可以直接给聚光添加纹理来模拟各种效果，比如彩色玻璃投射或水下焦散现象。RealityKit 还推出了实时布料模拟，能够栩栩如生地呈现旗帜、窗帘和服装等各种织物，同时确保它们对动作和用户交互做出自然逼真的响应，为交互式内容开启全新可能。

RealityKit 的增强功能远不止于视觉层面。借助 Reverb Mesh API，你可以对环境中不同的材质如何吸收并散射声音进行精准建模，有效模拟逼真的空间音频效果。现在，RealityKit 还可高效渲染 3D 高斯泼溅，让你能够将逼真的现实对象扫描融入到自己的虚拟体验中。

这些功能共同为你带来构建空间体验的绝妙工具，助你将虚拟世界和现实世界无缝融合，同时呈现逼真的光照、材质、物理现象和音频来自然地响应用户所处的环境。

Reality Composer Pro 3 旨在助你在 Mac 上轻松快速地为游戏和 App 迭代、预览并准备 3D 内容，让这些内容能在 visionOS 和 iOS 上完美呈现。以影院级精度构建惊艳场景并制作角色动画，从未如此简单。得益于实时预览，你在 Reality Composer Pro 中做出的更改，瞬间就能在 Apple Vision Pro 上查看。

借助与 Xcode 的深度集成、强大的可视化脚本、助力素材创作的生成式智能，以及专为设计师、艺术家和工程师量身定制的工作流程，Reality Composer Pro 3 实现了从创意到体验的完美闭环。更改材质、微调动画、调整布局，几秒就能在设备上查看修改后的效果，而不必耗费数分钟时间等待。

虽然 RealityKit 和 SwiftUI 等原生框架与 visionOS 的集成程度最为深入，但如果你已使用 Unity、Unreal 或 Godot 等其他引擎构建了游戏，将其移植到 Apple Vision Pro 也比以往任何时候都更容易。

自 Apple Vision Pro 发布以来，Unity 便一直支持 visionOS。今年新增功能：visionOS 现在支持在 Unity App 和游戏中使用空间配件。你现在可以利用 Sony PlayStation VR2 Sense 控制器等空间配件，设计精准的触觉交互体验。

使用 Godot 构建的游戏，同样能移植到 visionOS。Godot 现在支持 CompositorServices，可实现完全沉浸式体验。借助全新 RealityKit 渲染插件，你可以利用窗口和空间容器将自己的游戏带入共享空间；还可使用新的 PHASE 音频插件，通过 Apple 的音频框架实现空间音频体验。在 visionOS 上运行的 Godot 游戏也支持 Sony Playstation VR2 Sense 控制器。

如果你使用的是其他游戏引擎，同时又希望在 ImmersiveSpace 中呈现自己的游戏，则可以直接在 visionOS 和 macOS 上采用 CompositorServices API。

Mac 虚拟显示器彻底改变了你的工作空间，让广阔、私密又便携的显示屏触手可及，方便你随时随地通过这一显示屏在 Mac 上大展身手。今年，全新的 macOS Spatial Preview 框架进一步增强了这项功能，让你能直接使用 Apple Vision Pro 预览 Mac 中的空间内容，还能通过同播共享与他人顺畅协作。

Spatial Preview 框架可将你的 Mac App 接入 visionOS 上的“快速查看”，这样你的用户就能在 Apple Vision Pro 上快速地预览并更新空间照片、Apple 沉浸视频，以及经过实时 USD 编辑的 3D 内容。你可以在 3D 场景周围自由移动、优化内容放置、调整光效和材质覆盖，并使用注释分享反馈——所有操作都在空间环境中完成。

随 visionOS 26.4 推出的 Foveated Streaming 框架提供了一个基于会话的 API，让你可以将 Apple Vision Pro 连接到本地及云端流式传输端点，比如 PC、工作站和云端服务器。端点主机能够根据用户注视的大致区域，仅在必要时传输高质量内容，确保实现出色的性能表现，同时保护用户隐私。通过与 NVIDIA CloudXR™ SDK 的集成，OpenXR 应用程序和游戏也可用作流端点。

在 Apple Vision Pro 上，采用 Foveated Streaming 框架可将 visionOS 空间内容与你 App 中的流媒体内容一同显示。举例来说，飞行模拟器 App 可以使用 RealityKit 渲染驾驶舱，将占用大量处理器资源的地貌从远程电脑流式传输到设备上。你还可以使用 ImmersiveSpace 的所有功能，包括 progressive 和 mixed 沉浸样式。通过双向信息通道系统，visionOS App 可与流式传输端点交换自定数据，让 App 能使用原生 SwiftUI 界面配置流式传输的内容。

visionOS 27 让对象追踪再上新境界——随着用户在现实世界中拿起对象并与之互动，对象能够瞬间做出反应，带来动感十足的神奇体验。

• 通过高帧率追踪，你的 App 能随着对象在空间中移动实现更频繁的位姿更新。另外，Create ML 提供了扩展的训练选项，可实现精准度与稳定性的双重提升，尤其适合手持对象。

• 全新 API 可在公制空间中提供对象位姿，而不显示校正数据，这为外科手术导航训练等高精度空间测量用例解锁了无限机遇。这些功能对 visionOS 和 iOS 都适用——由于对象追踪无需平台特定的训练，你目前构建的参考对象无需重新训练就能在你的 iOS 和 visionOS App 中正常使用。

• 推出适用于 iOS 的 ARKit API，支持 visionOS 的同款对象追踪功能。

现在，公司还可自行构建与 Apple Vision Pro 协同工作的空间配件。空间配件可将红外 LED 灯与 IMU 相结合，实现六个自由度的精准低延迟追踪，同时支持按钮、触控板和触感反馈等物理输入。这些设备的追踪速率最高可达 90 Hz，支持高运动用例和弱光条件下的追踪。今年晚些时候，许多制造商 (包括 DFRobot 和 MikroE) 将发布现成的参考硬件和开发套件，以供你在 visionOS App 中进行测试或直接使用。

Apple 沉浸视频是适用于 visionOS 的高保真沉浸式视频体验，由不断壮大的制作及后期工具生态系统提供支持，这些工具均基于 Immersive Media Support (IMS) 框架构建。

visionOS 27 为 IMS 带来了多项改进，比如你可以使用摄像头呈现命令，在复杂的实时制作场景中轻松覆盖默认配置。此外，在编辑或实时制作过程中，你可以直接从 Mac 实时预览 Apple Vision Pro 上的 Apple 沉浸视频；还能启用自定合成器管道，构建自己专属的渲染阶段。

除此之外，visionOS 27 新增了宽幅宽高比支持，这样从完全沉浸模式切换到传送门模式时，就能让沉浸式内容保持宽幅传送门视图。在使用 RealityKit 和 AVKit 构建的 App 中，你还可为传送门窗口定义非标准宽高比。