针对 visionOS 优化你的自定环境

大家好 欢迎来到 “为 visionOS 优化环境”讲座 我叫 Alex 在 Apple 这做技术美术师 在本视频中 我们将学习 如何打造沉浸式环境 让你的故事 在 Apple Vision Pro 上栩栩如生 这一平台为你提供了超高清分辨率、 高帧率与无缝实时交互的技术支持 让你能构建出真正 传递临场感的环境空间 当设计得当时 用户将获得身临其境的体验 为此 我们的目标是 实现电影级的视觉效果 以前所未有的方式助力叙事 遗憾的是 高保真实时渲染的 资源消耗极大 柔化阴影、全局光照、 复杂着色等功能 都会带来高昂的开销 那么如何解决这一矛盾呢？ 答案并非单一技术 而是需要采取灵活策略 在技术限制范围内 将视觉品质推向极致 让我们来看看实现这一目标的 优化工作流程 首先从一张预渲染的图像开始 这张图像已包含电影级的光影效果、 丰富的细节和高端材质 接着根据观众实际感知到的内容 对几何体和纹理进行优化 再将预渲染图像的效果 转移到优化后的场景上 从而将高端渲染的外观烘焙其中 最后将所有内容 在 Reality Composer 或 Unity 等 实时编辑器中组装完成 最终呈现的视觉效果 将带来真正的沉浸感 本期视频我将带你了解 这个工作流程中的两个环节： 资产优化与效果烘焙 帮助你打造 能用于 Vision Pro App 的 惊艳场景环境 当然这些步骤完全可以手动完成 但耗时较长 显然超出了本期视频能覆盖的范畴 因此我将向你展示 如何运用程序化工具 构建工作流 从而实现 大部分流程的自动化处理 优化 3D 内容的方法多种多样 而使用 Houdini 是一种可靠的选择 这款强大的应用程序 以节点式工作流为核心 它的可视化脚本系统 能让你构建程序化方案 自动处理并运算复杂任务 在 Houdini 中 你还能使用 名为 Houdini 数字资产 (HDA) 的 自定义工具 它们将可视化脚本与底层代码相结合 通过定制化用户界面将关键控件 呈现为可编辑参数 我们专门开发了一套 包含 14 个多功能工具的 资源包可供下载 这些工具 既能帮助优化艺术视觉效果 又能让你全程精准把控每个环节 虽然这套工作流无法覆盖所有用例 但能为沉浸式内容创作中的 特殊挑战奠定扎实的解决基础

在本视频中 我将以月球场景为例 逐步演示 如何优化内容以实现 Vision Pro 的实时渲染性能 针对初次为 Vision Pro 制作资产的开发者 我会先从画面视角快速概述 构建沉浸式内容需要掌握的核心要点 随后将详细讲解优化流程： 首先演示如何利用“沉浸边界”技术 突破传统方法优化几何体 接着展示如何通过 UV 布局和纹理烘焙 将这些原则应用于贴图优化 最后将处理好的环境 导出为 USD 格式 做好导入实时引擎的准备 现在让我们开始吧 正如我的同事 Scott 在 WWDC24 视频 “为空间计算优化 3D 素材资源” 中提到的 在 Vision Pro 上创作内容比较特殊 在为这个设备开发内容时 理解用户的体验方式至关重要 这将直接影响开发过程中的各项决策

考虑到 Vision Pro 为完全沉浸式 场景承担的渲染负荷 这一点显得尤为重要 在混合沉浸模式下 只有部分显示内容 会叠加在穿透视频上渲染 而完全沉浸模式下 每个像素都需要渲染 这对性能提出了更高要求 当用户处于完全沉浸状态时 他们处于一个固定但可移动的空间中 在体验逐渐淡出并回归现实之前 用户可向任意方向实际移动数米距离 这就是 Vision Pro 的“沉浸边界” 这既能保障用户在现实环境中的安全 同时也提供了最大化画面预算的契机

通过精确掌握用户的 可移动范围和视线焦点 你无需全场景保持最高渲染质量 只需重点优化关键区域即可 不多不少 恰如其分 这正是环境优化的关键所在 因为高保真环境往往包含 大量多边形细节 以我们预渲染的月球场景为例 它的多边形数量超过 1 亿个 这显然难以流畅运行 但也恰好能充分展现 这些 Houdini 工具的优化潜力 让我们首先打开工具包 完成场景设置 并选取优化工作流中的一个工具

下载 Houdini 示例后 请直接打开项目文件夹 其中已包含后续操作所需的所有资源 根目录下主要的 Houdini 文件 optimize.hip 承载着我们将要探索的完整配置 它旁边的 HDA 文件夹 则存放着本工作流使用的 所有自定义工具 这些 HDA 虽已在主文件中完成引用 但也可复用于其他 Houdini 项目 现在进入已加载场景的 Houdini 界面 这里的所有内容分为三大模块 每个模块都包含独立的节点和网络 首先是源数据网络 这里存放着采用密集高保真几何体的 全分辨率场景布局 示例文件中是简单的程序化设置 但本次演示我将以月球环境 作为实例进行讲解 接下来是优化模块

这里将运用视频中介绍的技术 对场景进行重构 以实现实时渲染性能

最后进入 USD 组装环节 可将成品导出至 Reality Composer 或 Unity 等实时编辑器 现在我们来看看首个自定义 HDA 这是这套工作流每个环节 都会用到的实用程序 即“边界摄像机”HDA 这个工具专为可视化沉浸式内容的 体验视角而设计

通过提供参考系来界定 沉浸边界范围 它内置多机位配置 能轻松切换实际观察视角

可调节参数支持快速变换摄像机位置 让你在优化过程中追踪场景状态

完成项目配置后 我们开始使用第一组几何体优化工具 正如前文所述 这个月球场景包含海量多边形 数百块岩石和延展数公里的地形 那么 如何才能有效降低 如此庞杂场景的复杂度呢？ 你可能会采用“细节层次”系统 来简化单个资产 这对某些类型的内容确实适用 但我们将突破常规方法 充分发挥“沉浸边界”的潜力 接下来我将运用三项技术 同步简化场景 减少多边形总量 首先从自适应多边形优化开始 不同于逐个资产优化 我们将基于可能出现的视点 对每个三角形进行优化 图中通过可视化三角形分布密度 红色代表高密度 蓝色则表示经过简化的大面积区域 在这种设置中 三角形 仅在必要位置保留复杂结构 让细节密度自然过渡而非骤降 形成渐隐式的优化梯度 这样既能确保关键细节清晰锐利 又可避免低模常见的棱角瑕疵 破坏沉浸感 这就是自适应优化的核心理念 现在让我们深入解析构建方法 这正是定制工具大显身手之处 它们专为自动化计算流程而生 通过属性驱动参数 你可以完全基于程序化逻辑 来指导哪些需要保留 哪些可以简化 它基于 Houdini 原生 PolyReduce 工具构建 配置了多视点处理能力 可视化界面中 绿色球体标记了 用于测量轮廓重要性的潜在位点 HDA 由分布在“沉浸边界”上的 一组采样点驱动 由此确保几何体在用户可能体验的 所有角度都能保持最佳表现

让我们看看这个环节 在整体流程中的位置 导入高多边形源资产后 第一步是拆分内容 以便独立处理各类元素 现在进入 Houdini 操作环节 演示如何配置其中一个 HDA 工具 示例文件中 所有岩石通过 单个“自适应减面”HDA 一次性完成减面处理 但由于源岩石的多边形总量 超过 2200 万 这个操作负载相当大 为了快速演示 我已单独分离出一小部分岩石群 方便展示单个 HDA 的配置流程 以这组岩石为例 我先新建一个“自适应减面”HDA 实例并完成节点连接

随后切换至沉浸视角摄像机 确保在“沉浸边界”内的 观察视角开展工作

现在当我激活并烘培这个 HDA 时

系统会叠加显示热力图 实时反馈 减面后模型表面的密度分布情况 顶部的这个参数 控制着整体三角形数量

你可以根据需求自由调整输出效果 正如前面所说 这些工具大多依赖采样点 从多视角评估几何体结构 为此 有一个专门的“边界采样”HDA 用于在沉浸边界内部生成观测点阵

我将创建这个新 HDA

并将它分配至“自适应减面”HDA

完成分配后 系统就会 基于这些采样点位置进行减面 此时可以看到轮廓边缘 保留了更多三角形 三角形的总数量保持不变 这是由 silhouette 参数驱动的

通过调整这个值 可以灵活分配 用于关键特征的三角形预算 对于远处的岩石群 我将调整距离权重参数 在减少总面数的同时 仍保持足够的轮廓清晰度

这就是这类工具的基础配置流程 创建 HDA 分配采样点并调整参数 以精确控制结果

通过分别对地形和 所有岩石群应用这个工具 可对 1 公里范围内的 所有几何体进行优化 对于地形 基于距离 进行更激进的减面处理 三角形密度向地平线方向逐渐降低 而岩石群则在保留主要轮廓的前提下 简化其他部分 这样便完成了 1 公里范围内的优化 但对于其余远景该如何处理？ 对于远处的物体 可以采用 游戏开发中常用的 “广告牌”技术 由于人眼对远距离物体的 视差深度感知 存在天然限制 这意味着远处的物体 无需完整的 3D 几何结构 在“沉浸边界”中 深度线索在 1 至 3 公里范围内 会逐渐趋于平面化 因此你可以将这些区域 简化为平面图像 而不会造成明显的深度感损失 这个技术将复杂的 3D 物体 渲染为始终面向“沉浸边界”的 平面几何体 针对大型场景 这个技术可配置为全景带状结构 与场景其他部分实现无缝过渡 在月球案例中 我将阈值设为 1 公里以节省更多三角形面数 从而为近景资产腾出更多细节预算

“广告牌”技术通常依赖透明贴图 来简化几何结构 但本工具直接基于 实际的几何体构建轮廓 这意味着边界能实现顶点级匹配 无需使用透明材质 这适用于各类对象 从硬表面岩石到有机植被皆可应用 它的工作原理是通过将每个顶点 向固定位置投射射线 这些射线会与预设距离的简单几何体 如球体或圆柱体 发生碰撞 起初 几何结构会显得杂乱无章 但经过顶点重新三角化后 就能获得既简洁 又能在观察视角下 保持原始轮廓特征的优化模型 “远景广告牌”HDA 以程序化方式完成整套配置 这个工具被安置在 从源布局导入地形后立即生效的位置

借助这个工具 1 公里外的几何体 从数百万多边形骤降至仅数千面 这一简化后的网格 与之前的优化结果相结合 最终输出完全优化的场景视图

让我们看看当前的优化成果 通过自适应网格减面 和远景几何体的广告牌化处理 三角形数量已降至 35 万面 相较原始 1 亿多边形的布局 实现了数量级的优化 整个环境的可见部分 都获得了显著的效能提升 下一步是通过“遮挡剔除” 优化不可见部分 这项技术能彻底消除 被完全遮挡的几何体 通过不渲染 或贴图用户永远看不到的内容 来节省资源 虽然部分剔除操作可在运行时执行 用于移除不可见的完整网格 但为了让渲染更高效 直接从几何体中移除 所有被遮挡的三角形 接下来的 HDA 会通过 朝所有方向投射数百万条射线 来移除三角形 检测哪些多边形是可见的 只要有一条射线击中三角形的 任意部分 它就会被标记以保留 未被击中部分则标记为红色予以剔除 这套工具包含两种类型的剔除： “背面剔除”和“遮挡剔除” 两者会在多边形减面优化后同步执行

首先执行背面剔除 它通过点积运算比对 找出始终背向“沉浸边界”的多边形 这种方法快速可靠 是理想的初步优化 被剔除的多边形会以线框显示 每个 HDA 下方会实时显示 节省的三角形数量 以月球模型为例 这一步移除了近 6 万个面片

接着启用第二项工具 “遮挡剔除” 它的原理是从每个采样点 投射射线进行可见性测试 精度取决于采样点数量 及每个点的射线投射量 本例中 这个步骤剔除了 11 万个三角形 这是与“背面剔除”的优化量 叠加后的数量 这两项工具形成强力组合 这轮优化移除了剩余 约 50% 的三角形 蓝色高亮部分 展示了几何体更新后的边界 但从实际观察视角看 场景完整性毫无损失 让我们看看最终的数字

三角形数量现在只有 180,000 个 对于如此复杂度的场景而言 这已经是非常理想的状态了 通过深度图并列对比可见 轮廓几乎完全一致 但运行所需的几何体量已大幅缩减

采用这种工作流的真正价值 不仅体现在数据上 更在于能对每个环节进行微调 调高参数可获得更高质量 降低参数则能提升性能 流程化工具链让你全程掌控优化进程 既然几何体已完成优化 接下来就该对 UV 布局和纹理 进行同样处理了 乍看之下或许不明显 但即便是如此荒凉的场景 也充满独特细节 数十 GB 的高保真度 PBR 贴图 基于光线追踪渲染 覆盖每个表面 这意味着每个角度的每个像素 都具备独一无二的细节 处理如此庞大数据是个严峻挑战

如何在优化后的几何体上 保留这些细节？ 这要从 UV 即控制纹理映射的 2D 坐标系说起 并再次借助“沉浸边界” 重构纹理数据组织逻辑 让我们从“沉浸边界”的最外围开始 仅隔离首 5 米范围 这个区域的资产可从任意角度观察 因此需要保持各表面 纹素密度的一致性 网格图示正体现了 这种基于面积的 UV 映射方式 确保每个表面经得起近距离检视 而在边界之外 情况就变得有趣了 这些资产只能从 有限的角度和距离观察 传统的表面积映射方式不再适用 否则只会把纹素浪费在观察者 永远无法靠近的区域 因此 策略必须调整 从基于面积的 UV 映射转为投影映射 将纹理对齐到“沉浸边界”内的 屏幕区域

这就是屏幕空间映射： 纹素密度根据观察者的 实际视角动态调节 远处的表面分配较少纹素 而近处易观察的区域 则获得更高分辨率 为实现屏幕空间映射 接下来的工具采用了一种 称为“球面投影”的技术 想象将一个球体环绕在观察者周围 然后将环境投影到这个球面上 要让这种技术适用于纹理 UV 和预渲染图像 必须采用统一的坐标体系 因此在渲染源环境时 相机同样采用球面投影 这意味着图像能与 UV 布局完美对齐 现在让我们尝试将这一配置 应用到优化后的几何体上

第一眼看去效果不错 启用线框显示时 几何体与渲染图像 严丝合缝地拼接在一起 但当你起身环顾四周时

糟糕 某些部分看起来有点不对劲

实际上 整个地形的 部分纹理都缺失了 表面会随机抓取前方任何物体 导致小岩石的纹理被拉伸到大岩石上 而大岩石的纹理又错误映射到山脉

对于这类沉浸式体验 我们需要更全面的信息 来覆盖所有观察角度 但这面临几个关键挑战 首先 UV 重叠问题 此处以红色高亮显示 在斜视角度下 表面在 UV 空间内压缩 导致三角形相互堆叠 并与后方几何体重合 这意味着即便渲染包含这些表面 数据也无处存储 其次是纹素缩放问题 仅从原始投影位置观察时精确 一旦移动 纹素密度就开始失真

第三是渲染本身缺陷 单次全景捕捉无法覆盖所有视角 部分表面要么细节不足 要么完全缺失 要解决这些问题 需要 从多角度投射 UV 为每个表面寻找最佳映射位置 然后根据所有视点动态调整纹素密度 并同步解算重叠的 UV 虽然工程庞大 但通过分块处理 可将难题拆解为多个易控步骤 无需降低场景复杂度 只需构建正确的系统来驾驭它

首先让我们将“沉浸边界”内的 几何体分离出来 集中处理剩余环境

这项技术分两个阶段实施 首先将网格分割成更小的区块 使几何体不再受单一 UV 投影限制 这有点像预定义 UV 岛的概念 在实际创建 UV 前就确定好边界 接着 每个区块会从自定义视角 获得独立的 UV 投影 确保最大化可见度 以月球场景为例 我们再次聚焦 最具挑战性的岩石群 因为单一视角无法观测到所有面 这时就需要用到 “网格分区 HDA”工具 它会以最少的切割面 将网格分割成若干岛 确保每个岛至少能 从一个视角清晰可见 比如在这块核心岩石上 面会被分割为两组 分别从两侧进行 UV 投影 从而为两个面同时 提供所需的最大分辨率 “多分区”HDA 在这个工作流中紧随 几何体优化步骤之后 当所有分区完成后 即可使用“多投影”HDA 对它们进行统一处理

这个工具会遍历前一个 HDA 创建的所有分区 并从这个区块在屏幕空间中 显示最大的视角进行 UV 投影

它会绘制一条指向 每个投影源点的连线 直观显示 UV 的生成方位 初始可能显得有些杂乱 但运行完成后 繁重的工作其实已经完成 让我们看看处理结果

所有 UV 岛都堆叠在一起 因为每个岛都与它的投影中心对齐 现在只需进行布局排列 将它们打包成完整的 UV 图集

这就是完整的配置流程 针对岩石和地形分别处理 先通过程序化方式分割网格 再为每个区块生成新的 UV 投影 最终效果是更精确的纹素比例、 最小化的重叠和失真 通过这套方案 整个环境 仅需两张贴图即可容纳 一张按表面积比例缩放的 “沉浸边界”贴图 另一张则涵盖边界外的所有内容 得益于屏幕空间缩放技术 两者的贴图尺寸可以相近 这实现了巨大的压缩比 数公里的地形数据被压缩到 与最初几米范围相同的占用空间

完成优化后 月球环境现已准备好烘焙预渲染图像 渲染与烘焙本身都是深奥的话题 因此这里仅聚焦几个关键概念 以便完成整体烘焙 在 Houdini 中 可通过 球形渲染实现烘焙 具体运作机制是这样的 首先用临时球形投影 将渲染结果映射到几何体上 再将这个投影烘焙到 最终 UV 布局中 但需注意 这仅能捕获单一视角数据 要填补缺失信息 可采用非视角依赖的投影方案

如果你从事过游戏工作 对这个应该很熟悉 就像将高模细节烘焙到低模网格那样 这里也是一样 直接从原始几何体表面 投射到优化后的 UV 图集 确保每个面都被完整覆盖

通过将这些技术组合运用 并以无光照材质的形式 应用到优化后的几何体上 最终就能获得一个完整贴图的环境 从数十 GB 的高分辨率贴图开始 如今即便是庞大的场景 也能被压缩至 不到几百 MB 同时依然保持高端视觉效果 现在 所有内容都已准备就绪 可以导出至 Vision Pro 了 最后一步是设置 USD 但设计良好的 USD 文件 不仅能保持项目整洁 还能解锁一项终极优化 进一步提升性能表现 经过优化后 整个环境 将作为一个独立的网格存在 如果直接这样导出 运行时每个 三角形都会被发送到图形处理器 即使某些部分完全不在视野范围内 为了降低这种开销 需要为 最优的“视锥体剔除”进行设置 利用 USD 的层级结构 对场景进行分区 渲染器就能根据每个实体的边界框 自动剔除几何体 通过移除 摄像机视角外的物体来提升性能

现在直观地演示一下这一机制 当观察者在场景中环视移动时 蓝色线框高亮显示 正从图形处理器卸载的实体 这个工作流采用两种分区类型 具体取决于几何体 位于“沉浸边界”的 内部还是外部 我们为每种情况都定制了 HDA 工具 两者都会生成定义新分区的属性 为 USD 布局奠定基础 在边界内部 使用 “边界分区”HDA 切割几何体 这个方案特别适合 移除脚下密集的几何结构 而对于边界外的所有物体 则由“视锥体分区”HDA 接管 它将网格划分为渐进式放大的区块 并通过优化使每个区块的 尺寸和屏幕空间占比趋于均衡 截至目前的所有优化 都停留在表面层级 仅修改了点与图元的数据表 而非真实对象 但 USD 要求分层结构 需按变换节点、网格图元 和几何子集进行组织 因此在导出前 必须将几何体 清理并重组为 USD 可解析的结构 这个设置中只需保留少量关键属性 名称属性将转换为 USD 层级中的图元名称 而分组分配则用于定义 “视锥体剔除”所需的子集 两个分区 HDA 已预先创建这些分组 只需将它们传递至 USD 即可 设置好这些属性后 后续步骤就非常简单了 将几何体导入 Solaris 后 只需启用子集组 并声明自定义分组名称 你的分区就会转换为几何子集 为实时“视锥体剔除”做好准备 这个月球环境最初包含 密集的几何体、 庞大的纹理和复杂的着色 而现在 优化工作已经全部完成 原本只能用于影视渲染的场景 现在通过这套 面向沉浸式内容的程序化工具集 已经可以实时运行 让我们通过实际效果来总结 这些优化如何赋能 多样化沉浸式体验的构建

对于月球场景 场景从最初的超过 1 亿个三角形 优化到不足 20 万个 借助“视锥体剔除” 屏幕上 同时显示的三角形数量 始终低于 10 万个 虽然对于静态场景 还可以进一步压缩 但还需考虑 复杂着色、角色动画 和交互元素等其他开销 因此控制三角形数量能为重要内容 预留性能预算 在纹理方面 球面投影技术 产生了巨大影响 将整个环境的纹理内存占用 压缩到不足 250 MB 这个数值会因项目而异 但由于大多数表面 都按屏幕空间进行缩放 所以可以保持相对稳定 更妙的是 由于最终所有纹理 都会被烘焙到同一个图集上 你可以在源输入中 使用任意数量的独立纹理

在对象管理方面 总资产数量 被控制在 200 个以内 单帧绘制调用通常少于 100 次 这得益于所有资产 都被合并并烘焙到 统一的网格分区中 无论原始对象数量多么庞大 本视频演示的工具集在设计上 力求最大程度的通用性 你只需调整参数 就能将它们复用于各类场景

如果你正在构建传送门体验 可以使用一组非常相似的工具 只需调整参数 这里是调整遮挡剔除 HDA 参数 即可移除传送门视野外的三角形 对于某些环境 多个沉浸边界可能是目标 不必为每个位置重建场景 可以使用多组采样点 来为每个沉浸式体验进行优化 只需稍作更改 大多数工具的工作方式相同 为两个边界缩放三角形 并投影 UV 使每个边界 都具有所需的最小纹素密度 从而允许在两个视点 共享一个网格和一组纹理 你处理的每个环境都会有所不同 没有放之四海皆准的标准化流程 但若能掌握多种工具 你就能为每个项目选择最佳方案 无论是月球或约书亚树国家公园 这类岩石地貌 胡德山或哈雷阿卡拉火山 这类自然景观 还是会议室、剧院 这类硬表面室内场景 这些体验都能运用本视频中 讨论的技术及其他方法构建 某些需要复杂着色器的场景 必须精简几何体以保证实时性能 而像会议室这类从一开始 就采用高效手工建模的场景 过度优化反而多此一举 若想深入了解技术实现 你可以从随附的示例项目入手 这个项目包含视频演示的 工作流和工具集 可自由使用和修改 README 文件提供了 每个工具的详细说明 以及视频未涵盖的 几个额外的 HDA 工具 如需获取针对特定平台的优化指南 请参阅“为空间计算优化 3D 素材资源” 核心要义是 高保真内容 不一定要以高昂性能为代价 早期开发者无法渲染所有细节 必须运用创意技术实现以少胜多 这些原则至今仍能优化你的工作流程 关键是在创作过程中 同步进行针对性优化 借助强大工具 你能突破可能性的边界 打造更具沉浸感和临场感的环境 感谢观看