探索 Metal 4

大家好 欢迎观看本次讲座 我是 Aaron 很高兴与大家分享 Metal API 重大更新的详细信息 Metal 是 Apple 的 底层图形和计算 API 它为多代复杂应用程序提供支持 包括像“赛博朋克 2077” 这样的最新游戏 以及各种强大的专业 App Metal 已成为开发者在 Apple 平台 处理渲染和计算的 核心技术手段 基于十多年的经验构建而成… …Metal 4 将这个 API 提升到了全新水平 能够帮助开发者交付 对性能要求极高的游戏和专业 App Metal 4 在开发之初就着眼于 新一代游戏、 图形和计算 App 的需求 它释放了 Apple 芯片 全部的性能潜力 如果你曾使用如 DirectX 等 其他图形或计算 API Metal 也会让你感到 熟悉且容易上手 作为你的 App 中可能已经集成的 Metal 框架的一部分 Metal 4 可以在 搭载 Apple M1 及更新芯片 以及 A14 仿生及更新芯片的 设备上运行 Metal 4 引入了一套全新的命令结构 并采用显式内存管理 …同时改变了资源管理方式 以支持更丰富、更复杂的视觉效果 着色器编译更快 提供更多选项 因此你的 App 可以减少冗余编译 …而机器学习技术现在 可与你的 Metal App 的其余部分 无缝集成 你还可以通过 MetalFX 获得新的 内置解决方案来提升 App 的性能 我还将介绍如何开始采用 Metal 4 首先我将介绍 App 如何编码和提交命令 Metal 在系统中通过一个 Metal 设备表示 由操作系统提供给你的 App 有了 Metal 设备后 就可以创建命令队列 将任务发送到硬件 以及包含要发送的任务的命令缓冲区 通过命令编码器 你可以将命令 编码到这些命令缓冲区中 你可以使用你 App 当前所用的 MTLDevice 来充分利用 Metal 4 Metal 4 提供了一种令你感到熟悉的 全新命令编码模型 并引入了其余这些对象的新版本 这些更改始于新的 MTL4CommandQueue 你的 App 可以通过 MTLDevice 获得它 Metal 4 将命令缓冲区 与将使用这些缓冲区的队列分离 因此你的 App 也会向设备请求 MTL4CommandBuffer 各个命令缓冲区相互独立 因此你的 App 能够轻松地 对它们进行并行编码 App 利用编码器处理不同类型的命令 包括绘制、调度、位块传输 和构建加速结构 Metal 4 整合了现有的命令编码器 借助新的统一计算编码器 你的 App 还可以管理位块传输 和加速结构命令编码 这减少了所需的编码器总数 还有一个新的 MTL4RenderCommandEncoder 它提供了一个附件映射机制 供 App 用以将逻辑着色器输出 对应到物理颜色附件 App 可以使用所有必要的颜色附件 配置单个渲染编码器的附件映射 并且可以在它们之间随意切换 这样你就无需分配额外的渲染编码器 从而节省 App 内存和不必要的代码 你的 App 可以使用任意可用的 编码器类型组合将命令编码到 命令缓冲区中 命令缓冲区由内存提供支持 当 App 对命令进行编码时 数据会写入这个内存 在 Metal 4 中 这个内存 由 Metal 4 命令分配器管理 使用设备创建命令分配器以直接控制 App 的命令缓冲区内存使用量 让现代 App 最大限度地利用 可用的系统资源 内存管理至关重要 而现代 App 使用比以往更多的资源 你的 App 在 Metal 4 中 以不同的方式管理资源 Metal 使用两种基本类型的资源 Metal 缓冲区存储 App 定义格式的 通用数据 而 Metal 纹理则存储 图像格式的数据 过去 应用程序使用的资源较少 有时甚至每个对象只有 一个缓冲区和纹理 后来应用程序添加了更多纹理 以提高表面细节的水平 然后 为了在渲染中引入更多变化 它们还添加了更多的几何形状 现代应用程序延续了这一趋势 并使用越来越多的资源 以支持复杂的新用例 但是随着资源数量增加 API 只公开了一组固定的资源绑定点 来为每次绘制或调度设置资源 在过去 每次绘制 通常只使用一些资源 例如 这只兔子只有一个纹理 和一个用于几何构造的缓冲区 然后 对于每次绘制 每个对象都可以更改 几何形状和纹理的缓冲区 以改变表面外观 但随着绘制调用次数增加 和着色器变得更加复杂 管理每次绘制的绑定点的影响 增加了 CPU 时间 因此 应用程序改为无绑定模式 其中绑定的资源移动到 另一个缓冲区来存储绑定 这样 App 只需为每个对象 或甚至整个场景 绑定一个参数缓冲区 这意味着你可以大幅减少 所需的绑定点数量 为帮助你的 App 避免 为额外的绑定点付费 Metal 4 提供了一种 新的 Metal 4 参数表类型 来存储 App 所需的绑定点 参数表是对编码器上的 每个阶段单独指定的 但也支持跨阶段共享 你可以根据应用程序需要的绑定点 创建大小合适的参数表 例如 在无绑定的情况下 参数表只需要一个缓冲区绑定 GPU 还需要能够访问所有这些资源 而这就是驻留发挥作用的地方 Apple 芯片为你提供 超大的统一内存空间 你可以用它来存储 App 的所有资源 但 Metal 仍然需要知道 要让哪些资源成为常驻资源 在 Metal 4 中 App 使用驻留资源集 来指定 Metal 应当用作 常驻的资源 这是为了确保硬件可以访问它们 驻留资源集可轻松集成到 命令缓冲区的 每帧编码和提交过程 你只需要确保 驻留资源集包含你提交的命令缓冲区 所需的所有资源 但由于驻留资源集内容很少改变 填充驻留资源集 可在 App 启动时完成 创建驻留资源集后 你可以 将它添加到 Metal 4 命令队列中 随后提交到这个队列的 所有命令缓冲区都将包含这些资源 如果你需要进行任何更新 在运行时使用这种方式的 成本会低很多 对于在单独的线程上 流入和流出资源的应用程序 …你可以将更新驻留资源集的成本 转移到这个线程 并在编码的同时 更新驻留资源集 受益于驻留资源集的 一个优秀游戏案例是 “控制：终极版” Remedy Entertainment 的 技术出版总监 Tuukka Taipalvesi 如是说： “控制：终极版”发现 驻留资源集易于集成 通过根据使用情况将资源划分到 不同的驻留资源集中 并在后台线程中管理资源驻留 我们的驻留资源管理开销显著减少 并且减少了禁用光线追踪时的 内存使用量

交付像“控制”这样精美的游戏 需要比以往更多的资源 甚至可能需要比可用内存更多的内存 尤其是针对一系列设备时 为了充分利用可用内存 你的 App 可以动态控制 资源如何使用内存 这需要精细控制 如何将内存分配给资源 因为并不是所有资源都会同时会用到 App 可以通过控制 常驻资源细节级别来调整画质 从而在更多种类的设备上 支持相同的内容 App 可以使用放置稀疏资源 来实现这一功能

Metal 4 支持分配为 放置稀疏资源的缓冲区和纹理 这些资源在分配时 没有任何页面来存储它们的数据 对于放置稀疏资源 页面来自放置堆 你的 App 从放置堆分配页面 来为资源内容提供存储空间 由于 Metal 4 默认侧重于并发 你需要确保资源的更新是同步的 为了简化同步过程 Metal 4 引入了一个屏障 API 可提供低开销的 阶段间同步机制 能很好地对应到 其他 API 中的屏障 你可以在 Metal 4 代码示例 “在计算函数中处理纹理”中 看到屏障的实际效果 App 初始载入彩色图像 通过计算着色器将它转换为灰度图像 然后将转换后的纹理呈现到屏幕上 这些步骤依赖于共享资源： 纹理处理的输出 这个代码示例使用 Metal 4 屏障 确保资源写入和读取 按正确的顺序进行 如果没有同步 这些步骤可能会以任何顺序执行 轻则导致使用错误的纹理内容… …重则 如果这两个步骤发生重叠 就会导致输出损坏 为了确保顺序正确 App 使用了一个屏障 屏障会按阶段工作 因此你需要根据编码器中的阶段考虑 每项操作在哪个阶段运行

处理纹理将在计算命令编码器上 作为调度阶段操作执行 渲染将成为渲染命令编码器的一部分 这个编码器在片段操作中读取纹理 所以你需要的屏障是 从调度到片段的屏障 它会等待调度阶段工作完成后 再开始任何片段的工作 要在 App 中实现最佳性能 有效使用屏障非常重要 尤其在拥有大量资源的情况下

除了资源之外 现代 App 还管理海量着色器 这些着色器需要先进行编译 然后才能发送到硬件 来为你的 App 进行渲染和计算 着色器以 Metal 着色语言编写而成 并降级为 Metal IR 然后这个 IR 被编译为 可由硬件原生执行的 GPU 二进制文件 作为开发者 你可以控制 何时进行着色器编译 Metal 设备提供了一个接口 用于将着色器发送到 操作系统以供 CPU 编译 Metal 4 通过 专用的编译环境管理编译 新的 MTL4Compiler 接口 现在与设备分开 你的 App 用设备来分配编译器接口 这个接口会清晰、 明确地控制 App 何时 在 CPU 上执行编译 你还可以通过 MTL4Compiler 来利用着色器编译堆栈中的 调度改进 MTL4Compiler 继承了 分配给请求编译的线程的 服务质量类 当多个线程同时编译时 操作系统将优先处理 来自更高优先级线程的请求 确保首先处理 App 最重要的着色器 然后再进行其他编译 对着色器编译的显式控制非常重要 因为现代 App 拥有 比以往更多的着色器 在管道状态生成过程中 你的 App 必须首次编译每个着色器 然后 GPU 才能继续工作 有时 管道会共享通用的 Metal IR 例如 你的 App 可能会应用 不同的颜色状态 来呈现不同的透明度 同样的情况也可能适用于其他管道集 借助 Metal 4 你可以 针对这种情况进行优化 从而减少着色器编译 所花费的时间 渲染管道现在可以使用 灵活的渲染管道状态 一次性构建通用的 Metal IR 这会创建一个非专用管道 然后 App 会使用预期的颜色状态 对管道进行专门化处理 Metal 将重复使用 已编译的 Metal IR 高效地创建要执行的专用管道 灵活的渲染管道状态在跨着色器管道 重复使用 Metal IR 时 可节省编译时间 你的 App 会先一次性创建 一个非专用管道 然后再针对每种必要的颜色状态 对管道进行专门化处理 你可以对共享 Metal IR 的其他管道 重复这个过程 并共享来自每个管道的编译结果 以减少 App 编译着色器 所花费的时间 设备端编译仍然会消耗 CPU 时间 性能最高的途径仍然是 完全消除设备端编译 Metal 4 简化了管道配置的收集 要了解有关如何利用 Metal 4 的编译工作流的更多信息 以及有关命令编码的更多详细信息 请观看“探索 Metal 4 游戏” Metal 4 让机器学习的集成 变得前所未有的简单 这为你的 App 开辟了全新的可能性 诸如画质提升、资源压缩、动画混合 和神经着色等渲染技术都受益于 机器学习的针对性应用 为了高效应用这些技巧 App 需要对复杂的数据集和结构 进行操作 缓冲区很灵活 但将大部分繁重工作留给了 App 而纹理则不太适合 Metal 4 增加了对张量的支持 张量是一种基本的机器学习资源类型 在所有环境中都受支持 Metal 张量是多维数据容器 可以轻松扩展至二维以上 从而可以灵活地描述 机器学习实际使用中 所需的数据布局 Metal 4 将张量直接集成到 API… 以及 Metal 着色语言中 张量简化了对多维数据的 复杂索引操作 让你的 Metal 4 App 可以 专注于以创新方式 应用机器学习 为了进一步简化 Metal 4 扩展了受支持的命令编码器集合 使用全新的机器学习命令编码器 你可以直接在 你的 Metal App 中执行 大规模网络 机器学习编码器的工作方式 与现有 Metal 编码器类型类似 张量作为映射到参数表的资源使用 编码操作作用于相同的 Metal 4 命令缓冲区 并且支持 与其他 Metal 4 编码器同步的屏障 Metal 4 机器学习编码器与以现有的 CoreML 软件包格式表示的网络兼容 使用 Metal 工具链 将它们转换为 Metal 软件包 然后将网络直接馈送到编码器 新的机器学习编码器非常适合用于 需要与你的 Metal App 的其他部分 进行命令级别交错的大型网络 如果你的网络规模较小 Metal 4 还可以让你灵活地将它们 直接集成到现有的着色器管道中 例如 神经网络材质评估 将传统材质纹理替换为 潜在纹理数据 你的 App 会对这些潜在纹理采样 以创建输入张量 使用采样值执行推理 并使用最终输出来执行着色 将每个步骤拆分到各自的管道中 是非常低效的做法 因为每个步骤都需要 从设备内存同步张量 对它们进行操作 并将输出同步回来用于后续操作 若要获得最佳性能 你的 App 应将这些步骤合并到 单个着色器调度中 以便每个操作都可以 共享公共线程内存 实现推理是一项复杂的任务 但 Metal 4 提供了 Metal 性能原语 为你提供全面支持 Metal 性能原语是专为执行复杂计算 而设计的着色器原语 它们可以对张量进行原生操作 每种都经过优化 可在 Apple 芯片上飞速运行 张量操作非常适合将小型网络 嵌入到你的着色器中 你的 App 可以将它们作为 Metal 着色语言的一部分加以利用 这样 操作系统着色器编译器 会将针对所用设备优化的着色器代码 直接内联到你的着色器中 如需进一步了解如何 使用 Metal 的新机器学习功能 请观看“实现 Metal 4 机器学习 与图形应用程序的完美融合” Metal 4 为你提供了 集成尖端机器学习技术 所需的所有工具 你还可以利用 MetalFX 内置的生产就绪型解决方案 Apple 设备具有惊人的 高分辨率屏幕 非常适合展示你的精彩游戏 借助 MetalFX 你的 App 在呈现 具有逼真反射效果的复杂场景时 能够实现更高的分辨率 和更流畅的刷新率

渲染高分辨率图像可能会 长时间消耗 GPU 作为替代方案 你可以选择先渲染低分辨率画面 再通过 MetalFX 提升图像画质 渲染最终图像的总时间缩短了… …这意味着你的 App 可以 节省渲染每一帧的时间 你可以用省下来的时间 更快地渲染下一帧 如果你想在不牺牲画质的情况下 达到最高的刷新率 MetalFX 内置了一个出色的解决方案 今年 MetalFX 增加了 对帧插值的支持 你的 App 能用它来生成中间帧 所需时间远少于 从头开始渲染每一帧的时间 你可以使用这些中间帧 来实现更高的帧速率 光线追踪是 App 用于 实现逼真渲染效果的另一种技术 通过跟踪从摄像头 到光源的光线来实现 然而 如果投射的光线太少 生成的图像就会 因噪点太多而无法使用 MetalFX 现在还支持 在提升画质的过程中降噪 因此你的 App 可以消除 用较少光线渲染的图像中的噪点 并实现全尺寸效果 MetalFX 可帮助你 以更高的刷新率制作出玩家喜爱的 高画质效果 游戏可以将它与 Metal 4 光线追踪 相结合以获得惊艳效果 如需进一步了解如何使用这些功能 请观看“深入探索 Metal 4 游戏” 你的 App 可以结合所有这些功能 来完成一些不可思议的事情 Metal 4 的设计让移植 变得简单且模块化 App 由几个关键的功能类别组成 包括： 如何编译着色器 如何编码并向硬件提交命令 最后是它的资源管理 每个功能类别都可以 在各自不同的阶段单独处理 编译可能是最容易的第一步 你可以分配一个 Metal 4 编译器 并将它插入 你 App 的编译流程 以提升服务质量 采用新的编译界面后 你的 App 可以集成灵活的渲染管道 来加快渲染管道编译速度 或利用收集方面的改进 来改进提前编译 无论是否采用新编译器 你的 App 都可以 从使用 Metal 4 生成命令中受益 借助 Metal 4 的 命令编码和生成模型 你可以更有力地控制内存分配 你还可以跨编码器类型 利用原生并行编码 来更快地完成编码… …而 Metal 4 的全新机器学习功能 为你的渲染管道开启了新的可能性 你的 App 可以基于想要集成的网络 采用机器学习编码器 即 Shader ML 然后 你可以通过 Metal 4 的资源管理更进一步 驻留资源集非常容易见效 集成它们可简化驻留资源管理 屏障允许你的 App 高效地 跨不同通道同步资源访问 而借助放置稀疏资源 你能够将资源流构建到 你的 Metal App 中 作为开发者 你最有能力判断 应如何改进你的 App Metal 4 让你可以在最需要的时候 灵活采用新功能 放置稀疏技术是 支持特定用例的功能的有力示例 下面介绍将它集成到 现有 Metal App 中的方法 你的 Metal App 已使用现有的 Metal 命令队列提交工作… …而稀疏资源放置策略映射操作 需要 Metal 4 命令队列 你可以使用 MTLEvent 来同步 App 的 Metal 和 Metal 4 命令队列之间的工作 第一个信号事件调用取消阻止 MTL4CommandQueue 以更新放置稀疏资源映射 第二个信号事件调用会通知你的 App 使用放置稀疏资源继续渲染工作 你可以使用与以前相同的 MTLEvent 你的 App 应在等待事件之前 提交不依赖于这些资源的工作 以确保始终充分利用硬件 Metal 随附了一套先进的开发者工具 可帮助你进行调试 并优化你的 Metal App 今年 这些工具还增加了 对 Metal 4 的支持 API 和着色器验证 可通过识别常见的问题 为你节省宝贵的时间 全面的 Metal 调试器可帮助你 深入了解 Metal 4 的使用情况 Metal 性能 HUD 提供了 实时叠加层来监控 App 的性能 Metal System Trace 帮助你 深入了解 App 的性能情况 你可以在 Apple 开发者网站上 了解所有这些工具并查找相应文档 此外 请观看“让游戏更上一层楼” 了解调试 和进一步优化游戏的有用技巧 Xcode 26 还内置了 新的 Metal 4 模板 开始一个新项目并选择游戏模板 然后选择 Metal 4 作为你的游戏技术 借助内置的 Xcode 模板 轻松完成基本渲染 并开启 Metal 4 之旅 现在你已经了解了 Metal 4 能实现的功能 你已准备好了解如何应用它 来满足 App 的需求 如果你正在开发一款游戏 不妨深入了解并探索如何使用 Metal 4 的新命令编码和编译功能 之后 你可以了解如何深入探索 和使用 MetalFX 优化你的游戏 并探索如何利用 Metal 4 光线追踪 你也可以了解如何使用 Metal 4 在你的 Metal App 中 结合机器学习和图形 Metal 4 提供了一系列精彩的功能 为新一代 App 和游戏提供支持 你今天只是初步探索了基础知识 要深入钻研 还需更扎实的铺垫 你可通过即将推出的开发者 Beta 版 在你的新 App 或现有 App 中 开始使用 Metal 4 这个示例代码是开始 采用 Metal 4 的绝佳参考 现已在网站提供 谢谢观看！