图形和游戏
-
WWDC24 -
31:31 探索适用于 iOS、macOS 和 visionOS 的 RealityKit API
了解 RealityKit 中新的跨平台 API 如何帮你构建适用于 iOS、macOS 和 visionOS 的沉浸式 App。探索全新的悬停效果、光影效果以及门户切换功能,并在真实示例中查看实际应用效果。
-
19:03 设计出色的 visionOS App
了解如何采用沉浸式功能、为眼睛和手设计交互体验,并充分利用深度、比例和空间,来打造引人入胜的空间计算 App。我们将分享几个精彩 visionOS App 的示例,并探索其背后的设计师如何为这一平台打造了全新体验。
-
23:54 为 Apple 平台设计高端游戏
了解如何调整你的高端游戏,在 Mac、iPad 和 iPhone 上提供浑然天成的游戏体验。我们将介绍如何让游戏在不同的显示屏上呈现令人惊艳的画面、量身定制输入和控件以便在各款设备上提供直观的使用体验,以及利用众多 Aple 技术提供卓越的玩家体验。
-
16:22 在 visionOS 中探索游戏输入
探索如何在 visionOS 中为你的游戏设计并实现出色的输入体验。了解如何通过系统手势为玩家提供顺畅的游戏互动体验。探索有关支持自定手势和游戏控制器的推荐做法。
-
16:39 了解适用于 visionOS 的 TabletopKit
使用 TabletopKit,从头开始打造 visionOS 棋盘游戏。我们将展示如何准备你的游戏、使用 RealityKit 添加强大的渲染功能,还将介绍如何仅添加几行代码便可以通过空间自影像在 FaceTime 通话中开启多人游戏体验。
-
11:29 使用 ScreenCaptureKit 拍摄 HDR 内容
了解如何使用 ScreenCaptureKit 捕获高动态范围的色彩,并探索 HDR 支持、麦克风采集和直接录制到文件等新功能。
-
19:54 在 visionOS 中使用透视功能渲染 Metal
准备好扩展适用于 visionOS 的 Metal 体验吧。了解利用透视功能将渲染的内容与用户所处的物理环境整合起来的推荐做法。了解如何放置渲染的内容以使其完美融入现实世界、使用可跟踪锚点预测来降低延迟,等等。
-
24:10 探索 RealityKit 调试器
了解 RealityKit 调试器,并探索这款新工具如何帮助你检查空间 App 的实体层次结构、调试异常转换、查找缺失的媒体,以及检测代码的哪些部分导致系统出现了问题。
-
22:13 为空间计算优化 3D 素材资源
深入了解创建优化 3D 素材的端到端流程。探索使用数字内容创建工具来优化网格、材质和纹理的推荐做法。了解如何利用 Shader Graph、嵌入和材质实例来优化 3D 场景,同时提升性能。充分利用原生工具,更有效地处理素材并提升 App 的性能。
-
11:31 探索物体捕捉功能的区域模式
探索物体捕捉的区域模式可以如何扩展物体捕捉的功能,来支持区域的捕捉和重构,从而助你在 iOS 上开创全新的 3D 捕捉可能性。学习如何利用新的 macOS 示例 App 来优化 iOS 捕捉的质量以便重构,并探索如何使用 Apple Vision Pro、iPhone、iPad 或 Mac 上的“快速查看”功能来查看最终效果。了解 3D 重构方面的改进,包括一个用于创建自定图像处理管道的全新 API。
-
18:42 将 iOS 或 iPadOS 游戏移植到 visionOS
探索如何将你的 iOS 或 iPadOS 游戏转换为别具一格的 visionOS 体验。利用 3D 框架或沉浸式背景,让你的游戏更加令人沉浸 (且乐趣无穷)。使用立体视觉或头部跟踪功能为窗口添加深度,引领玩家进一步沉浸在你构建的世界。
-
26:06 利用 SwiftUI 打造自定视觉效果
探索如何利用 SwiftUI 打造令人惊艳的视觉效果。了解如何构建独一无二的滚动效果、丰富的色彩测试方案以及自定过渡效果。我们还将探索如何利用 Metal 着色器和自定文本渲染功能打造高级图形特效。
-
14:24 visionOS 中“快速查看”的新功能
探索 visionOS 中的“快速查看”如何优化 App 内的文件预览和编辑体验。我们将介绍“快速查看”功能方面的 App 内体验和窗口式体验整合,并介绍一个让你能够在 App 内自定窗口式“快速查看”体验的全新 API。我们还将分享通过“快速查看”功能查看 3D 模型的最新增强功能。
-
9:24 USD 和 MaterialX 的新功能
探索有关 Apple 平台上提供的通用场景描述 (USD) 和 MaterialX 支持的最新更新。探究这些技术如何为 3D 内容创建与交付打下良好基础,并学习如何借助这些技术来简化相应工作流程,助你打造精彩的空间体验。了解 RealityKit 及 Storm 中提供的 USD 和 MaterialX 支持,探索系统提供的工具有哪些改进,以及更多精彩内容。
-
29:32 将高端游戏移植到 Apple 平台
探索在 Apple 平台上吸引全球玩家的关注有多么简单。我们将介绍如何评估 Windows 内容在 Apple 芯片上的可执行情况、通过探索代码示例开启游戏移植过程、将着色器代码转换为 Metal 代码,以及将你的游戏移植到 Mac、iPhone 和 iPad。探索能够解析 HLSL 着色器的增强型 Metal 工具,以便在 Metal 上验证、调试和分析移植的着色器。
-
32:25 使用 RealityKit 构建空间绘画 App
充分利用 RealityKit 的强大功能来构建空间绘画 App。你将打造 RealityKit 与 ARKit 和 SwiftUI 充分整合的炫目空间体验,同时探索资源在 RealityKit 中的运作方式,以及如何使用低级别网格和纹理 API 等功能根据用户的画笔笔画做出快速更新。
-
23:20 利用 RealityKit 音频让空间计算 App 更加引人入胜
利用 RealityKit 音频提升空间计算体验。探索如何利用空间音频打造身临其境般的沉浸式 3D 体验。从环境音频和混响,到能够让 3D 内容更显个性的程序化实时音频,了解 RealityKit 音频 API 如何帮助你打造更引人入胜的 App。
-
25:06 利用 Metal 加快机器学习
了解如何利用 Metal Performance Shaders Graph 中的新功能来加快你的机器学习 Transformer 模型。我们还将介绍如何提升自己模型的计算带宽和质量,并利用全新的 MPSGraph 视图直观呈现模型。
-
-
Tech Talks -
4:37 通过 Game Center 将同播共享功能添加到多人游戏中
了解如何使用同播共享让玩家与 FaceTime 通话中的朋友一起进入游戏。如果您已经在使用 Game Center 多人游戏 UI,我们将向您展示如何轻松地启用同播共享支持。如果您构建了自定界面,我们将为您提供支持同播共享的代码 — 只需几行代码即可。
-
26:00 了解提升 Metal 着色器性能的最佳实践
探索如何使用 Apple GPU 的一些最新改进来提升 Metal 着色器性能。了解通过配置函数常量来减少着色器的执行时间,并研究通过函数组优化编译器的方法。掌握如何通过提高着色器的执行和并行使用资源的能力来节省运行时间。探索 Apple 系列 9 GPU 功能并利用硬件加速进行光线追踪。
-
11:56 通过 App Store Connect API 管理 Game Center
探索如何使用 App Store Connect API,在网页版 App Store Connect 之外自动完成 Game Center 配置。了解 API 如何帮助你创建成就和排行榜,并使用群组在相关游戏之间共享它们。此外,了解如何在多人游戏中启用和配置匹配。
-
6:44 探索 Metal 性能 HUD
了解旨在帮助您实时分析图形性能的全新平视显示面板。Metal 性能 HUD 会显示重要图形统计信息,可用于监控、记录和识别难以察觉的性能问题。
-
17:06 了解 Game Center 中基于规则的匹配功能
探索如何将基于规则的新匹配功能整合到实时多人游戏中。了解如何提供定制且灵活的匹配,以提高玩家匹配的质量,为所有玩家打造更生动有趣、引人入胜的体验。
-
33:56 探索适用于 M3 和 A17 Pro 的新 Metal 性能剖析工具
了解 Xcode 15 中的新剖析工具如何帮助你在 Apple 系列 9 GPU 上实现最佳 Metal 性能。探索如何使用 Shader Cost Graph、Performance Heat Map 和 Shader Execution History 工具来分析和优化你的 Metal 代码。掌握如何使用新的 GPU 计数器来优化 GPU 占用率和光线追踪性能。
-
16:57 将你的高端游戏带到 iPhone 15 Pro
了解 A17 Pro 的强大功能如何帮助你在 iPhone 15 Pro 和 iPhone 15 Pro Max 上充分发挥游戏的性能。我们将分享最佳实践和技术资源,并探索优化游戏性能、输入和资源管理的方法。
-
29:09 探索 M3 和 A17 Pro 中的 GPU 改进
了解 Apple 系列 9 GPU 的动态缓存、新一代着色器核心、硬件加速光线追踪和硬件加速网格着色如何提高 Metal App 和游戏的性能。
-
12:50 探索参考模式
了解如何在配备 Liquid 视网膜 XDR 显示屏的 12.9 英寸 iPad Pro 上使用参考模式,从而满足高标准专业工作流程中的色彩要求。我们将向您展示参考模式如何准确地表示颜色,并在审核和批准、合成和调色等工作流程中提供一致的图像呈现。我们还将介绍与参考模式一起使用的 API,探索其功能和所支持的媒体格式,并探索参考模式是如何增强随航功能的。
-
23:31 探索 A15 仿生中的 Metal 技术改进
探索如何借助 Metal 技术和 A15 仿生来提升您 app 和游戏的品质。我们会协助您充分利用具有最新 Metal 功能的 AppleGPUFamily8:学习如何使用“有损压缩”节省显存、如何使用“稀疏深度”和“模板纹理”深入研究复杂的阴影贴图技术,以及如何使用“SIMD Shuffle”和“Fill”指令加快图像处理速度。
-
23:44 MacBook Pro 上的 Metal 计算
探索如何利用最新 MacBook Pro 上的 Metal 计算。了解高性能 Metal 计算的基本原理,以及如何利用这个框架为您的开发流程创造更好的工作流程,甚至为创意专业人士打造更出色的 app。
-
35:07 针对 Apple 芯片优化游戏的 CPU 作业调度
图形密集型游戏对硬件资源的要求非常高,每一帧都需要处理数百甚至数千个 CPU 作业。我们将向您展示如何组织整理这些作业,从而充分发挥 M1、M1 Pro 和 M1 Max 芯片上的 CPU 效率和性能。了解如何优化游戏来为玩家带来更好的整体体验。
-
28:57 发现 A14 仿生芯片的 Metal 增强功能
探索 Metal 如何将复杂的渲染和强大的计算功能引入 A14 仿生芯片。我们将为你介绍 Apple GPU Family 7 功能集中提供的 Metal 功能,包括新的纹理寻址模式、快速的 SIMD 归约和矩阵乘法运算,最后深入了解使用重心坐标和基元 ID 来实现可见性缓存。
-
13:26 探讨借助 METAL 计数器实现实时图形处理器性能分析
在 macOS Big Sur 和 iOS 14 中利用 METAL 计数器 API 对图形处理器进行性能分析。这种 API 可以在运行时提供对低阶图形处理器性能分析信息的访问,这一点在之前只能通过 Xcode 和 Instruments 中的离线工具才能实现。METAL 计数器通过让你访问重要的图形处理器信息加速优化过程,帮助你对 app 的性能进行微调,以打造更快、更流畅的 app 和游戏体验。学习收集和解析这些低阶图形处理器时间戳,并利用深度信息来帮助你在 METAL 中进行性能调优。
-
35:48 A13 仿生芯片的 Metal 增强功能
Metal为 A13 仿生芯片带来强大的 API 特点与以 GPU 驱使的功包括稀疏纹理、顶点放大。第二层论点缓冲、ASTC HDR 和更多相关技术。学懂 Appe 设计的 A13 仿生芯片的制造的改进,了解最新增强版的 Metal 为现代 App 与 游戏提高其艺术形态。
-
9:44 A11 上的 Metal 2 - 分块着色
分块着色是一种全新的 Metal 2 管线阶段,允许 app 将渲染和计算操作整合到一个渲染通道中,同时共用图像块数据和线程组内存。了解如何创建分块着色管线,以及这一管线如何利用 A11 图形处理器的高带宽分块内存。
-
16:10 基于 A11 的 Metal 2 - 概览
Metal 2 和 A11 仿生芯片的无缝集成,让您的 app 和游戏的表现和性能达到全新的境界。了解基于 A11 的 Metal 2 中新增的强大 API 功能和 GPU 驱动功能,包括图像块、分块着色、光栅顺序组增强功能、图像块样本覆盖控制和线程组共享。了解 Apple 设计的 A11 GPU 的架构,并看看它为渲染、计算和机器学习技术带来了哪些发展机会。
-
10:56 基于 A11 的 Metal 2 - 光栅顺序组
光栅顺序组让各种 Metal 2 app 能够精准控制并行片段着色器线程访问相同像素坐标的顺序。了解 A11 如何通过支持多个组来扩展光栅顺序组,并新增用于访问线程组内存的功能。看看您可以如何改善单通道延期着色和顺序无关的透明渲染的性能。
-
13:16 基于 A11 的 Metal 2 - 图像块采样覆盖控制
图像块采样覆盖控制可在一个分块着色器中提供对多采样跟踪数据的访问,从而支持开发自定 MSAA 解析算法等。了解 A11 GPU 如何跟踪独特样本,然后探索视频中的示例,看看如何通过表面聚合来优化密集几何结构的渲染。
-
10:28 基于 A11 的 Metal 2 - 图像块
图像块使各个 Metal 2 app 能够在 A11 GPU 的高带宽分块内存中定义和操控自定的逐像素数据结构。了解图像块如何在渲染通道的片段和分块阶段之间传递数据,并学习复杂的渲染技巧,如近似顺序无关的透明渲染。
-
-
WWDC23 -
18:26 为空间计算制作精彩的游戏
学习如何针对 visionOS 打造出色的游戏体验。我们将介绍一些开发者在这个平台构建游戏所需的重要构件,以及开发者如何将现有的经验运用在沉浸式新平台,学习如何使用 ARKit、RealityKit、Reality Composer Pro、Unity、Metal 和 Compositor。
-
15:06 将游戏移植到 Mac,第 1 部分:制定游戏移植计划
借助 Metal 技术和 Apple Silicon 的强大功能,将现代高端游戏移植到 Mac 和 iPad 上。讲解游戏移植工具包,介绍该工具包如何帮助开发者评测 Windows 版游戏在 Mac 上的图形处理功能兼容性及性能,分享音频、输入及高级显示功能处理的有效运用实例和技术资源。观看此视频后,记得继续查看“将游戏移植到 Mac 上第 2 期:编译着色器”,以便了解如何将 HLSL 着色器引入 Metal 的更多相关信息。
-
26:45 将游戏移植到 Mac,第 3 部分:使用 Metal 进行渲染
这是关于将游戏引入 Mac 平台的系列讲座的最后一部分,了解如何在你的渲染代码中支持 Metal。在这个讲座中,将介绍如何在你的游戏渲染代码中添加对 Metal 的支持。一旦你通过游戏引入工具评估了现有的 Windows 二进制文件,并将 HLSL 着色器转换为 Metal 着色器,你可以学习如何最优化地实现高端、现代游戏所需的功能。本文还将向你展示如何管理 GPU 资源绑定、保持资源在 GPU 上的有效性和同步。你还将了解如何优化 GPU 命令的提交、使用 MetalFX Upscaling 渲染丰富的视觉效果等等。为了充分理解本次讲座,我们建议你首先观看“将你的游戏引入 Mac...
-
15:10 为 Unity VR App 带来完全令人沉浸其中的体验
了解如何将现有的 Unity VR App 和游戏引入 visionOS。我们将探索可以帮助你入门的工作流程,并向你展示如何使用 Unity 输入系统在你的 App 和游戏中构建适合眼睛和双手进行操作的内容。了解 Unity 的 XR 交互工具包、注视点渲染技巧和最佳实践。
-
18:57 将游戏移植到 Mac,第 2 部分:编译你的着色器
在本讲座中,你将了解 Metal 着色器转换器如何简化将 HLSL 着色器转换为 Metal 的过程。这是我们关于将游戏引入 Mac 平台的三部曲系列之一。你将了解如何从 DXIL 构建一个快速的、端到端的着色器管线,该管线支持所有着色器阶段,并让你可以充分利用 Apple GPU 的高级功能。我们还将向你展示如何使用离线编译器生成 GPU 二进制文件,以减少 App 的启动时间和卡顿现象。为了充分理解本次讲座,我们建议你首先观看“将你的游戏引入 Mac 平台,第 1 部分:制定游戏计划”。当你准备好进一步提升时,可以查看 WWDC23 的“将你的游戏引入Mac平台,第 3 部分:使用...
-
31:58 Metal 光线追踪指南
了解如何通过 Metal 光线追踪技术,提高游戏和 App 的视觉质量。我们将带您了解 Metal 光线追踪 API 的基本知识,探索最新的增强功能和技术,使您能创建更大、更复杂的场景,减少内存使用和构建时间,高效渲染头发、毛皮等视觉内容。
-
20:14 探索 Reality Composer Pro 中的材质
了解 Reality Composer Pro 如何帮助你使用 RealityKit 材质改变 3D 对象的外观。我们将向你介绍 MaterialX 和基于物理的 (PBR) 着色器,展示如何使用着色器图形编辑器设计动态材质,并探索向材质添加可在 visionOS App 中控制的自定义输入。为了充分利用本讲座,建议你先观看“初识 Reality Composer Pro”。如果你已准备好学习如何将模型和材质整合到 Xcode 项目中,请观看“在 Xcode 中使用 Reality Composer Pro 内容”讲座。
-
15:46 打造沉浸式 Unity App
探索如何使用 Unity 为 visionOS 打造引人入胜的沉浸式体验。我们将分享 Unity 与 Apple 框架的无缝集成在各方面的体现,带你了解可直接在该平台内使用的工具,并向你展示体积相机如何将现有场景转换为 visionOS 中的窗口、体积和空间。了解如何整合 visionOS 功能(如穿透和场景理解),如何使用 Shader Graph 自定义视觉效果,以及如何让交互与空间输入更加适配。
-
20:41 使用 RealityKit 增强你的空间计算 App
摆脱窗口限制,了解如何使用 RealityKit 为你的 App 带来引人入胜的沉浸式 3D 内容。了解 SwiftUI 场景如何与 RealityView 协同工作,以及如何将内容嵌入到实体层次结构中。我们还将探索如何使用锚点融合虚拟内容和现实世界,在 App 中引入粒子效果,添加视频内容以及使用传送门创造更多沉浸式体验。
-
13:43 ScreenCaptureKit 中的新增功能
使用 ScreenCaptureKit 中的最新功能提升你的屏幕共享体验。探索内置系统选择器、Presenter Overlay 和截屏功能,并了解如何将这些功能纳入你现有的 ScreenCaptureKit App 或游戏中。
-
16:57 使用 Metal 优化 GPU 渲染器
了解如何使用最新的 Metal 功能和最佳实践来优化 GPU 渲染器。我们将向你展示如何使用函数特化和并行着色器编译来保持响应式创作工作流程和最快渲染速度,并帮助你调整计算着色器以获得最佳性能。
-
33:59 Background Assets 的新动向
等待很久了吧!了解 Background Assets 如何帮助你的 App 在启动之前下载内容。我们将向你展示如何将 Background Assets 整合到现有的 App 中,探索使用必要或非必要资源的时机,并学习如何轻松调试扩展。
-
14:26 探索 USD 生态系统
了解 Apple 平台上通用场景描述 (USD) 的最新更新,并了解如何为你的 App、游戏和网站提供出色的 3D 内容。了解面向 visionOS 的 USD,探索 MaterialX 着色器和颜色管理,并了解 USD 生态系统的一些其他改进。
-
20:51 探索 Metal 技术打造沉浸式 App
了解如何使用 Metal 为 visionOS 渲染完全沉浸式的体验。我们将向你展示如何在平台上设置渲染会话并创建基本渲染循环,并分享通过结合空间输入为你的体验赋予交互性的方法。
-
-
WWDC22 -
20:36 探索 iOS 上的 EDR
EDR 是 Apple 的高动态范围表示和渲染管道。探索如何借助 App 中的 EDR 渲染 HDR 内容,并在 iPhone 和 iPad 上充分挖掘 HDR 显示屏的动态范围功能。我们将介绍如何利用 iOS 上的原生 EDR API,提供最佳实践以帮助您确定使用 HDR 的正确时机,以及分享有关色调映射和 HDR 内容渲染的技巧。我们还将讨论参考模式,重点说明它会如何提供参考响应以启用颜色关键型工作流程,如调色、编辑和内容审核等。
-
13:48 利用 Metal 3 锁定并优化 GPU 二进制文件
了解如何利用离线编译减少 App 内卡顿,缩短启动时间和加载时间,同时完全在项目构建期间生成您的 GPU 二进制文件。我们还将向您介绍如何通过“Optimize for size”编译器选项改善大型 GPU 程序的总编译时间和二进制文件大小。
-
22:21 探索 USD 工具和渲染
了解工具方面的最新改进,以帮助您生成、检查和转换通用场景描述 (USD) 素材。我们将介绍这些工具的更新,并帮助您将它们集成到您的内容创建管道。我们还将探索 USD Hydra 渲染功能,说明如何将其集成到您自己的 App。要进一步了解 USD,请观看 WWDC22 的“掌握 USD 基础知识”。
-
24:57 跨 Apple GPU 扩展计算工作负载
探索如何创建可跨 Apple GPU 高效扩展的计算工作负载。了解如何通过利用有效管道和并发调度优化工作分发,并最大限度缩小 GPU 时间线差异,从而增加 GPU 的占用;此外,您还将学习如何高效执行原子运算。我们还将向您介绍 Xcode 和 Instruments 中的最新计数器和工具,它们可以帮助您优化空间和时态内存访问模式。
-
15:28 ScreenCaptureKit 简介
了解 ScreenCaptureKit 可以如何为您的 macOS 屏幕共享 App、视频会议 App、游戏流媒体服务等提供优质的屏幕捕获体验。我们将探索此 API 的构建块,学习如何配置流媒体以截取屏幕上的视频和音频内容,并分享相关技巧,帮助您将它集成到您的现有 App 中。
-
15:44 探索 Metal 3
利用 Metal 3,在您的 App 中挖掘出 Apple 芯片的全部潜能。我们将介绍最新的功能、改进和工具。我们还将探索如何借助高级功能和编译器工具更快速地加载资源,在构建时编译着色器二进制文件,使用网格着色器处理复杂的几何形状,在更短时间内渲染高分辨率图形,以及更快地训练机器学习网络,等等。
-
26:58 利用 metal-cpp 以 C++ 语言进行 Metal 编程
您的 C++ 游戏和 App 现在可以充分利用 Metal 的功能了。我们将介绍如何通过 metal-cpp 帮助您将 C++ 代码桥接到 Metal,探索它们分别如何管理对象的生命周期,并且演示有助于这些语言在您的 App 中无缝协作的实用工具。我们还将分享如何设计 App 架构,以便巧妙集成 Objective-C 和 C++ 的最佳实践。
-
10:07 使用 Game Center 仪表盘触及新玩家
了解 Game Center 的活动仪表盘将如何帮助您的游戏吸引新的玩家。我们将介绍仪表盘和描述文件,探索它们如何为您的游戏追踪玩家成就、高分以及排行榜变化。我们还将说明如何利用 Game Center 插件将 Game Center 添加到您的 Unity 游戏项目。
-
22:04 利用 AVFoundation 和 Metal 在 EDR 中显示 HDR 视频
了解如何利用 AVFoundation 和 Metal 来构建高效的 EDR 管道。跟着我们一起学习如何使用 AVPlayer 显示具有 EDR 的 HDR 视频,在 App 视图中添加播放功能,使用 Metal 进行渲染,以及使用 Core Image 或自定义 Metal 着色器添加视频效果,如抠像或颜色管理等。无论您在开发游戏还是专业 App,我们都将帮助您确定要使用哪些框架,分享选择传输、颜色空间和像素缓冲区格式的最佳实践。
-
17:41 借助 Core Image、Metal 和 SwiftUI 显示 EDR 内容
探索如何借助基于 Core Image 的多平台 SwiftUI App 在扩展动态范围 (EDR) 中进行渲染,并为其提供支持。我们将简要介绍使用 ViewRepresentable 向 MTKView 显示 CIImages 的最佳实践。我们还将分享启用 EDR 渲染的简单步骤,并探索 150 多种支持 EDR 的内置 CIFilter 中的一部分。
-
17:44 利用 Metal 网格着色器改变几何形状
了解 Metal 网格着色器 — 它是 Metal 中的现代化灵活管道,可被用于由 GPU 驱动的几何创建与处理。我们将探索此 API 如何帮助优化并提高您的渲染管道的灵活性,并分享 GPU 驱动工作可带来的机会。学习如何在 GPU 上使用网格着色器创建程序几何 (如毛发渲染),以及构建单个渲染通道而无需额外的计算通道或中间缓冲区。我们还将向您介绍如何通过 GPU 驱动的网格片段剔除来优化场景处理和渲染。
-
34:14 利用 Metal 3 实现无绑定
了解如何利用 Metal 3 实现无绑定,让渲染技术 (如光线追踪) 发挥其强大功能。我们将向您介绍如何通过简化参数缓冲区、分配来自堆的加速架构,以及运用 Metal 验证层和调试器工具的改进,使您 App 的无绑定旅程轻松愉快。我们还将探索如何利用长期资源结构,帮助您增强对 CPU 和 GPU 性能的控制。
-
31:23 最大限度提升 Metal 的光线追踪性能
了解如何利用 Metal 3 的功能简化您的光线追踪代码,并提升它的性能。我们将探索 GPU 调试和分析工具,它们可以帮助您优化您的光线追踪 App。我们还将向您介绍如何利用加速架构中的每种原生数据来加快相交测试,并减少着色器代码内存访问和间接取值。此外,我们还将帮助您更快地实施加速架构构建与再拟合,以缩短加载时间并降低各帧的开销。
-
38:26 分析并优化您的游戏内存
了解 Apple 平台如何为您的游戏计算及分配内存。我们将介绍如何利用 Instruments 和游戏内存模板来分析您的游戏,借助内存图以监控当前的内存使用情况,并使用 Xcode 内存调试器和命令行工具对其进行分析。我们还将探索 Metal 调试器中的 Metal 资源,提供小提示和技巧来进一步帮助您优化内存使用。
-
26:41 即插即用:向你的 Unity 游戏项目添加 Apple 框架
优化你的 Unity App 或游戏在 Apple 平台上的体验。学习如何利用以下六种插件将 Apple 技术直接运用到你的项目当中:Apple.Core、Game Center、游戏控制器、辅助功能、Core Haptics 和 PHASE。我们将介绍如何添加新的游戏机制,使你的游戏更易访问,以及如何利用最新的 Apple 功能和服务。
-
37:19 将 ScreenCaptureKit 提升到全新境界
了解如何利用 ScreenCaptureKit 为您 App 的用户提供复杂屏幕截图体验。我们将探索众多您可以添加的高级选项,包括对内容过滤器进行微调、帧元数据解释,以及窗口挑选器,等等。我们还将向您介绍如何配置您的流媒体,以实现最优性能。
-
16:08 在 Unity 游戏中添加辅助功能
了解如何使用我们的开源辅助功能插件,使用户能够在 Apple 平台上更轻松地访问你的 Unity 游戏。跟着我们一起,在示例 Unity 游戏项目中添加对旁白和切换控制等辅助技术的支持。我们将向你介绍如何通过“动态类型”自动扩展文本,以及支持降低透明度或提高对比度等界面调整功能。
-
22:11 利用 MetalFX Upscaling 提升性能
了解 MetalFX,它是为 Metal App 提供平台优化图形效果的全新 API。借助 MetalFX Upscaling,您的 App 现在能够以较低分辨率对帧进行渲染,缩短渲染时间,而且不会牺牲渲染质量。我们还将向您介绍如何以及何时使用它的两种效果,分别是空间放大 (实质性性能提升) 和时态反锯齿及放大 (最优质渲染)。
-
22:24 利用 Metal 3 更快地加载资源
了解如何在 Metal 3 中利用快速的资源流传输,为加载素材加速。我们将介绍如何在您的 App 中借助异步的“即设即忘”工作流程,充分利用 SSD 存储的速度和 Apple 芯片的统一内存架构所带来的数据吞吐能力。我们还将探索如何创建与您的 GPU 渲染和计算工作并行且同步的单独队列。最后,我们还会分享如何指定音频等素材和高优先级队列,来帮助您以更低延迟加载数据。
-
18:15 掌握 USD 基础知识
学习 Pixar 通用场景描述 (USD) 的基础知识,了解它将如何帮助您构建出色的 3D 素材和工作流程。我们将介绍 USD 背后的核心概念,探索如何将该格式集成到您的内容创建管道。我们还将分享如何利用 USD 的功能,借助复合来创建灵活的通用素材。
-
26:00 让您的现实世界与增强现实完美融合
跟我们一起探讨如何使用物体捕捉和 RealityKit,将现实世界的物体融入到增强现实游戏当中。我们将介绍如何借助 Object Capture 框架捕捉细节丰富的物品,将它们添加到 Xcode 的 RealityKit 项目,应用风格化的着色器和动画,并将它们整合到 AR 体验。我们还将分享在使用 ARKit、RealityKit 和物体捕捉功能时的最佳实践。为能更好地理解此讲座,我们建议您先观看 WWDC21 的“深入了解 RealityKit 2”和“利用物体捕捉创建 3D 模型”。
-
29:51 利用 Metal 为机器学习加速
了解如何在 macOS 上使用 Metal 加快您的 PyTorch 模型训练。我们将介绍 TensorFlow 训练支持的更新,探索 MPS Graph 的最新功能和操作,并分享最佳实践以帮助您提升性能,满足您对机器学习的需求。要进一步了解如何搭配使用 Metal 和机器学习,请观看 WWDC21 的“使用 Metal Performance Shaders Graph 加快机器学习速度”。
-
-
WWDC21 -
29:53 使用 RealityKit 2 探索高级渲染
借助 RealityKit 中的顶尖渲染技术,为您的增强现实体验创造令人惊叹的视觉效果。您将了解如何编写自定义着色器以及绘制实时动态网格,并探索极具创意的后处理效果,帮助自己设计出风格独特的增强现实场景。
-
26:31 拍摄和处理 ProRAW 图像
如果您的 app 支持 ProRAW,通过整合标准 RAW 信息和 Apple 的高级计算摄影技术,您可以帮助拍照的人轻松拍摄和编辑图像。我们将向您简要介绍该格式,包括 ProRAW 图像的外观、使用感受、质量指标以及与您的 app 的兼容性。我们将从这里开始探索如何在制作流程的每个阶段将 ProRAW 整合到您的 app 中,包括使用 AVFoundation 拍摄图像、使用 PhotoKit 存储图像以及使用 Core Image 编辑图像。
-
23:56 向你的 SwiftUI app 添加丰富图形
了解如何通过 SwiftUI 让你的图形栩栩如生。我们将首先处理安全区域 (包括键盘安全区域),了解如何设计美观且不会与屏幕键盘重叠的无边缘缝隙图形。我们还会探索您可以在 SwiftUI 中使用的材料和振动功能,从而制作可轻松定制的背景和控件,并介绍 drawingGroup 和全新画布等图形 API。使用这些工具,你可以比以往更轻松地在 SwiftUI 中设计完全交互式和可中断的动画和图形。
-
23:20 针对各种刷新速率显示器进行优化
了解如何在支持动态显示时序的 Apple 平台上实现流畅屏幕更新。学习在 macOS 的自适应同步显示屏上调整全屏游戏更新速度的技巧,了解低功率模式和其他系统状态如何影响 ProMotion 显示屏上的帧速率可用状态。我们还将分享利用显示链接 API 促进定制绘图的最佳实践。
-
27:56 使用物体捕捉创建 3D 模型
物体捕捉提供了一种快速简便的方法,只需使用几张图片即可为真实世界对象创建逼真的 3D 模型。了解如何入门并使用 macOS 的摄影制图技术逼真地呈现资源。探究有关对象选择和图像捕捉的最佳实践,以帮助您获得最高质量的结果。
-
25:07 深入了解 RealityKit 2
使用 RealityKit 2 创建引人入胜的 AR 体验现在前所未有的简单。探索 RealityKit 框架的最新增强功能,深入研究这个水下示例项目。我们将带您了解改进的实体组件系统、流畅的动画制作管线以及增强了面部网格和音频功能的即插即用角色控制器。
-
20:28 探索 ARKit 5
使用 ARKit 5 构建下一代增强现实 app。探索如何在其他区域使用位置锚定,以及如何更轻松地引导用户体验您的基于位置的 AR 功能。了解有关面部跟踪和动作捕捉的更多信息。同时探索在现实世界中放置 AR 内容的最佳实践。我们还将展示如何将轻 App 代码集成到您的 AR app,以便轻松发现和精确定位虚拟内容。
-
29:48 探索如何使用 Metal 光线追踪实现混合渲染
发现如何将光线追踪与您的光栅化引擎整合,实施简化图形技巧并提升您的 app 或游戏的视觉效果。我们将探索如何使用自然算法准确模拟光线的相互作用,还将学习如何利用 Xcode 中的最新工具来捕捉、检查和调试光线追踪场景。
-
29:34 创建由 Apple Silicon 提供支持的图像处理 app
了解如何针对 Apple Silicon 芯片优化图像处理 app。探索如何利用 Metal 渲染命令编码器、分块着色、统一内存架构和无内存附件。我们将展示如何利用 Apple 独特的分块式延迟渲染架构来创建低内存占用的节能 app,并带您了解将基于计算的 app 从独立 GPU 迁移到 Apple Silicon 芯片的最佳实践。
-
8:40 使用 ReplayKit 探索滚动剪辑
用户再也不会在您的游戏或 app 中错过任何精彩时刻。敬请了解 ReplayKit 的最新更新:剪辑屏幕录制。它可为您的 app 提供滚动缓冲区来存储以前的视频和音频样本。探索如何为用户录制和保存令人难忘的时刻,并了解如何在最相关的时候呈现这些剪辑。最后,我们会引导您将 ReplayKit 集成到您的 iOS 和 macOS app 中。
-
14:51 使用 USD 创建 3D 工作流程
了解 Pixar Universal Scene Description (USD) 为 3D 工作流程带来的灵活性、多功能性和强大功能。了解如何在 macOS 的专业工作流程中使用 USD 文件格式:使用物体捕捉扫描真实世界物体的 3D 模型,利用第三方数字内容创建工具的潜力,并构建高质量的渲染序列。
-
16:00 实践音频触感设计
敬请探索如何在 iPhone 上提供丰富的 app 体验,如动画、声音和触感等。学习在 Core Haptics 框架内设计多模式体验的关键概念。我们将带您了解我们的示例应用 HapticRicochet,探索如何将触感和声音反馈的设计与关键互动时刻协调起来,并展示如何创造令人愉悦的神奇体验。为了充分了解本节内容,我们建议先观看 WWDC19 的“通过 Core Haptics 扩展感官体验”,并查看 HapticBounce 示例项目 (需要 Xcode、iPhone 8 或更新版本,并需要了解 Swift 的基本信息)。熟悉 Core Haptics 会有帮助,但并非强制要求。
-
29:12 使用 Metal Performance Shaders Graph 加快机器学习速度
Metal Performance Shaders Graph 是一种计算引擎,可帮助您为线性代数、机器学习、计算机视觉和图像处理构建、编译和执行定制的多维图形。了解 MPSGraph 如何通过 Apple 产品的 Metal 后台为热门的 TensorFlow 平台加速。了解如何向图形添加控制流、如何管理图形选集以获得最佳性能,以及如何借助 MPSGraph 的运作,仅使用几行代码就能为计算难度极高的 app 加快计算速度。
-
39:53 探索 Metal 调试、性能分析及资产创建工具
探索 Xcode 如何帮助您将 Metal 调试、性能分析和资源创建工作流程提升到一个新的水平。探索用于光线追踪和 GPU 分析的最新工具,并了解 Metal Debugger 工作流程。我们还将展示如何使用纹理转换器工具,该工具支持所有现代 GPU 纹理格式,并且可以轻松集成到您的多平台资源创建管线中。
-
32:27 针对 Apple GPU 优化高端游戏
针对 Apple GPU 优化您的高端游戏:我们将展示如何使用我们的渲染和调试工具来消除性能问题并确保您的游戏在 Apple 平台上表现出色。学习 Apple 在帮助 Larian Studios 和 4A Games 开发人员针对 Apple GPU 优化其游戏时与他们协作的经验。我们将探索提高游戏性能的各种技巧,包括优化着色器、降低内存带宽利用率、以及增加 GPU 工作负载的重叠。我们还将深入了解 Xcode 13 中新的 GPU 时间线分析工具,以发现在 iPad 上运行“神界:原罪 2”的潜在性能瓶颈。对本节而言,您应当熟悉 Apple GPU 中分块式延迟渲染架构,并且拥有使用...
-
9:03 探索 Core Image 内核改进
了解如何将使用 Metal 着色语言编写的 Core Image 内核添加到您的 app 中。我们将探索如何为以 Metal 着色语言编写的 Core Image 内核使用 Xcode 规则和命名惯例,并帮助您理解 Metal 的 Stitchable 函数和动态库功能以使 Core Image 内核受益。
-
34:16 探索使用 EDR 的 HDR 渲染
EDR 是 Apple 的高动态范围表示和渲染管线。探索如何在应用中使用 EDR 渲染 HDR 内容,并发挥 HDR 显示的动态范围功能,包括 Apple 的内部显示和 Pro Display XDR。我们将展示游戏和专业 app 开发者如何利用 macOS 上的原生 EDR API 进行更多控制,并提供确定使用 HDR 的适当时机、应用色调映射以及交付 HDR 内容的最佳实践。
-
29:50 使用 Metal 光线追踪增强你的 App
通过 Metal 技术图形框架和着色语言的核心部分,即光线追踪,在 app 和游戏中实现逼真的 3D 场景。我们将探索实现光线追踪的最新改进,并带您了解生产渲染过程的升级。探索 Metal API 以帮助您创建更细致的场景、将原生支持的内容与动作相集成等等。
-
24:52 探索 Metal 中的编译工作流程
Metal 着色语言是基于 C++ 的一种强大语言,让 app 可以获得惊人的渲染效果,同时保持灵活的着色器开发管线。了解如何使用动态库和函数指针更轻松地构建和扩展渲染管线。我们还将展示如何使用二进制函数存档、函数链接和函数拼接在运行时加速着色器编译。
-
22:09 Game Center 的新增功能:小组件、好友功能及多人游戏改进
您可使用 GameKit 提升您的在线游戏体验,并在您的游戏中实现多人游戏、排行榜和成就等功能。我们将带您了解 Game Center 的最新改进,包括玩家匹配和多人游戏 API,并探索如何增强游戏的发现率。
-
14:26 AR 快速查看,了解物体捕捉
探索将物体捕捉资源引入 AR 快速查看的简单方法,同时优化图像品质和文件大小。探索集成 AR 快速查看和物体捕捉,以帮助您打造全新体验的方法。为了能充分了解本节内容,我们建议首先观看 WWDC19 的“AR 快速查看取得的进展”。您还可以通过 WWDC20 的“使用 AR 快速查看在线购物”了解如何在 Web 上实现 Apple Pay 和自定义操作与 AR 的集成。
-
15:00 利用虚拟和物理游戏手柄
是时候提高您的输入游戏了:敬请了解适用于 iPhone、iPad、Mac 和 Apple TV 的虚拟和物理游戏手柄的最新改进。认识将触摸输入转换为游戏手柄输入的屏幕虚拟手柄,并了解如何向您的 app 添加手柄共享功能。此外,我们还将展示如何支持 DualSense 手柄中的自适应触发技术,介绍手柄支持的最佳实践并指导您在提交到 App Store 之前针对可访问和可自定义输入完成一些常见的实施前检查。关于从游戏手柄保存精彩片段的更多信息,请查看 WWDC21 的“探索 ReplayKit 中的滚动剪辑”。
-
37:28 使用物理音频空间引擎 (PHASE) 探索几何感知音频
敬请探索几何感知音频如何帮助您为自己的 app 和游戏构建复杂且身临其境的交互式音频场景。了解 Apple 的空间音频 API:PHASE,并了解物理音频空间引擎 (PHASE) 是如何让声音始终与您的体验保持一致,从而帮助您在开发过程中创建空间音景和场景,而不是等到后期制作。我们将带您了解 API 及其类,包括来源、监听器、声学几何和材料,并介绍空间建模的概念。我们还将展示如何快速组合 PHASE 的基本构建块,开始为您的 app 或游戏构建集成音频体验。
-
21:12 探索 Metal 中的 Bindless 渲染
通过添加参数缓冲区来采用 Bindless 纹理渲染,释放着色器的全部潜力,实施现代渲染技术。了解如何让您的整个场景和资源对 GPU 可用,以充分利用光线追踪和光栅化管线。
-
25:55 将定期更新的排行榜引入您的游戏
定期更新的排行榜是鼓励玩家不断回归游戏的好方法。请随我们一起编程,我们将带您了解如何在 App Store Connect 以及您的游戏中设置定期更新的排行榜。在开始此编程临摹课程之前,如需回顾定期更新的排行榜和经典排行榜之间的一些差异,我们建议您观看 WWDC20 的“深挖 Game Center:排行榜、成就和多游戏玩家”的“定期更新的排行榜”部分。
-
-
WWDC20 -
36:16 用 Metal 技术构建 GPU 二进制
通过增强 Metal shader 编译模型增强着色器管线,这些都能大大减少管线状态对象(PSO)的加载时间,首次启动时尤为明显。了解使用 Metal 二进制存档和动态库进行显式 PSO 缓存和共享 GPU 二进制。我们将详细介绍工具链,从而创建库并改善着色器编译工作流程。
-
23:58 使用 ReplayKit 在 Mac 上捕捉并串流 app
学习如何将 ReplayKit 融入你的 Mac app 与游戏,轻松分享屏幕录制片段,或在线广播现场音视频。我们将向你展示如何在 Mac app 中捕捉屏幕内容、音频以及麦克风输入。 要了解更多关于如何在 app 中使用此框架的信息,请查看过去几年中的“使用 ReplayKit 广播屏幕内容”与“屏幕录制与现场广播新发展”内容。
-
23:32 轻点进入 Game Center:仪表盘、接入点和个人资料
Apple 的社交游戏网络准备就绪。我们将从游戏内界面和全新的玩家体验开始说起,带你了解 Game Center 的最新更新。了解如何将 GameKit 集成到你的 app 中,有效地认证玩家,并知道能将玩家带到游戏中的仪表盘的接入点。在那里,我们将探索玩家的个人资料和他们的隐私选项。 在探索了 Game Center 的界面、仪表盘和玩家资料之后,让我们进入下一个视频,继续了解排行榜、成就和多人游戏。 想要了解更多为游戏界面新功能做准备的信息,可参见“Game Center 设计”。
-
6:12 如何在 Xcode 环境下 构建基于 Metal 的 Core Image 内核
了解如何将运用 Metal Shading 语言编写的 Core Image 核心程序与你的app融合在一起并进行加载,同时发现如何借助这些图像滤镜创造独特效果。探索如何使用 Xcode 规则和命名约定来完成由 Metal Shading 语言编写的 Core Image 核心程序。我们将解析借助 Metal 技术和 Metal Shading 语言来高效使用 Core Image APIs 的最佳方式。
-
25:15 RealityKit 新功能
RealityKit 是 Apple 为增强现实所从头构建的渲染、动画、物理及音频引擎。其存在对传统 3D 渲染器进行了再定义,使开发者们能够更为轻易地构建与创造高质量增强现实体验。学习如何在你的 App 中有效地实现 RealityKit 的最新改进。了解视频纹理、在 iPad Pro 上使用 LiDAR 扫描仪进行场景理解、位置锚固、脸部识别及改进调试工具等功能。 若希望充分理解本部分中的内容,开发者应当对构建基于 RealityKit 的 App 和游戏有着基础认识。可以事先观看“RealityKit 和 Reality Composer 介绍”视频,学习相应知识。...
-
33:52 让你的 Metal app 在 Apple 芯片的 Mac 上运行
认识用于 Apple Silicon Macs 的 Tile Based Deferred Rendering (TBDR) 图形处理器架构,这是“Metal app 或游戏”图形性能的核心。了解如何将图形密集型 app 转换或移植到 Apple Silicon 上,以及在为平台本地构建时如何利用 TBDR 和 Metal 技术。我们将对比研究 TBDR 与旧版 Mac 的 Immediate Mode Rendering pipeline,了解将 app 或游戏移交给他人时可能遇到的常见问题,并探讨如何在使用本地 SDK 构建时提供令人难以置信的性能。 我们与“优化 Apple...
-
7:16 探索 Core Image 纠错技术
运用 Xcode 环境变量发现并且修复 Core Image 管道的渲染及优化问题。探索如何设置环境变量,从而对 Core Image 图表进行呈现。你将会了解如何生成 Core Image 图表以及如何对其进行解读,从而发现内存、色彩,以及性能问题,并更好地提升和优化 Core Image 管道。
-
32:50 使用图形处理器计数器优化 Metal app 和游戏
图形处理器计数器可以帮助你精确测量图形处理器利用率,以查明瓶颈并优化 Metal apps 和游戏的工作负载。我们将带你逐步了解 Xcode 12 中的 Metal System Trace 仪器和 Metal Debugger 中可用的工具,以分析你的图形工作负载,并向你展示如何使用收集的数据来发现图形处理器传递途径中未充分利用和过度工作的阶段。探索如何对数据进行处理以提高 app 的功能。 为了充分利用本次分享的内容,你应该了解 Apple图形处理器的基于图块的延迟渲染体系结构,并熟悉我们建议的性能优化最佳实例。有关入门知识,请查看“提供优化的 Metal app 和游戏”...
-
14:17 使用 Xcode 12 深入了解 你的 Metal 技术 app
了解如何使用 Xcode 12 中的 Metal 调试和性能优化工具在几分钟内找到图形问题。我们将向您展示如何使用 Metal Debugger 快速诊断问题。 探索新的摘要视图,该视图提出了改进 Metal API 的内存使用率、带宽、性能和实现。 您应该对Metal有个基本的了解,以便于充分利用本课程。 对于背景,请观看“利用 Metal 来控制 Apple 图形处理器”。
-
23:40 通过 AV Foundation 和 Video Toolbox 解码 ProRes
让你的 Mac app 解码并显示 ProRes 内容更加简单:了解如何利用 AVFoundation 和 VideoToolbox 的解码功能完成最优图形管线。我们将分享让你的 app 实现这一点的最佳方法和性能注意事项,并向你展示如何将Afterburner 加速卡与你的管线集成,并逐步介绍如何使用 Metal 显示解码帧。
-
20:56 调试 Metal 中的图形处理器端错误
通过 Xcode 12 中增强的报告功能,甚至可以追踪最棘手的图形处理器端编程错误。尽管 Metal 技术API验证层可以捕获项目中的大多数问题,但图形处理器错误可能会导致许多难以调试的问题。 获取有关图形处理器端错误的介绍,并学习如何使用 Xcode 12 查找和消除诸如视觉损坏、无限循环超时、内存访问超出范围、无资源访问或无效的资源驻留之类的问题。了解如何启用增强的命令缓存错误报告和着色器验证,如何将它们有效地用作调试策略的一部分,并在生产线中使其自动化。
-
20:31 了解 Metal 函数指针
Metal 是一个兼顾图形框架与着色器的,面向底层、低开销的硬件加速应用程序接口,在程序中可以制造绚丽的视觉效果。了解如何通过函数指针将使用 Metal Shading Language 编写的着色器变得更具有编辑与扩展性。学习如何利用 Metal 着色器中新增的动态数据流控制系统。了解如何通过函数指针在光线追踪程序中指定自定义相交函数。我们将会解释函数指针如何支持多种编译模式,以便开发者能够将 GPU 功能与运行时性能进行平衡。
-
28:18 AR Toolkit 主题的演讲
Reality Converter 和 Reality Composer 可以更容易地为你的 iOS 或 iPadOS app 编制增强现实资源。了解如何将现有的 3D 资源转换为 USDZ,将它们带入 Reality Composer 来创建增强现实体验,并与现有的 Xcode 项目集成或导出到 AR Quick Look。我们将详细说明如何以各种 3D 格式处理资源,构建和测验你的 AR 场景,并与你的艺术家工作流集成。 为了充分利用本次分享,你应该熟悉 USDZ 和 Reality Composer 的运用。了解更多相关信息,可观看“运用通用场景描述”和“运用 Reality...
-
39:35 用 Metal Performance Shaders 图形 构建自定义 ML 模型
了解能够将 Metal 的计算能力提升至多维张量的 Metal Performance Shader(MPS)图形。MPS 图形基于对机器学习极为重要的高效数据并行图元资料库,并充分利用了 GPU 的强大功能。探索 MPS 如何协助实现复杂的动态神经网络训练架构,并通过对其优化来提升 GPU 速度。 若希望对此部分所提到的概念进行更为深入的理解,请观看 WWDC19 “机器学习方面的 Metal 应用”视频。
-
45:22 为 Apple 芯片 Mac 优化 Metal 性能
Apple Silicon Mac 是图形密集型 app 的革新平台,我们将向你展示如何启动图形处理器来快速创建 app 和游戏。 了解如何利用 Apple Silicon Mac 中 Apple 独特的 Tile-Based Deferred Rendering (TBDR) 图形处理器架构,并学习如何安排工作负载以提供最大的数据吞吐能力,以及构建渲染管道并提高整体效率。请与我们的图形团队一起深入研究 Apple 图形处理器着色器核心中的着色器优化。 我们一起设计了本节内容与“将 Metal app 带入 Apple Silicon Mac”,并建议你首先观看后者。...
-
18:38 使用 AR Quick Look 进行线上购物
AR Quick Look 增添在线购物新维度:我们将向你说明如何利用增强现实技术轻松展示你的产品,让你获得“购物之前先试试”的体验。欲知如何在 AR Quick Look 中展示产品横幅,你可结合 Apple Pay 或显示自定义操作,如“添加到购物车”。 为了充分利用本节内容,我们建议你熟知 WWDC 2019 的“AR Quick Look的进步”。 一旦你了解到 AR Quick Look 和 Apple Pay 创造交互式线上购物体验的潜能,你就可以观看“USD 新功能”以了解更多关于创建3D对象和附加交互的知识。
-
24:23 使用Metal技术 驾驭Apple图形处理器
将 Apple 图形处理器的功能与 Metal(Apple 平台上图形处理器加速图形的最新基础)结合使用时,可以创建视觉上令人惊叹的高性能 app 和游戏。 探索 Apple 图形处理器的结构和功能,以及 Metal 如何利用其基于图块的延迟渲染(TBDR)结构在app和游戏中实现可衡量的性能提升。在本次分享中,我们将讨论 Apple 图形处理器的效率,并展示 TBDR 如何应用于一系列现代渲染技术。 参加本次分享您应该具备 Metal 和图形渲染的基本知识。要获得良好的介绍,请查看“用 Metal 技术进行现代渲染” ,并且定位好自己。
-
14:04 为 iPad 引入键盘和鼠标游戏
升级 iPad 游戏并且加入键盘、鼠标和触摸板控制。探索如何使用 Game Controller 框架来增加游戏成就,将游戏进行跨平台移植,或者设计出全新的交互体验。了解如何在玩家操作中融合键盘及“delta”鼠标同步运动,并禁用例如程序坞或控制中心相关手势,从而尽情享受全屏游戏体验。 若想进一步掌握如何增加针对游戏机控制器的支持,例如 Xbox Elite 2 代无线控制器及 Xbox 无障碍控制器,请观看“游戏控制器提升”,了解如何使用 UIKit 来查看“手柄、触摸板及鼠标输入”并管理间接输入。
-
24:59 游戏控制器的进展
游戏开始啦!探索如何将第三方游戏控制器与自定义控制器加入你在 iPhone、iPad、Mac、Apple TV 平台的游戏。我们将向你展示如何为最新的控制器添加支持,如 Xbox Elite Wireless Controller Series 2 与 Adaptive Controller,并根据其布局为你的游戏确定操作映射。学习如何将游戏控制器框架与 Core Haptics 结合使用,提供震动反馈。此外,你还将学习如何使用自定义按键映射、非标准输入以及其他特别功能,如运动传感器、灯光、与电池水平等,让你的游戏体验上升一个台阶。...
-
24:41 USD 的新功能
了解通用场景模式(USD)标准的模式和结构更新内容。了解如何借助 Reality Composer 构建具有交互性性能的增强现实内容,如 anchoring、物理、行为、3D文本和导出为 USDZ 格式的空间音频。另外,了解 streamlined 工作流,可帮助你向 app 提供新建对象。 若想进一步了解 USDZ 作为发行格式的内容,请参见“USD 运用 ”。更多关于借助 Reality Composer 创建 AR 内容,请参见“Artist 的增强现实工具”。 我们希望得到关于初步模式的反馈。观看视频后,请加入开发者论坛并分享你的看法。
-
18:07 Game Center 设计
为 Game Center 提供个人游戏界面。 我们将向你展示如何在 GameKit 界面实现个性化触摸效果并加入成就、排行榜和多人游戏功能,从而为玩家提供丰富的体验。了解如何自定义游戏的访问接入点、设计可供收集的成就卡和各项排行榜,以及如何针对各种平台和方向调整界面。 学会设计 Game Center 之后,再 "轻点进入 Game Center" 学习如何将 GameKit 框架集成到游戏中,观看 "将电脑游戏移植至 iPad" 和 "有关游戏控制器的改善" 探索如何添加专用键盘控件和游戏控制器。
-
5:42 支持性能密集型 App 和游戏
iOS 和 iPadOS 可提供强大功能,以帮助开发人员为所有设备代提供突破性的 App 和游戏。然而,某些情况下,具有特殊性能要求的 App 可能只能为拥有 A12 仿生芯片或更高芯片的设备提供最好的体验。 使用 Xcode 12,开发人员现在可以为高性能 app 和游戏启用一个设置来满足这一要求。我们将带你了解少数特殊情况下,应用这个设置的时间选择和需谨慎考虑的 app 分布选择。 在选择方法之前,你应该具备丰富的优化 app 的经验。若要了解工具的具体情况和你可以使用的最佳方法,请观看“提供优化的 Metal Apps 和游戏”,以便使你的产品在所有支持设备上运行良好。...
-
8:37 优化 Core Image 视频 app 工作流
探索利用 Core Image 的强大处理能力来优化视频 app 性能表现的无限可能。我们将向你展示如何构筑 Core Image 管道,从而将各类效果应用到app内的视频。探索如何在使用 CIContext 的过程中减少你的 app 内存占用,并且学习使用通过 Core Image 滤镜来对 AVPlayView 或 MTKView 视图类型进行视频回放的最佳做法。除此之外,还需探究为何需要通过 Metal Shading 语言编写你的个人定制核心程序,并且了解相关性能提示,从而最大限度上使用 Core Image 管道中 Metal 技术的命令队列。
-
24:54 轻点进入 Game Center: 排行榜、成就,以及多人游戏
让你的 Game Center 整合更上一层楼吧。玩家将可以在排行榜上比较分数、获取珍贵的成就、并且与其他玩家共同游戏。同时你也可以通过阶段性排行榜组织每周冠军赛、日常较量或 1 小时竞赛等特殊事件。你的游戏可以拥有最多 100 个独特的玩家成就。同时我们将会展示如何为游戏的 Game Center 玩家设置实时或回合制多人游戏比赛。 若希望进一步了解 Game Center 的界面、仪表盘及个人资料,请查看“了解 Game Center:仪表盘、接入点及个人资料”。 关于为游戏准备适配这些新功能的界面,请详见“为 Game Center 进行设计”。
-
27:38 探索 ARKit 4
ARKit 4 让你能够构建下一代增强现实 app,从而改变人们与周围世界的联系方式。我们将向你介绍 Apple 增强现实平台的最新改进,包括如何使用定位锚将虚拟对象与现实世界中的经度,纬度和海拔联系起来。了解如何在 iPad Pro 上利用 LiDAR 扫描仪并获取你周围环境的深度图,并了解如何在更多设备,包括iPad Air(第三代),iPad mini(第五代)以及所有装有 A12 Bionic 芯片或更高版本且带有前置摄像头的设备上用AR跟踪人脸。 要想充分利用本节内容,建议你先熟悉你的 app 如何利用 iPad Pro上的 LiDAR 扫描仪。观看“...
-
21:05 利用 Metal 探索光线追踪
使用光线追踪技术,在你的 app 与游戏中展现照片一般逼真的 3D 场景——这是 Metal 图形框架与 Shading Language 的核心部分之一。探索 Metal 光线追踪 API 与 Shading Language 光线追踪扩展的基础功能,了解如何在你的图形 app 与游戏中使用它们,并掌握如何控制多个内核,将它们组合成一整个计算内核,获取最佳性能。
-
-
WWDC19 -
37:13 RealityKit 和 Reality Composer 简介
RealityKit 为 AR 而构建,让开发者能够利用渲染、动画和物理效果和空间音频等一流的功能。看看 RealityKit 如何重新定义传统的 3D 引擎,从而让开发者能够更快、更轻松地进行 AR 开发。了解开发基于 RealityKit 的 app 和游戏包含哪些工作,并学习如何利用 Reality Composer 制作原型并生成 AR 体验所需的内容。
-
56:04 通过 Core Haptics 扩展感知体验
借助 Core Haptics,您可以设计属于自己的附带同步音频的 iPhone 触感体验。在这个包含两个部分的讲座中,了解基本的声音与触感设计原则和概念,从而打造调动更多人类感官的、有意义且令人愉悦的体验。探索如何在您的 app 或游戏中通过触感引擎结合视觉、听觉和触感,来增添更胜以往的逼真感并改进反馈。了解如何创建和播放内容,以及 Core Haptics 如何与其他音频和触感 API 搭配使用。
-
55:28 利用 Metal 进行现代化渲染
Metal 是 GPU 加速图形和计算框架,可帮助开发者打造从专业 app 到控制台风格游戏的一切内容。了解如何利用 Metal 功能来实现现代图形技术,包括延迟渲染和分块前向渲染。了解 GPU 驱动功能如何让 Metal 自行安排工作负载,从而在几乎没有 CPU 交互的情况下构建和执行完整的场景及计算工作负载。了解 GPU 系列如何帮助您更加轻松地构建适用于所有 Apple 平台的 app,并探索 Metal 如何让您的 app 和游戏在性能和功能方面更上一层楼。
-
46:43 获奖 App 和游戏的设计
我们将通过报道、访谈和设计图,发掘 Apple 设计大奖获奖 app 和游戏的宝贵设计流程、技巧和最佳做法。
-
39:26 将真人带入到 AR
ARKit 3 实现了一项革命性的功能,可让真人稳定地融入到 AR 场景中。了解 app 可以如何使用实时运动捕捉来制作虚拟人物动画或应用到 2D 和 3D 模拟中。了解 People Occlusion 如何让虚拟内容从现实世界中的人物后面通过,以此实现更加逼真的 AR 体验。
-
51:27 ARKit 3 简介
ARKit 是适用于 iOS 的开创性增强现实 (AR) 平台,能够改变人们与周围世界之间联系的方式。探索 ARKit 3 的先进功能,以及它为 RealityKit 提供的创新基础。了解 ARKit 如何通过认识身体姿态和运动来进行运动捕捉和人物遮挡,从而实现更加逼真的 AR 体验。查看多面部跟踪、协同会话构建以及新手引导的辅导 UI 等新增功能。
-
43:57 AR Quick Look 改进
AR Quick Look 是一个内建的查看器,可用于体验高质量的 3D 和 AR 内容。了解与 Reality Composer 整合如何让显示和分享丰富的互动体验变得比以往更加轻松简单。探索渲染改进和多对象查看,然后深入了解 AR Quick Look 在零售和教育等领域的实践应用。
-
59:05 利用 Reality Composer 打造 AR 体验
借助 Reality Composer 这款工具,任何人都可以快速制作原型并构建可整合到 app 中或通过 AR Quick Look 体验的 AR 场景。详细了解 Reality Composer 强大而直观的功能,并探索其内置 AR 资源库中数百种现成可用的虚拟对象。看看构建动画和互动来丰富您的 3D 内容有多简单,并详细了解如何将 Reality 文件整合到您的 app 中。
-
39:47 利用 RealityKit 构建 App
通过利用容易掌握的 RealityKit API 开发游戏,从实践角度了解 RealityKit 的各项功能。了解载入素材资源、构建场景、应用动画和处理游戏输入的推荐方法。看看实体和组件如何表达 RealityKit 的强大元素,同时提供灵活的自定功能。学习如何利用内建联网功能,并详细了解如何将游戏扩展为沉浸式多玩家体验。
-
37:09 在 Xcode 11 中进行调试
Xcode 11 推出了快速查找和修复错误的新功能。了解如何模拟网络条件和温度状态,以及如何在调试期间覆盖 app 的运行时环境。了解调试功能如何与 Xcode 预览搭配来在构建并运行前发现问题。了解如何使用 View Debugger 对 SwiftUI 视图进行故障诊断。
-
35:17 打造 AR 协作体验
在 iOS 13 中,ARKit 和 RealityKit 让 app 能够更快、更轻松地建立共享 AR 体验。了解协作会话如何让多台设备搭建合并的世界地图并实时共享 AR 锚点和更新。学习如何将协作会话整合到基于 ARKit 的 app 中,然后探索 SwiftStrike,这是一款使用 RealityKit 和 Swift 构建的引人入胜的沉浸式多玩家 AR 游戏。
-
57:13 将 OpenGL App 迁移到 Metal
Metal 是 Apple 各平台上 GPU 加速图形和计算的现代基础,正在逐步取代 OpenGL、OpenGL ES 和 OpenCL。认识 Metal 的架构和功能集,并了解将基于 OpenGL 的 app 迁移至 Metal API 的分步方法。
-
43:06 充分利用模拟器
与我们一起深入探索模拟器的世界。了解模拟器的工作方式,探索您可能不曾知晓的功能,并浏览模拟器中用于自动化的命令行界面。了解模拟器中通过 Metal 实现的原生 GPU 加速,以及如何优化您的 Metal 代码来充分利用这项功能。
-
41:25 Metal 助力机器学习
Metal Performance Shaders (MPS) 包括对于机器学习和充分发挥 GPU 的强劲性能必不可少的高度优调数据并行原语库。在 iOS 13 和 macOS Catalina 中,MPS 提升了性能,搭建更多神经网络,并且比以前更加简单易用。进一步了解 MPS 中的这些改进,并从实践角度了解如何实施样式转换等创新技术。
-
10:18 Game Center 玩家标识符
Game Center 现在支持界定于个别游戏或开发团队 ID 的永久玩家标识符。了解限定范围的标识符如何提高玩家隐私的保护,看看如何将您的 app 和游戏迁移到推荐的 API。
-
49:24 打造优化的 Metal App 和游戏
对于资源密集型 Metal app 和游戏来说,优化性能、内存和带宽非常重要。了解简化渲染并实现高帧率的主要最佳做法。了解有助于查明高开销或异常 GPU 工作的强大工具。深入了解可带来性能提升的 GPU 功能,并获取关于高效使用内存的专家指导。
-
17:00 支持新的游戏控制器
在 iOS 13、macOS Catalina 和 Apple TVOS 13 中,Game Controller 框架添加了对多款知名控制台游戏控制器的支持。简要了解新增的控制器,并理解它们提供输入的方式。了解处理可选按键的推荐最佳做法,学习 macOS 上的正确支持方式。
-
58:56 Metal 助力专业 App
Metal 是针对平台优化的图形与计算框架,是 Apple 各平台 GPU 加速的核心所在。了解 Metal 架构中支持现代高性能专业 app 和工作流程所用的各项技术的关键部分。熟悉如何利用各项 Metal 功能来优化性能,并在视频编辑流程中保持稳定的帧率。了解如何利用 CPU 和 GPU 并行计算,并深入了解实现高效数据吞吐的最佳做法。
-
31:55 使用 USD
通用场景描述 (USD) 能够可靠地描述 3D 场景,让工程师和艺术家可以在创意工作流程中开展密切协作。了解 USD 的强大功能,并探索它出色的可扩展性。更深入地了解如何创建 USD 素材资源,并了解如何提供用于 ARKit 和 RealityKit 的 usdz 内容。
-
58:38 Metal 助力光线追踪
Metal Performance Shaders (MPS) 能够驾驭 GPU 的大规模并行计算能力,因而可以显著提升现代光线追踪和光线投射技术的核心计算速度。了解 MPS 如何提升动态场景的计算速度,并通过实际例子深入了解如何实施柔和阴影、环境光遮蔽和全局照明。了解如何实现混合渲染应用,并探索将 app 扩展到多种 GPU 的新技巧。
-
-
WWDC18 -
38:13 Metal 着色器调试和剖析
Metal 提供了强大的工具,用于分析着色器行为并优化性能。深入了解如何使用 Xcode 内新增的形状查看功能来对顶点阶段问题进行故障诊断。使用着色器调试程序来逐步调试顶点、片段以及逐行计算着色器执行情况。详细了解如何分析 GPU 负载,并查看针对 A11 仿生的着色器分析程序增强功能。
-
33:35 Metal Game Performance Optimization
Realize the full potential of your Metal-based games by tackling common issues that cause frame rate slowdowns, stutters, and stalls. Discover how to clear up jitter and maintain a silky-smooth frame rate with simple changes in frame pacing. Get introduced to new tools for analyzing rendering...
-
-
WWDC17 -
10:06 Display P3 入门
广色域显示让您的 app 可以显示更加丰富、生动和逼真的颜色。初步了解颜色管理、Display P3 颜色空间,以及制作色彩更丰富的图像和图标的实践工作流程技巧。
-
13:53 优秀游戏的设计技巧
出色的游戏可以让我们穿越到另一个世界,在那里统治王国、参加传奇战役,或者成为弹珠高手。了解新手引导和 UI 设计的最佳做法,让每个人都沉醉于您的游戏并享受乐趣。
-
29:05 高效图像文件格式
了解全新高效图像文件格式 (HEIF) 的基本详情,并探索 Apple 平台使用了哪些功能。深入探索容器结构、它可处理的媒体和元数据类型,以及这种新标准带来的许多其他益处。
-
53:52 SceneKit:新功能
SceneKit 是一种速度快、功能齐全的高级 3D 图形框架,让您可以为 app 和游戏打造沉浸式的场景和特效。看看如何利用相机控制和特效方面的最新改进,来模拟焦外成像和运动模糊等真实的相机光学效果。了解用于直接在 GPU 上从粗糙网格开始创建光滑表面的曲面分割和曲面细分功能。查看与 ARKit 的全新整合,以及通过 Xcode 场景编辑器实现的工作流程改进。
-
40:09 Swift Playgrounds 中的 SceneKit
探索 Swift Playgrounds 内容团队为在有丰富视觉效果的 app 中高效使用 SceneKit 而总结的技巧与窍门。了解如何整合动画、优化渲染性能、进行辅助功能设计和增加视觉质感,理解利用 3D 素材资源创建高效工作流程的策略。
-
32:17 利用 SpriteKit 在 2D 基础上更进一步
借助 SpriteKit,可以轻松打造高性能、低能耗的 2D 游戏等。看看如何利用与 ARkit 的无缝整合来在增强现实中引入 SpriteKit 对象。了解如何混合使用 2D 和 3D 内容,以及如何运用逼真的转换。直接控制 SpriteKit 渲染,并详细了解如何离线渲染为 Metal 纹理。
-
-
WWDC16 -
41:15 Metal 着色器高级优化
Metal 着色语言是一种简单易用的编程语言,用于编写在 GPU 上执行的图形与计算功能。更深入地了解设计模式、内存访问模型,以及能减少瓶颈和隐藏延迟的详细着色器编码最佳做法。面向经验丰富、GPU 架构知识扎实并希望充分发挥每个循环潜力的着色器作者。
-
-
WWDC15 -
39:48 Core Motion 新功能
了解 Core Motion 的新功能。了解您的 app 可以如何利用 iOS 设备上的动作传感器。详细探索计步器的新功能,并学习如何利用高度计来将您的 app 提升到新的水平。利用运动 API 和 Apple Watch 上的传感器数据来贴合个人需求。通过演示了解如何利用运动环境感知功能让 app 变得更加智能!
-
42:46 通过 Model I/O 管理 3D 素材资源
Model I/O 为 3D 模型的访问与管理提供了一个无缝的基础架构。这个高性能架构支持读取和写入常见的网格与模型格式、纹理以及材质。简要了解 Model I/O 框架,熟悉关于将它与 SceneKit、MetalKit 和 GLKit 整合的重要细节。
-
-
WWDC14 -
56:33 Ingredients of Great Games
Kick off the game development sessions of WWDC 2014 by gaining insight into the key ingredients needed to create a great game for iOS. Understand the importance of harnessing the full capabilities of the platform to create a richer gameplay experience. Get practical guidance about game production...
-
53:18 Working with Metal: Advanced
Building on the fundamentals, learn how to create advanced games and graphics applications with Metal. See how to construct your rendering pipeline, understand how to use compute and graphics together, and discover how to optimize your Metal-based app.
-
46:23 Working with Metal: Overview
Metal provides extremely efficient access to the graphics and compute power of the A7 chip. Get introduced to the essential concepts behind Metal, its low-overhead architecture, streamlined API, and unified shading language. See how Metal lets you take your iOS game or app to the next level of...
-
53:43 Working with Metal: Fundamentals
Start learning how to code with Metal in this step-by-step walkthrough of basic scene rendering. See the code you need to get your first Metal-based application up and running. Explore how to create graphics and compute shaders and efficiently animate scenes.
-