针对各种刷新速率显示器进行优化

针对各种刷新速率显示器进行优化

了解如何在支持动态显示时序的 Apple 平台上实现流畅屏幕更新。学习在 macOS 的自适应同步显示屏上调整全屏游戏更新速度的技巧，了解低功率模式和其他系统状态如何影响 ProMotion 显示屏上的帧速率可用状态。我们还将分享利用显示链接 API 促进定制绘图的最佳实践。

资源
相关视频

WWDC22
- 控制电量：优化电池电量消耗
WWDC19
- 打造优化的 Metal App 和游戏
下载

嗨我叫凯尔萨拿我来自图形处理器软件工程小组我会和我的同事艾利克斯李一起谈谈如何在你的应用程序中达到最佳的帧步调在各种刷新率的展示中皆然我们会聚焦在一些将更新于 macOS的新显示科技技术如自适应同步以及如何驱动自定义绘图不论何种情境能在iPad Pro上顺畅执行我们首先会快速概览显示有哪些类别现在已经获得Apple平台的支持
我们将要向你介绍Mac上自适应同步技术的显示还有macOS Monterey中的新工具你可以用它们来做出全屏应用程序及游戏中这些显示流畅的帧速率
接着我们会深入探讨 iPad Pro上的ProMotion 然后参考一些CADisplayLink的行业最佳作法能协助你的应用程序维持正确的帧步调帧速率相异时亦同
我们先回顾一下 Apple设备能够支持的显示类别
大部在Apple系统上运行的显示都是固定刷新率意思是它们维持一定的刷新速率只要有接上电源有个例外就是我们在iPad上的ProMotion显示还有现在在macOS上的自适应同步显示我们来探讨一下Mac上进行自适应同步显示的全新功能
我们先谈什么是自适应同步显示再看它们如何在Mac上运行但首先我们先很快看一下固定刷新率的显示如何运作这边这个图表展示了帧如何被传送到60赫兹显示上每一帧都被呈现在显示上会停留16毫秒直到显示刷新如果你的Mac取用了帧缓存里预备好的新的一帧接着新的那一帧就会呈现出来如果没有的话前一帧就会再度显示
看看120赫兹的显示是怎么样你可以看到虽然我们把刷新率加倍了而因此减半间隔时间也就是每一帧停留在画面的时间它表现的方式是一样的只是更快了
再来看看这个自适应同步显示它的长度并非完全不变每一帧都有一个时间范围可以在屏幕上不定时停留这个范围会随着使用的显示器变化这个显示可以在40到120赫兹间运作意味着一帧可以在屏幕上停留8到25毫秒
注意只要超过最大时限系统就需要刷新面板而显示会短暂地无法作用因为要花上短短一瞬等待新的更新好的那么你的游戏跟应用程序会得到什么好处如果使用自适应同步显示呢？如果是大部分时间运行都使用最高刷新率显示的应用程序自适应同步显示无偿提供了很大的好处我们先看看这个情境当你的应用程序大多有办法显示八毫秒以下的新帧时代表你运行120赫兹时堪称稳定但由于画面复杂度暂时上升已经完成的帧来到了帧缓存中却已是前一帧显示后的九毫秒在固定帧速率的显示中前一帧就会显示16毫秒而不是你希望的八毫秒这在你的应用程序中就造成了可以察觉的顿点
在自适应同步显示中你的帧传送给显示器的时间是完成后的瞬间所以你的应用程序只会有一毫秒的损失这么小的顿点一般不会被使用者察觉没办法达到显示器上最大帧速率的工作量你可以让帧滑顺且平整只要做一些微小的调整改变你的应用程序呈现绘图的方式就行了想想看这个情境一个游戏正在执行一个复杂的场景可以以差不多90赫兹的频率更新然而间断的效果让复杂度出现跳位但又如此不一致导致突然下滑到66赫兹通过监测你应用程序的图形处理器你可以对下滑做出反应处理它的复杂度手段是刻意晚点呈现你的帧直到你的场景复杂度稳定回到较低的状态现在我们来谈谈自适应同步的一些最佳作法显示为固定速率时当你的应用程序图形处理器运作一直都超过显示器屏幕上的间隔时间时我们先前建议你放慢你的算图速度来达到显示器最快刷新速率的下个因子
一般来说这表示把你的目标每秒帧数从60降到30 就像这边这个范例一样
然而当要呈现到一个自适应同步显示时我们也改变了导引你应该反而试着去让帧以最高的速率呈现你的应用程序可以流畅地达成这个目标除了可以流畅地呈现每个帧请记得如果你的帧呈现的速率低于最低速率而显示器无法支持的话显示可能会无法让新的帧运作可能会导致你的应用程序剧烈晃动但只要你在支持的范围里你可以随意选择最适合你应用程序的速率既然你已经相当了解 Mac今年带来的全新显示支持我们就来谈谈如何在你的游戏里启用自适应同步首先你需要一台支持的Mac 任何拥有Apple 芯片图形处理器的 Mac都会有不错的效果我们也支持大部分近期使用英特尔芯片的Mac 再来你需要一台支持自适应同步的显示器用以启用自适应同步的模式可以通过选择全新的变动刷新率来达成在显示器的系统偏好中可以找到最后你们应用程序需要以全屏模式运行我们来看看你可以在你的应用程序呼叫哪些应用程序接口以侦测是否它应该执行自适应同步的排程首先你需要搞清楚你选用的显示器是否有办法执行自适应同步的排程 NSScreen今年为此加入了全新的性质也就是minimumRefreshInterval 以及maximumRefreshInterval 这些值告诉你有效的屏幕时间范围是多少以呈现在这个显示器上面的帧在固定帧数的显示器上这些值都会是相同的所以一个简单但不完全相符的比较会告诉你是否这个屏幕开启了自适应同步模式接下来你会需要知道你的窗口现在是否是全屏模式检查窗口里的styleMask就能查到了
记住你需要结合这两个检查来确保你的应用程序有办法利用到自适应同步排程很好那么现在你已经会处理自适应同步显示以及macOS提供的全新应用程序接口以侦测到它们我们来看看我们要如何调整现有的Metal呈现技术来流畅地呈现在自适应同步显示上
你可以使用我们的MetalDrawable 应用程序接口内建了帧步调像是PresentAfterMinimumDuration 或是presentAtTime 对于自适应同步的显示都很有效或者是你也可以呼叫现在呈现来加入你的解决方案以及你的自定义定时器我们来看一些不一样的建置是如何运作的
我们以一个简单的例子开始我们要在这边获取一个绘图设置好图形处理器的作业并把它呈现在屏幕上我们依赖一个绘图对象的后压可用来设定我们的帧速率在固定速率的显示上我们知道这不是最好的主意因为这不代表你的图形处理器作业一定会符合显示器的刷新率
但你可以看到这个自适应同步显示完成的Instruments撷取当我们的场景是前后一致时看起来运作正常无碍问题是这个场景执行的时候碰到了间断发生的顿点顿点就会变成用户不断看到的停顿我们试着用固定平均的速率呈现来修复这个问题这个技术也可以使用在你想要建置的用户可调的帧每秒浮动块上提供给你的游戏玩家我们在这里把频率设定为78赫兹不使用单纯的呈现呼叫而是呈现afterMinimumDuration 给这个绘图并且规定我们上面定义过的间隔时间我们可以看到这里的帧顺畅地呈现而且依照我们要求的速率我们没有像上个例子一样快速呈现但是你的使用者反而几乎不会碰到停顿而你的应用程序会花更少时间使用中央处理器与图形处理器好的这里就有趣了我们来试一个方法会制作步调一致的帧而不需要设定单一固定的速率其中一个达成方法是计算图形处理器工作的滚动平均要多少才能制作每一个帧然后回送给我们 presentDrawable的呼叫从第一帧开始我们要加载一个起始值给averageGPUTime 我选择乐观一些设最快的速率为目标达到显示器可以支持的上限对于我们的平均这只是一个开始而已所以我们做的任何合理推测都可以现在我们加上CommandBuffer的完成处置在这里来估算图形处理器要花多少时间给这一帧算图然后把这个时间值加到我们的滚动平均上首先我们要取得图形处理器花了多少时间完成我们的工作之后我们会把新的时间整合到滚动平均里我们呈现下一帧时会用上它这边就是结果你可以看到我们呈现的速率跟上个例子很相似但这个限制是靠着我们产出的上一帧来决定的会产生同样的帧速率在Mac图形处理器上的一个范围内我们可以在这边看到同一个程序以48赫兹的速度顺畅地执行在一台性能较差的Mac上而不需要对代码多做更动
好的你现在知道一些新的工具与技术可以用来在自适应同步显示时优化你的应用程序如果你想更了解 macOS上的自适应同步显示可以参考Apple Developer的网站上全新的Metal范例计划来了解如何使用Metal 传达高效能的体验请参考WWDC前几年的谈话内容现在我要把你交给艾利克斯你将能学到更多 iPad Pro上帧步调的知识谢谢你凯尔接着我们来谈谈ProMotion 自2017年开始每台iPad Pro 都配备了ProMotion的显示技术能够提供高达120赫兹的刷新率然而120赫兹在某些情况下可能无法使用包括用户调成低电量模式的状态这个功能今年才在iPadOS 15上提供给iPad使用适当的帧步调能允许你的应用程序呈现动态内容正确且又顺畅不论显示特性用户偏好、系统状态为何我们将要看看ProMotion 以及固定速率显示的差异以及某些帧速率不可用的情形接着我们会讨论何谓显示链接以及你的应用程序如何使用它来驱动自定义绘图最后我们会提供一些显示链接的最佳作法我们就直接进入正题吧如同刚刚凯尔有稍微提到的一样固定在60赫兹的显示每16毫秒会刷新固定进行校正它支持了顺畅的内容呈现其帧速率是60的因子比方说60赫兹、30赫兹、20赫兹等等然而当内容比显示刷新率还慢的时候像是只有30赫兹的话显示自身仍然要用同样的校正进行刷新因此其他每一帧都是前一帧的重复这样会耗损到一些电源相对地 ProMotion 就提供了绝佳的反应能力刷新率可以高达120赫兹它也能根据屏幕上的内容进行调整并减少电源的消耗我们来看看它是怎么运作的刷新频率若是最高的120赫兹显示当然就会每八毫秒刷新一次
因为120是60的倍数 ProMotion支持所有可选用的帧速率它不仅能提供120赫兹的选择也可以支持中间的帧速率给你的应用程序此外 ProMotion可以动态调整它的刷新率所以内容若只需60赫兹即能流畅运作可以仅16毫秒才刷新一次而不需要重复而它的显示本来需要固定在120赫兹上就算频率降低到24赫兹也一样
现在有个问题这些帧速率不会一直都可用用户可以打开限制帧速率的开关在辅助功能的设定中会把最大帧速率限为60赫兹还有当装置变烫的时候系统可能会应用限制到120赫兹的可用性上通过iPadOS 15 我们也能在低电量模式执行60赫兹的最大限度这些情境如何影响你的应用程序呢？好消息是大部分应用程序的运行状态都不会有任何改变但如果你的应用程序运行一帧一帧的自定义绘图你可能就需要注意这些帧速率的变化了我们会向你展示该如何做自定义绘图推荐的工具便是显示链接其实就是一个定时器与显示刷新率同步而已它会帮助你的应用程序驱动任何自定义动画或是算图循环这里有两个显示链接一个是macOS上的CVDisplayLink 来自Core Video 及CADisplayLink 来自CoreAnimation兼容其他平台还有macOS的Catalyst 每个都有些微不同的特性及行为今天我们只会讨论CADisplayLink 但在更高的层次上这些概念都会应用到两个上面 CADisplayLink每碰到vsync 就会唤醒并引动回呼这提供给应用程序整整八微秒来完成自己的工作
一个规律的定时器像是NSTimer 不太可能完完全全跟显示同步会产生异相或是漂浮所以有时应用程序可能没有足够时间完成工作所以会导致失帧你已经看到CADisplayLink 如何提供稳定的时间点这里还有它的其他附加好处它可以在比显示刷新率更低的情况下运行要这么做的话你的应用程序利用 preferredFramesPerSecond提供提示我们会替你选择最靠近的可用帧速率当帧速率的可用性改变也就是我们上面讨论的状况时 CADisplayLink会自动偷偷调整速率当然这提供给你的应用程序必要的时间点信息所以你的自定义绘图会察觉到这些改变我们不会深究如何写出自定义动画或是自定义算图循环但我们会提供给你四个行业最佳作法来协助你的自定义绘图与显示的时间点同步避免常常会出现的圈套
首先通过运行时来查询显示刷新率是很重要的而不是硬写下去再来你通常应该使用 CADisplayLink自己的帧速率接着使用targetTimestamp 来预备绘图能帮助减少顿点最后替意外预作预备总是好事作法是不断计算时间差值我们一个一个来看最大的显示刷新率可通过UIScreen查询 ProMotion显示器上的回复一定是120赫兹就算低电源模式开启之类的状况下也是此外 CADisplayLink其实会提供每帧之间的最短间隔时间通过长度的性质它会参照目前装置的状态去作动态更新但绝大多数的时间你都应该使用目前的帧信息直接从CADisplayLink提取因为显示链接可能会比最大的显示刷新率跑得还慢还有帧速率的可用性取决于硬件实际的帧速率可能会由于链接本身产生动态改变来响应系统状态的变化我们来看一个例子假设我们请求了一个40赫兹的显示链接如你所见在ProMotion的显示器上 40赫兹是支持的然而在一个60赫兹的显示器上或当ProMotion被限制在60赫兹时显示链接会自动把自己调整成30赫兹这确保了良好的校正因为每个唤醒都是靠着某个vsync 它尝试给每一帧一样的时长如果我们要使用40赫兹的NSTimer 它不会侦测帧速率的话它的唤醒可能刚好就在vsync的间隔时间中间我们当然无法呈现任何帧所以你很有可能会看到你的自定义绘图中发生顿点那么代码看起来是什么样子呢？这里可以看到你通常如何设定显示链接首先你要提供一个目标跟一个选择器它就是引动的回呼接着提示偏好的帧速率40赫兹使用preferredFramesPerSecond 接着你添加显示链接到目前的运行回路上回呼便会由它所引动所以在回呼中你可以得到预期的间隔时间在显示链接唤醒之间把timestamp 从targetTimestampby减掉就可以了间隔时间不会永远是一秒40次因为显示链接本身可以在不同的频率下运作接下来我们来谈谈这些timestamps CADisplayLink主要有两种timestamps Timestamp是指当回呼已经排程好要被引动的时间而targetTimestamp 则是CoreAnimation 何时会复合下一帧我们会一步步看一个例子它会告诉你为什么应该用 targetTimestamp来预备你绘图这边有个动画它的时域已经常态化成0到1 假设我们要以最高的帧速率为目标目前这个数字是120赫兹 CADisplayLink会唤醒而如果我们要预备使用timestamp来进行帧的呈现我们会直接在这抽样在下个vsync就会呈现如这里所见
同样的过程继续下去我们会看到它的校正相当良好每个120赫兹的帧都会让我们的动画进度增加0.05 现在假设温度的状况变化 120赫兹不再可用显示链接现在就会再度唤醒应用程序预备动画而进度数值是0.4 下次vsync就会在这里呈现
同样的样态会持续下去有的时候转换在这边看起来不太对我们看到进度增加了0.05 但有一个超过了八毫秒另一个则超过16毫秒非常显而易见如果我们测定进度对上时间我们就会在转换时看到跳了一下这对用户来说就是一个可察觉的顿点那不是我们想要的
现在我们来试试targetTimestamp CADisplayLink在这里唤醒进度在targetTimestamp取样数值是0.15 同样的样态持续下去我们又看到了不错的校正在这个帧速率转换点显示链接唤醒了在targetTimestamp取样得到的数值是0.50 持续以同样的方式下去如果我们画出同一个进度对上时间的图表你会看到一直线因此它能够提供顺畅的内容就算帧速率改变也一样所以应该要使用targetTimestamp 而不是timestamp来预备你的绘图在你的代码里一般该是简单的跟你使用targetTimestamp 来取代timestamp的使用一样最后我们来讨论一下动态计算时间的差值 targetTimestamp跟timestamp的差异在显示链接回呼之间给了你期望的时间长度但实际的时间长度可不一定高优先的线程可能排程在中央处理器上或是运行回路正忙于处理其他东西极端的例子中回呼可能会完全跳过所以在这种情况下有件特别重要的事那就是依然保存正确的时间点在你的自定义绘图里以带来最佳用户体验当CADisplayLink的回呼引动时应用程序就执行它的工作来准备好更新或是必要的算图给下一帧通常回呼引动的时间点都刚好是排程的唤醒点但也不是毫无例外我们预期下一个回呼会在这里引动然而显示链接没有机会运行直到vsync间隔时间的几毫秒之后因此你不会得到完整的八毫秒在这个例子里你可以查询 CACurrentMediaTime 把它跟targetTimestamp比较来得知有多少时间可用
现在假设这一帧的工作花了太长时间下一个回呼不会被引动直到运行回路畅通为止因为这一个产生延误下一个回呼就被跳过了当你准备要前推你自定义绘图的进度时在这个回呼里要小心你该使用的时间差值不是八毫秒而是16毫秒如果你要追踪上一个timestamp的话这个数值是你自定义绘图状态更新的数值因此如果你的应用程序使用了时间差值来提前你自定义绘图的状态这就会让你的自定义绘图减慢一帧每一次你的回呼被跳过的时候你可以反其道追踪上一个 targetTimestamp 你就可以把状态正确地前推了如果你的自定义绘图工作量很大你可以查看targetTimestamp 来尽可能减少工作量以达成期限的需求
总结一下最佳作法别光猜显示刷新率请总是在运行时间查询你的自定义绘图应该要在支持的帧速率保有弹性并准备好适应不同的速率使用targetTimestamp来确保没有顿点的帧速率转换要小心注意突发状况像是缺少显示链接回呼我们整理一下这一节的前半段我们讨论了如何优化你应用程序的帧步调当你在macOS上的自适应同步显示器运行时第二部分我们解释了一些最佳作法帮助你的应用程序驱动自定义绘图并维持顺畅的帧步调不论是何种情形之下在iPad Pro的ProMotion显示器上随着显示科技持续进步我们希望这一节内容提供你不只是想法的东西还有工具及最佳作法来支持变化越来越大的显示时间点感谢你共襄盛举祝你收看WWDC其他内容愉快 [音乐]

5:51 - Is Adaptive-Sync scheduling enabled

// Detecting an Adaptive-Sync display

- (BOOL) isAdaptiveSyncSupported:(NSScreen *)screen {
    NSTimeInterval minInterval = screen.minimumRefreshInterval;  
    NSTimeInterval maxInterval = screen.maximumRefreshInterval;  
    return minInterval != maxInterval;
}

// Detecting full-screen

- (BOOL) isWindowFullscreen:(NSWindow *)window {
    return ([window styleMask] &= NSFullScreenWindowMask) == NSFullScreenWindowMask;
}

// Tying it all together

- (BOOL) isAdaptiveSyncSchedulingEnabled:(NSScreen *)window {
    NSScreen* windowScreen = [window screen];
    return [self isWindowFullscreen:window] && [self isAdaptiveSyncSupported:windowScreen];
}

6:49 - Leverage Drawable present calls

// Drawable present APIs with frame-pacing

[commandBuffer presentDrawable:drawable afterMinimumDuration:interval];
[commandBuffer presentDrawable:drawable atTime:t];

// Drawable present API without frame-pacing

[commandBuffer presentDrawable:drawable];

7:11 - A simple example

id<CAMetalDrawable> currentDrawable = [metalLayer nextDrawable];

// Your encoder and command buffers here

[commandBuffer presentDrawable:currentDrawable];

7:55 - Adaptive-Sync in your app 1

id<CAMetalDrawable> currentDrawable = [metalLayer nextDrawable];

NSTimeInterval userFramerateCap = 78.0;
NSTimeInterval userInterval     =  1.0 / userFramerateCap;

// Your encoders and command buffers are still here
[commandBuffer presentDrawable:currentDrawable afterMinimumDuration:userInterval];

8:43 - Adaptive-Sync in your app 2

id<CAMetalDrawable> currentDrawable = [metalLayer nextDrawable];

// Your encoders and command buffers are still available!

NSTimeInterval averageGPUTime = screen.minimumRefreshInterval;

[commandBuffer presentDrawable:currentDrawable afterMinimumDuration:averageGPUTime];

[commandBuffer addCompletedHandler:^(id<MTLCommandBuffer> buffer) {
  const NSTimeInterval GPUTime = buffer.GPUEndTime - buffer.GPUStartTime;

  // Use an exponential moving average
  const double alpha = .25;

  averageGPUTime = (GPUTime * alpha) + (averageGPUTime * (1.0 - alpha));
}];

15:36 - Query the display refresh rate at runtime

// Maximum frame rate from UIKit

NSInteger maxRate = [[UIScreen mainScreen] maximumFramesPerSecond];

// Current maximum frame rate from CoreAnimation

NSInteger currentMaxRate = round(1 / link.duration);

17:06 - Use the actual frame rate of the CADisplayLink

CADisplayLink *link = [CADisplayLink displayLinkWithTarget:self 
                                                  selector:@selector(displayLinkCallback:)];

[link setPreferredFramesPerSecond:40];
[link addToRunLoop:[NSRunLoop currentRunLoop] forMode:NSDefaultRunLoopMode];

- (void)displayLinkCallback:(CADisplayLink *)link {
    CFTimeInterval interval = link.targetTimestamp - link.timestamp;

    //...
}

21:47 - Dynamically compute the time delta 1

- (void)displayLinkCallback:(CADisplayLink *)link {
    progress += link.targetTimestamp - link.timestamp;
    [self renderAnimationWithProgress:progress];
}

21:57 - Dynamically compute the time delta 2

- (void)displayLinkCallback:(CADisplayLink *)link {
    progress += link.targetTimestamp - previousTargetTimestamp;
    previousTargetTimestamp = link.targetTimestamp;

    [self renderAnimationWithProgress:progress];
}

22:08 - Dynamically compute the time delta 3

- (void)displayLinkCallback:(CADisplayLink *)link {
    progress += link.targetTimestamp - previousTargetTimestamp;
    previousTargetTimestamp = link.targetTimestamp;

    [self renderAnimationWithProgress:progress withDeadline:link.targetTimestamp];
}

正在查找特定内容？在上方输入一个主题，就能直接跳转到相应的精彩内容。

提交你查询的内容时出现错误。请检查互联网连接，然后再试一次。

资源

相关视频

WWDC22

WWDC19