调整你的 AirPlay 音频体验

了解如何升级你的 App 的 AirPlay 音频体验，使其更强大、响应更快。我们将向你展示如何通过 AVQueuePlayer 采用增强型音频缓冲功能，探索在你的 App 中构建自定义播放器的替代方案，并与你分享最佳实践。

章节

资源

相关视频

WWDC23

下载

♪ ♪

Kelly：大家好我是 AirPlay 团队的的工程师 Kelly 欢迎来到本次讲座今天我们将介绍最新版本隔空播放的一些功能并为你提供一些小提示以确保你在自己的 App 上能提供极为出色的隔空播放体验这是我们今天的议程我将从隔空播放概述开始然后探讨隔空播放的增强型音频缓冲所提供的一些功能最后我将介绍如何将增强型音频缓冲集成到你的 App 中隔空播放是从 Apple 设备分享视频、照片、音乐等到附近的扬声器和屏幕中最简单的方法由于如今家庭中有许多兼容隔空播放的设备隔空播放比以往任何时候都更流行你可通过以下任一方式使用隔空播放：通过隔空播放音频你可将你喜爱的音乐或播客通过流式传输完美地同步到一个或多个 HomePod 和兼容隔空播放的扬声器使用隔空播放视频你可将你喜欢的电影和节目从你的 Apple 设备流式传输到 Apple TV 或兼容隔空播放的智能电视中支持高达 4K 高动态范围的高画质传输使用镜像你可将你的 Apple 设备上的内容如照片、个人视频、游戏、网页或电子表格分享到 Apple TV 或兼容隔空播放的智能电视上你的朋友和家人也可轻松分享其 Apple 设备上的内容今天的视频我将重点介绍隔空播放的音频流式传输方面隔空播放为一个或多个设备提供了无缝音频流式传输体验如今支持隔空播放音频的设备已形成了一个完整的生态系统从 Apple 设备比如 HomePod、Mac 和 Apple TV 到来自世界顶级品牌的音频和视频产品包括数亿智能电视隔空播放非常方便我个人非常喜欢在日常生活中使用该功能

随着隔空播放的不断发展开发人员和客户的期望也在不断增长为了将隔空播放提升到一个新水平有一个新改进的协议隔空播放增强型音频缓冲功能用来提供更好的家庭影院和多声道体验增强型音频缓冲功能从根本上考虑到了整个家庭的音频需求功能非常强大音频流比实时播放速度更快以尽量减少播放中断它响应灵敏因此当轻点 HomePod 或当你使用 iPhone 作为遥控器时你的 App 都会立即响应它支持多声道音频格式比如 Apple TV 的杜比全景声也支持在今年新推出的 iOS 中智能使用无损播放增强型音频缓冲为 HLS 插片广告提供了最好的支持以支持广告功能你可从我的同事 Amit 的视频 “探索隔空播放与插片广告”中进一步了解 HLS 插片广告相关信息如你所见我们为未来增强型音频缓冲已打造了良好基础集成该功能将为你的 App 打造极为优秀的隔空播放体验让我们看看你如何能从增强型音频缓冲中受益我正在从我的手机流式传输音频到 HomePod

想象一下我正在倒垃圾现在已经超出了我的 Wi-Fi 范围 ♪ ♪ 请注意 HomePod 仍在播放中当我尝试重新连接到网络时我的音乐不会漏掉任何一个节拍我的手机会无缝地重新连接到 HomePod ♪ ♪ 我现在能再次从我的手机控制播放当使用隔空播放在与 HomePod 等兼容隔空播放的扬声器上播放音乐时人们期望的就是这种表现现在增强型音频缓冲提供了所有出色的功能让我们将其纳入你的 App 中让我们回顾一下如何为你的 App 添加隔空播放支持

为你的 App 正确配置音频会话以获取正确的混音和中断行为这非常重要如果你 App 的核心是播放媒体请将你的音频会话类别设置为播放这将确保你的 App 的媒体在 App 处于后台时会继续播放

通常情况下你可将模式设为默认值但建议像播客或有声读物这样的人声音频将模式设置为 spokenAudio 最后将音频会话的路由策略设置为 longFormAudio 长格式音频是除系统声音以外的任何音频内容例如音乐或播客今年新功能是隔空播放比以往更能无缝传输你的 iPhone 和 iPad 现在使用设备端智能技术来学习你的隔空播放偏好因为你通常在做饭时听音乐所以厨房附近的 HomePod 会自动显示出来这使得人们可以轻松地在他们希望的地方播放你的 App 的内容如果你提供长格式音频内容那么你会想要支持该功能在你的 App 中添加智能隔空播放建议支持非常简单除了我们已讨论过的 AVAudioSession 配置之外唯一的新步骤是转到你的 App 的 Info.plist 将 AVInitialRouteSharingPolicy 键值设为 LongFormAudio

在 Xcode 中此键值在下拉菜单中被称为 “隔空播放优化策略” 就是这样 iOS 将处理其余部分并使用设备上的学习功能在人们打开你的 App 时智能地为其使用附近的扬声器

接着将 AVRoutePickerView 添加到你的视图层次结构中以在你的 App 中包含隔空播放选择器该选择器为用户提供了一个潜在的隔空播放设备列表在你的 App 中可使用这些设备

最后使用 MPNowPlayingInfoCenter 通知系统当前播放中的项目并使用 MPRemoteCommandCenter 接收远程命令如播放、暂停或跳过以上内容已涵盖了你 App 的隔空播放设置现在为了支持增强型音频缓冲你需要采用这两组 API 之一 AVPlayer 和 AVQueuePlayer 或 AVSampleBufferAudioRenderer 和 AVSampleBufferRenderSynchronizer

这两组 API 都适用于非隔空播放包括本地播放或蓝牙播放然而一些开发者可能希望为隔空播放和非隔空播放使用不同的 API 在此情况下你的 App 可注册 routeChangeNotification 并根据当前路由进行相应的操作

AVPlayer 和 AVQueuePlayer 为你的 App 提供了支持增强型音频缓冲的最简单方法

对于大多数 App 开发者我们建议采用 AVQueuePlayer

AVQueuePlayer 将处理大部分播放需求如管理项目、控制播放和在媒体中搜索

大多数 Apple 自己的媒体 App 也使用 AVQueuePlayer 首先创建一个队列播放器确定一个指向你想要播放的本地或云内容的 URL

然后使用该 URL 创建一个 AVAsset 实例并使用该 asset 创建一个 AVPlayerItem 实例

最后将 AVPlayerItem 提供给播放器并开始播放就是这么简单你可能会想 “这只是将播放项 enqueue 到播放器中隔空播放部分在哪？” 没错通过使用 AVPlayer 和 AVQueuePlayer 当其被路由到隔空播放时你会自动获得增强型音频缓冲要了解更多 AVPlayer 的相关功能请参阅说明中的链接如果你有一个独特的 App 需要在媒体数据上执行预处理或你的 App 中有 AVPlayer 不支持的 DRM 模型那你可使用 AVSampleBufferAudioRenderer 和 AVSampleBufferRenderSynchronizer 你将使用这些 API 将多个排队的样本缓冲区同步到单个时间轴上这里我将介绍如何使用它来 enqueue 音频数据的基础知识首先你需要创建一个串行队列来执行所有播放操作创建音频渲染器和渲染同步器同步器用于建立媒体时间轴然后将音频渲染器添加到渲染同步器中这将告诉音频渲染器要跟随媒体时间轴要 enqueue 音频数据请安装一个回调这能让你知道你需要更多数据

在该回调中开始排队音频数据

当没有更多音频数据时告诉渲染器停止请求数据这只是接口的基础知识更多详细信息请参阅说明中的链接我们在其中深入介绍了如何使用此 API 以及构建自定义播放器的示例项目以上涵盖了你可使用的两组 API 你可使用它向兼容隔空播放的设备提供增强型音频缓冲这还不是全部汽车制造商现在能够在其 CarPlay 车载实现中支持增强缓冲这为何重要？越来越多的车辆支持无线连接 CarPlay 车载强大的播放功能和灵敏的控制是在路上获得最佳音频体验的关键好消息是使用我们之前讨论过的两组 API 之一可将增强型音频缓冲添加到你的 App 中这也将适用于 CarPlay 车载使用你的 App 的用户将在其旅程中获得最佳的音频流式传输体验总结一下你需要为隔空播放支持配置音频会话在 App 中添加隔空播放选择器将 Media Player 集成到你的 App 中并采用 AVQueuePlayer 或自定义渲染和同步 API 以实现增强型音频缓冲这只是个开始我们正在不断改进并努力为这项技术带来更多功能希望你喜欢本期讲座谢谢 ♪ ♪

4:00 - Set the audio type

let audioSession = AVAudioSession.sharedInstance()
try audioSession.setCategory(. playback ,xmode: . default , policy:.longFormAudio )

7:23 - AVQueuePlayer

let player = AVQueuePlayer()

let url = URL(string: "http://www.examplecontenturl.com")
let asset = AVAsset(url: url)
let item = AVPlayItem(asset: asset)

player.insert(item, after: nil)
player.play()

8:28 - Add the audio renderer to the render synchronizer

let serializationQueue = DispatchQueue(label: "sample.buffer.player.serialization.queue")
let audioRenderer = AVSampleBufferAudioRenderer()
let renderSynchronizer = AVSampleBufferRenderSynchronizer()

renderSynchronizer.addRenderer(audioRenderer)

8:50 - Enqueue audio data

serializationQueue.async { [weak self] in
    guard let self = self else { return }
    // Start processing audio data and stop when there's no more data.
    self.audioRenderer.requestMediaDataWhenReady(on: serializationQueue) { [weak self] in
        guard let self = self else { return }
        while self.audioRenderer.isReadyForMoreMediaData {
            let sampleBuffer = self.nextSampleBuffer() // Returns nil at end of data.
            if let sampleBuffer = sampleBuffer {
                self.audioRenderer.enqueue(sampleBuffer)
            } else {
                // Tell the renderer to stop requesting audio data.
                audioRenderer.stopRequestingMediaData()
            }
        }
    }

    // Start playback at the natural rate of the media.
    self.renderSynchronizer.rate = 1.0
}

正在查找特定内容？在上方输入一个主题，就能直接跳转到相应的精彩内容。