CarPlay 车载系统改进

（CarPlay车载系统进阶） 大家好 我是Tom 来自Apple的汽车体验团队 欢迎参加我们的CarPlay 车载系统改进演讲

你知道CarPlay车载是在车里 使用iPhone更智能安全的方式 iOS 13中有许多针对 CarPlay车载的更新 包括全新的CarPlay车载控制面板 可以轻松地浏览你的音乐、 导航以及Smart Siri建议

在本场演讲中 我们将向大家介绍车载系统整合功能 这是iOS 13中的新功能 今天我们所谈到的全部功能 都需要车载系统采用新API 在CarPlay车载Communication 插件R15中可用

今天我们将介绍CarPlay车载中 显示屏和音频的新功能 你以后可以在车载系统中使用

首先 让我们看看CarPlay车载如何支持 形状不规则的显示屏

车载系统决定了显示屏的 物理尺寸和分辨率 而iPhone将为那个尺寸 设置一个H.264视频流 将在显示屏中进行渲染 在iOS 13之前 会在视频屏幕上全屏显示 CarPlay车载UI 然而 有些汽车显示屏装有一些配饰 可能会掩盖CarPlay车载的 部分用户界面 限制使用一些触摸式控制 并阻止用户 查看UI的某些部分

在iOS 13中 CarPlay车载支持 形状不规则的显示屏 首先 你的系统定义了可视区域 这代表CarPlay车载 可以呈现用户界面图像的矩形

可视区域还包含安全区域 安全区域也是一个矩形 并且一定是可视区域的子集

安全区域代表那部分显示屏 将包含交互内容 这包括用户界面元素 比如按钮和列表 以及重要的状态信息 比如时间、信号强度 以及路径导航信息 iPhone将在安全区域范围内 构建交互内容

现代的汽车显示屏可以是 许多不同的形状和尺寸 显示屏自身也许不是矩形的 或者显示屏的一部分 可能会被其它元素占据 在iOS 13中 CarPlay车载可以使用安全区域 来更好地支持非矩形显示屏 首先 系统定义一个可视区域 在这种情况下 可视区域矩形 将由显示屏的最宽和最高点决定 这就允许CarPlay车载图像 渲染到整个显示屏上 然后安全区域矩形 将在CarPlay车载UI 确保用户可见 并可交互的显示屏部分进行声明

这就是我们在形状不规则的 显示屏上的更新

接下来让我们谈谈 CarPlay车载中对于第二屏幕的支持

在iOS 13之前 iPhone提供单一的 H.264视频屏幕 用于在显示屏的中央控制台中 显示CarPlay车载UI 这为用户提供了一种很好的方式 可以设置导航目的地 以及与音乐app等进行交互 但这把用户CarPlay车载体验 限制在了汽车的主显示屏上

许多汽车在驾驶位正前方 都有许多显示屏 用于显示重要信息 以仪表板的形式出现 在iOS 13中 我们支持多个H.264视频流 用于在汽车的仪表板中 显示CarPlay车载内容 这个方法很棒 可以直接在仪表板中 显示CarPlay车载app的 附加信息

并且可以在仪表板的不同区域 显示不同类型的信息 通过一个以上的视频流

iOS 13中CarPlay车载 支持机动指令卡 由Apple Maps提供 以及地图视图 可以通过指令卡同时进行渲染 在两个独立的视频流中

每个视频流都拥有独立的夜间模式 允许车载系统为不同内容类型 指定外观模式 同时车载系统选择在每个视频流中 显示哪种类型的内容 对于仪表板 CarPlay车载将只显示 汽车所选择的内容类型 但请注意对于平视显示器来说 将继续使用来自 iAP2 Route Guidance的信息 那么考虑到这个 让我们来看看 如何最好地利用不同的原型 把CarPlay车载 整合到汽车仪表板中 可以从CarPlay车载的app中 提供给用户简单的状态信息 比如导航、音频和来电 首先可以视频形式显示 来自iPhone的地图或导航信息 还可以使用 iAP2 Route Guidance功能 以元数据形式提供 关于导航路线的附加信息 这跟其它的iAP2功能一样 要求车载系统 在自己的本地UI中获取元数据 当前所播放的音乐或广播 可以使用 iAP2 Now Playing渲染 并使用iAP2 Communications功能 处理正在进行中的来电的相关信息 可以使用iAP2 Call Controls 控制这些来电 允许系统在来电时 提供指定的用户操作 比如静音 切换通话 以及挂掉电话

在仪表板中显示CarPlay车载内容 是车载系统另一个受益于 使用安全区域和可视区域的部分 在这个例子中 可视区域是指 虚拟转速表之间及其背后的矩形 从审美角度来说 在这个区域填充 CarPlay车载内容可能很合适 其中有些内容 可能会被虚拟转速表掩盖住 因此应该在两个转速表之间 规定一个安全区域 这样CarPlay车载将会 在用户可见的区域显示重要信息

可以设置多个视频流来显示 来自CarPlay车载的不同类型的内容 在仪表板中 比如第二个视频流可以是地图视图 第三个视频流可以是指令卡

在虚拟转速表中显示内容 也将充分利用可视区域和安全区域 包含整个圆形的矩形将作为可视区域 而完全包含在圆形内部的矩形 将作为安全区域 再说一次CarPlay车载 将在用户可视的区域内显示重要信息

那么这就是我们关于第二屏幕的更新

现在让我们看看最后一个影响 CarPlay车载显示屏的新功能 就是改变动态屏幕的尺寸

在iOS 13之前 CarPlay车载图像的尺寸 一直都是固定的 而CarPlay车载会话是激活的 现在CarPlay车载UI的尺寸 可以按照用户需求进行即时变更 通过为该显示屏声明多个可视区域 这对于诸如此类支持可配置 水平拆分屏幕的系统来说非常棒 还有较大的纵向屏幕 通常划分为不同的特定情境的区域 CarPlay车载 可以提供总是可用按钮 可以让用户在CarPlay车载 UI内部触发一个重新调整尺寸请求

这可以帮助在全屏配置中 显示CarPlay车载 而不需要在本地UI中保留 专用于控制退出配置的区域

不仅支持在显示屏的中央控制台中 重新调整尺寸 还支持在仪表板中重新调整尺寸

让我们以刚才讲到的仪表板为例 演示如何在CarPlay车载中 动态地重新调整尺寸

假如这块仪表板 可以允许用户把虚拟转速表 移动到两个优选位置中的一个位置

为此 CarPlay车载图像 需要能调整它自己的尺寸 根据虚拟转速表所在的位置

为此可以对这块显示屏 声明多个可视区域 让我们声明第一个可视区域 采用最宽的配置 并包含一个 我们之前讨论过的安全区域

对于较窄的配置 需要使用第二可视区域 并拥有它自己的较窄的安全区域 车载系统还可以指定 这些配置之间的过渡长度 从而在同一个时间框架中 转换CarPlay车载内容的尺寸 让我们看看如何转换

用户一开始是在较宽的配置中 使用了一些本地UI控制 可能是一个方向盘按钮 然后开始转换

在这个三秒的转换期内 CarPlay车载会告诉本地系统 H.264框架中编码图像的尺寸 允许车载系统 同步定位它自己的 转速表UI元素的位置 那么总的来说 中央控制台和仪表板显示屏 都支持动态地重新调整尺寸 重新调整UI的尺寸可以由用户触发 无论通过本地或CarPlay车 载UI中的按钮触发

车载系统 要声明可视区域之间需要多长的过渡

并且CarPlay车载提供更新 关于可视区域转换 以便车载系统 可以在自己的UI中同步动画

这就是关于显示屏的全部新功能 感谢大家的聆听 现在我要把舞台交给Tanya 她会分享CarPlay车载中关于Siri的更新 谢谢Tom 我是Tanya Kancheva 我将分享如何在车载系统中 启动Hey Siri支持 那么当我们谈到在车载系统中 支持Hey Siri时 我们指的是什么？

首先 当然了 驾驶员可以不通过双手操作 就完全启动Siri 完全不需要按动按钮 眼睛也无需离开正在行驶的道路 自从能使用汽车的麦克风 检测到Hey Siri以来 iPhone就可以不用放在眼前了 可以放在口袋里或甚至是行李箱里 Siri都仍然可用

我们还升级了音频处理 从而可以通过按下按钮 瞬间激活Siri 你只需要按住方向盘上的 Siri按钮 并说出你的需求即可 不需要等待声音触发器发声 Siri会立即返回给你答案

最后我们查看了Siri与Music 如何在车载系统中相互影响 并提供一个更加流畅 和更加熟悉的体验 当你与Siri互动时 会在后台继续播放音乐

这是在CarPlay车载中 音频处理的系统概览 其中一些内容你们应该已经很熟悉了 但让我们继续看看细节

要支持Hey Siri 汽车内置麦克风需要一直保持激活 并可进行连续的语音处理 回音取消模块要保持运行 并移除通过车载音响 播放的任意音频内容 并减少背景噪音

麦克风数据 发送给音频唤醒缓冲区的过程 在CarPlay车载 Communication插件内 可以录制数秒钟的历史音频 缓冲器存储在车载系统内 除非有触发器把它 发送给iPhone

那么这个触发器是什么？ 事实上有两个模块 可以使车载系统 与iPhone交换音频 两个模块都会不间断地 分析处理麦克风数据 其中一个可以当驾驶员 说出Siri时触发 这是关键字检测器 另一个可以当驾驶员开始谈话时触发 这是声音活动检测器 在车载系统中 这两个检测器都必须可用 因为iPhone会决定 在特定情境下要使用哪个检测器

现在假如触发了关键字检测器 那么车载系统通过通讯插件 通知iPhone

iPhone打开一个新的音频流 叫做Aux In 请求发送一些历史音频数据 所接收音频由iPhone上的一个 声音触发器检测器进行重新分析 当用户说“Hey Siri”时会进行识别 第二个传输检测器在iPhone上 使用了离线关键字检测 类似于用户没开车时 对Hey Siri的检测方式

只有当触发了iPhone上的 第二个传输检测器时 Siri才会被激活 并处理数据以及响应用户

现在让我们看看这个架构 如何帮助我们改善触发Siri 通过按一个按钮 正如我们已经看到的那样 麦克风、ECNR装置和音频环形缓冲区 会在车载系统内同时处理音频

现在用户按了方向盘上的 Siri按钮 那会触发iPhone请求 自用户按下按钮之时起的音频数据 因为按动了按钮 因此会立即激活Siri 并且因为缓冲音频比实施音频传输快 Siri可以在用户停止谈话后 立即进行响应

好的 现在我们已经讨论了从车载系统中 触发Siri的三种方式 通过已检测的关键字、 声音活动或按下按钮 让我们看看当Siri激活后 会发生什么以及如何帮助驾驶员

一般来说我们通常会在车里播放音乐 在这种情况下 假如音乐来自iPhone 车载系统将接收音频 混合它 并通过车载音响进行播放 以前当CarPlay车载启动Siri时 需要停止播放音乐 并且在播放Siri提示言之前 会有一段无声时间 在这个新架构中 媒体播放和Siri提示言分开了 因此可以一直在后台播放音乐

当Siri启动后 会输出一个Siri专用的 附加的音频流 将打开Aux Out 然后车载系统将混合两个音频流 并按照需要调低音乐的音量 并快速播放Siri的提示音 而不需要很长时间的中断

但请不要忘记除了Siri提示音 还可能会有激活的路径导航音 因此混音器需要能混合三种 来自iPhone的平行的音频流

好的 现在我们已经了解了 音频架构的详细信息 让我们快速总结一下 车载系统所需要配备的东西

首先是麦克风 它会一直处理车载系统中的音频

然后是回音消除器和降噪模块 以便清理麦克风输入

一个可以当驾驶员谈话时 触发的检测器

一个可以当听到Siri关键字时 触发的检测器

可以混合来自CarPlay车载的 三种音频流

那么这就是关于Hey Siri的更新

谢谢大家 要获取更多信息请查看 developer.apple.com 希望大家尽情享受 装配有CarPlay车载的车程