CarPlayシステムの最新情報

(音楽)

カーエクスペリエンスチームの トムです “Advances in CarPlay Systems”へようこそ

CarPlayでiPhoneを よりスマートに安全に使えます iOS 13で 無数のアップデートを行いました 一新したDashboardは― 音楽や切り替え Siriからの提案がシンプルです iOS 13で使えるようになる 新機能を紹介します 今日 紹介する全機能を使うには CarPlay Communicationの― プラグインR-15の新APIへの 対応が必要です

CarPlayの 新しいディスプレイ設定機能と― 音声機能を紹介します

まず 不定形ディスプレイへの 対応についてです 車がディスプレイのサイズと 解像度を指定すると― iPhoneはH.264コーデックで レンダリングします iOS 12までは― ディスプレイの端に合わせて 描画してました しかし うまくフィットしないものもあり― UIの一部が阻害されました タッチボタンに触れられず― UIの一部が見えなくなってしまいます

iOS 13では 不定形ディスプレイにも対応します まずビューエリアを指定します CarPlayがUIを描画する長方形の枠です ビューエリア内にはセーフエリアがあり ビューエリアのサブセットとして 構成されます

ディスプレイ中 操作性のあるコンテンツを含む部分です UIの構成要素は ボタンやリスト― 時間 電波の強さ ルート案内情報など 重要な情報です 操作性のあるコンテンツは セーフエリア内に描画します

近年のディスプレイの 形やサイズは多様で― 長方形ではないものや 何かに遮られるものもあります iOS 13ではセーフエリアを用いて 不定形に対応します まずビューエリアを指定します この場合 縦横どちらの辺も 最長の箇所に合わせ― ディスプレイ全体に レンダリングさせます するとディスプレイ内に セーフエリアが指定され― 漏れなくUIが表示されて操作できます

不定形ディスプレイへの対応でした

次は 第２ディスプレイへの対応です iOS 12までは センターコンソールのディスプレイに H.264のシングルストリーム再生で 表示していました 目的地までのナビゲーション設定や 音楽アプリケーションが― 簡単に操作できます しかし メインディスプレイでの CarPlay体験に制限されます

多くの車は運転席の インストルメント･クラスタに― 重要情報が表示されます iOS 13では H.264の 複数のストリームに対応し― インストルメント･クラスタに CarPlayを表示できます CarPlayの追加情報を表示する すばらしい方法です

複数のストリームを使い インストルメント･クラスタの各所に 情報を表示できます

iOS 13はマップが提供する 運転指示に対応予定で― マップと運転指示を 並行してストリーム再生します

それぞれにナイトモードがあり― コンテンツに応じて アピアランスを設定できます ストリームごとに 表示コンテンツを選択でき― インストルメント･クラスタには 車が選ぶコンテンツのみが描画されます iAP2によるルート案内も 引き続き利用可能です では インストルメント･クラスタに CarPlayを組み込み― 異なるプロトコルの活用方法を 見てみましょう ナビゲーション 音声 電話などの アプリケーションの情報を CarPlayで確認することができます iPhoneのマップや経路案内を 表示できます iAP2のルート案内機能を使い― 追加情報を メタデータとして得られます 他のiAP2機能と同様に― 車のUI上でメタデータを描画します “iAP2 Now Playing”で 再生中の曲やPodcastが― “iAP2 Communications”で通話中の 電話の情報がレンダリングされます “iAP2 Call Controls”は 電話に関する― ユーザのアクションをサポートします ミュートや切り替え 通話を終了することも可能です

インストルメント･クラスタの表示でも セーフエリアとビューエリアが 機能します この例でビューエリアは 仮想タコメーターの裏側になります この部分にCarPlayが表示されると タコメーターに隠れてしまいます そこで タコメーターの間に セーフエリアを指定し― 見える場所に重要な情報を配置します

インストルメント･クラスタに 複数のコンテンツを表示できます 例えばマップと運転指示のストリームを 追加できます

タコメーター内の表示にも ２つのエリアが応用されます メーターの円を 包括するビューエリアと― メーターの円に収まるセーフエリアです 重要な情報はユーザに見えるように 配置されます 複数画面対応のアップデートでした

次は表示に関する― 最後の新機能 ダイナミックスクリーン･リサイズです iOS 12まで CarPlayの起動中は 画面サイズは固定でした それが 複数のビューエリアを 指定することで― UIサイズを変更できます 横２つに分かれている画面の 設定や― 個別の領域に分けられた 大きな縦向き画面の設定に最適です CarPlayでは サイズ変更できるボタンを― 常に表示しています 車のUIのスペースを無駄にせず 専用の設定ボタンを使い― 全画面でCarPlayを表示できます

センターコンソールだけでなく インストルメント･クラスタも同様です 先ほどの インストルメント･クラスタで― ダイナミック･リサイズを使ってみます この車のタコメーターには― 表示方法が２通りあるとしましょう

タコメーターの位置に合わせて CarPlayの表示サイズを変えるには―

複数のビューエリアを指定していきます まず 第１のビューエリアと セーフエリアを指定しましょう

次に 第２のビューエリアと セーフエリアを指定します サイズ変換にかかる時間を 車のシステムが指定すると― CarPlayコンテンツの サイズ変換が行われます 実際に見てみましょう

まず幅が広めのビューエリア１に設定し 車のUIで設定を変えます

この３秒でCarPlayは車に エンコードする画像サイズを送信 タコメーターのUIの位置が同期されます ダイナミック･リサイズは― インストルメント･クラスタと センターコンソールに対応します 車のUIとCarPlayのボタンのどちらでも リサイズを実行できます ビューエリアの変更にかかる時間は 車が決め

CarPlayが変更の情報を更新 車のシステムが UIを同期できるようにします

ディスプレイ関連の機能は以上です ありがとうございました 次はCarPlayのSiriについてです トム　ありがとう どうも タニア･カンチェヴァです 車内での“Hey Siri”の対応について お話しします 車で“Hey Siri”に 対応できるとどうなるか 運転者はハンズフリーで Siriを起動できます ボタンを使わないので 視線は道路を向いたままです “Hey Siri”は 車のマイクで検出するので― iPhoneがポケットや トランクにあっても動きます いつでもSiriが使えます

音声操作も更新され― 一瞬でSiriを起動することができます ハンドルのSiriボタンを押しながら 反応を待つことなく 用件を伝えられます Siriはすぐに答えてくれます

私たちはSiriとMusicの関係 そして― よりスムーズな体験の実現に 着目しました Siriとやり取り中も Musicは再生を続けます

これはCarPlayの音声操作の概要です おなじみの要素もありますが 詳細を見ていきましょう “Hey Siri”に対応するには 車載マイクの常時稼働と― 継続的な音声処理が必要です エコーキャンセラー･モジュールが 常時動作し― 運転で生じるノイズや車のスピーカーで 再生中の音を除去します

マイクデータは― CarPlay Communicationの リングバッファに送られます 過去数秒の音を保持します iPhoneへの送信合図があるまで このバッファは保存されます では合図とは？ iPhoneで音声変換を行うモジュールが ２つあります 両モジュールは 常にマイクデータを解析します １つは“Siri”と言うと発動する― キーワード検出器です もう１つは 運転者が話し始めると発動する― 音声区間検出器です 検出器はどちらも車載が必須で― どちらを使うかは 状況に合わせてiPhoneが判断します

キーワード検出器が発動すると― Communicationプラグインで 車がiPhoneに通知します

音声履歴のデータの送信要求をして― iPhoneはAUX IN端子の 音声ストリームを開きます 受信音声は 音声トリガー検出器で再解析され― “Hey Siri”の発話を iPhoneが認識します 第２の通過検出器は オフラインの キーワード検出器を使います 運転していない時の “Hey Siri”検出方法に似てますが 第２の通過検出器で iPhoneが反応するのが違いです Siriが起動し データ処理して ユーザに返答します

ボタンによる Siriの起動を改善する― 仕組みを見てみましょう マイク ECNRユニット リングバッファが 車内で常に音声処理をします

ハンドルのSiriボタンを押すと iPhoneが起動し― ボタンを押した時からの 音声データを要求します ボタン操作なので Siriは即座に起動します バッファされた音声は 実時間より早く送信され― ユーザが話し終わった時点で Siriは準備万全です

いいですね 車内でSiriを起動する ３通りの方法を話しました キーワード検出 音声検出 ボタン操作です Siriは運転者を どのようにサポートするでしょうか

代表的なのは音楽再生です iPhoneの音楽を再生するとします 車は音声を受信 ミキシングして スピーカーで流します 以前は CarPlayで Siriが起動すると― 音楽が止まり 一瞬の間がありました 新しい構造では Siriコマンドと メディア再生が分かれているので― 背景で音楽は再生を続けます Siri起動時は Siri出力専用の音声ストリーム― AUX OUT端子が開きます 車は２つの音声ストリームを ミキシングし― 必要に応じて音量を低減 間を置かずに Siriコマンドを再生します

Siriコマンドの他に― ルート案内が起動中の 可能性があることを忘れずに その際 ミキサーは並行して ３つの音声ストリームを再生します

音声構造の詳細を ひととおり説明しました 車のシステムに必要なものを 簡単におさらいしましょう まずマイクは常時 音声処理をします 次にエコーキャンセラーと ノイズリダクションでマイク入力を向上

運転者が話すと反応する検出器

Siriのキーワードに反応する検出器

CarPlayで同時に３つの 音声ストリームを再生できる性能

以上が“Hey Siri”のアップデートです

ありがとうございました 詳しくは developer.apple.comまで CarPlayで楽しいドライブを