AirPlayオーディオ体験の改善

アプリのAirPlayオーディオ体験を、より堅牢で応答性の高いものにアップグレードする方法を紹介します。AVQueuePlayerで強化されたオーディオバッファリングを採用する方法について解説し、アプリでカスタムプレーヤーを構築する場合の代替案を検討し、ベストプラクティスを共有します。

リソース

関連ビデオ

WWDC23

ダウンロード

♪ ♪

こんにちは AirPlay TeamのエンジニアのKellyです本セッションにようこそ今日は最新バージョンの機能のいくつかを紹介したいと思います今日はAirPlayの最新バージョンの機能をカバーし　アプリで素晴らしい AirPlay体験をしていただくためのヒントをご紹介しますこれが本日のアジェンダですまずAirPlayの概要から説明します次にAirPlayの拡張オーディオバッファリングが提供する機能を紹介し最後にアプリに拡張オーディオバッファリングを統合する方法について説明します AirPlayはビデオ　写真音楽などをAppleデバイスから近くのスピーカーやスクリーンに共有する最も簡単な方法です今日ではAirPlay対応デバイスが家庭内に数多くあるため AirPlayはかつてないほど普及しています AirPlayは次のいずれかの方法で使用できます AirPlay Audioを使えば1台または複数のHomePodと AirPlay対応スピーカーにストリーミングしてお気に入りの音楽やポッドキャストを完全同期させて共有できます AirPlayビデオを使えばお気に入りの映画や番組をAppleデバイスから Apple TVにまたはAirPlay対応スマートTVに高画質でストリーミングできますミラーリングを使えば　写真パーソナルビデオ　ゲーム Webページ　スプレッドシートなど Appleデバイスにあるものを Apple TVやAirPlay対応のスマートテレビで共有できますみなさんの友人や家族も Appleデバイスにあるものを共有できます今日のビデオはAirPlayのオーディオストリーミングの側面に焦点を当てます AirPlayは1台またはそれ以上のデバイスにシームレスなオーディオストリーミング体験を提供します HomePod　Mac　Apple TVなどの Appleデバイスから何億台ものスマートTVを含む世界のトップブランドのオーディオビデオ製品まで現在AirPlayオーディオをサポートするデバイスの完全なエコシステムがあります AirPlayはとても便利です AirPlayはとても便利で私個人もこれを毎日愛用しています

AirPlayが成長し続けるにつれデベロッパと顧客の期待も高まっています AirPlayを次のレベルに引き上げるために新しく改良された AirPlay拡張オーディオバッファリングプロトコルが採用されさらに優れたホームシアターおよびマルチチャンネル体験を提供します拡張オーディオバッファリングはホームオーディオ全体を念頭に置いて根本から構築されていて頑丈に作られています HomePodまたはiPhoneをリモコンとして使用する場合オーディオストリームはリアルタイムの再生速度よりも速くなり再生の中断を最小限に抑えます Apple TVからのDolby Atomosのようなマルチチャンネルオーディオフォーマットや今年新たにiOS用のロスレス再生でスマートな使用が可能です拡張オーディオバッファリングは広告をサポートする HLSインタースティシャルに最高のサポートを提供します HLSインタースティシャルについては同僚のAmitのビデオ「AirPlayにおけるインタースティシャルの詳細」をご確認くださいご覧の通り私たちは将来に向けて拡張オーディオバッファリングによって素晴らしい基盤を築きましたこれを一体化することでみなさんのアプリで素晴らしいAirPlay体験を生み出せますそこで拡張オーディオバッファリングがどんなメリットを持つかを見てみましょう携帯電話からHomePodにオーディオをストリーミングしています

ゴミ出しをしていてWi-Fiの圏外になったと仮定します ♪ ♪ HomePodは演奏を続けていることにお気づきになれましたでしょうかネットワークに再接続しようとしても音楽が途切れることはなく私の携帯電話はHomePodにシームレスに再接続します ♪ ♪ 再び携帯電話から再生コントロールができるようになりましたこれはAirPlayを使って HomePodのようなAirPlay対応スピーカーで音楽を再生する際に求められる性能です拡張オーディオバッファリングは素晴らしいことばかりなのでみなさんのアプリに取り入れてみましょうアプリにAirPlayサポートを追加する方法をおさらいします

オーディオセッションを適切に設定しアプリのミキシングと中断の動作を正しく行うことが重要ですメディアの再生がアプリの中心である場合オーディオセッションのカテゴリを再生に設定しますこれによりアプリがバックグラウンドにあるときでもアプリのメディアが再生され続けるようになります

一般的にはモードをデフォルトに設定することができますがポッドキャストやオーディオブックのような話し言葉のオーディオではモードを spokenAudioに設定することをお勧めします最後に音楽やポッドキャストなどのオーディオセッションのルーティングポリシーをロングフォームオーディオに設定します今年は新たに AirPlayをこれまで以上にシームレスにします iPhoneとiPadはデバイス上のインテリジェンスを使ってみなさんのAirPlayの嗜好を覚えます夕食を作るときに音楽を聴くことが多いのでキッチンの近くにあるHomePodが自動的に表示されアプリのコンテンツを得ることがとても簡単になるというわけです長編のオーディオコンテンツを提供するならばこれをサポートしたいと思われるかと思いますインテリジェント AirPlayサジェストのサポートをアプリに追加するのも簡単ですすでに説明した AVAudioSessionの設定に加え唯一の新しいステップはアプリの Info.plistに行くだけです AVInitialRouteSharingPolicyキーを LongFormAudioに設定します

Xcodeではこのキーはドロップダウンメニューで「AirPlay optimization policy」となっています以上です iOSが残りを処理しオンデバイス学習を使ってみなさんのアプリを開くときに使用する近くのスピーカーをスマートに提供します

次にAVRoutePickerViewをビュー階層に追加してアプリにAirPlayピッカーを追加しますピッカーはみなさんのアプリで使用できる可能性のある AirPlayデバイスのリストを提供します

最後にMPNowPlayingInfoCenterを使って現在の再生アイテムをシステムに知らせ MPRemoteCommandCenterを使って再生　一時停止　スキップなどのリモートコマンドを受け取りますこれでAirPlayのためのアプリのセットアップが完了しました拡張オーディオバッファリングをサポートするためにこの2つのAPIセットのどちらかを採用する必要があります AVPlayerとAVQueuePlayer または AVSampleBufferAudioRenderer と AVSampleBufferRenderSynchronizer のいずれかです

どちらのAPIもローカルや Bluetoothを含むAirPlay以外の再生に対応しますしかしデベロッパによってはAirPlay 再生用と非AirPlay再生用に異なるAPIを望むかもしれないですその場合みなさんのアプリは routeChangeNotificationに登録し現在のルートに従って行動することができます

AVPlayerとAVQueuePlayerはアプリのオーディオバッファリングをサポートする最も簡単な方法を提供します

大半のアプリデベロッパには AVQueuePlayerの採用を

お勧めします AVQueuePlayerが再生に必要なほとんどを処理するためです AVQueuePlayerはアイテムの管理再生のコントロールメディアのシークなど再生処理を行います

Apple独自のメディアアプリの多くも AVQueuePlayerを使用していますまずキュープレーヤーを作成します再生したいローカルまたはクラウドコンテンツを特定します

次にAVAssetインスタンスを作成しますそのURLでAVAssetインスタンスを作成しアセットでAVPlayerItemインスタンスを作成します

最後にAVPlayerItemをプレーヤーに渡し再生を開始しますこれだけですプレイアイテムをプレーヤーにエンキューしているだけだと思われるかもしれません AirPlayの部分はどこなんでしょう？そのとおりです AVPlayerとAVQueuePlayerを使用することで AirPlayにルーティングされる際に自動的にオーディオバッファリングが拡張されますより多くのAVPlayer機能については詳しくはリンクを参照してくださいメディアデータの前処理を行う必要がある独自のアプリがある場合は AVSampleBufferAudioRendererと AVSampleBufferRenderSynchronizerを使用できます APIを使用してキューイングされた複数のサンプルバッファを 1つのタイムラインに同期させますここではオーディオデータをエンキューする方法の基本を説明しますまずすべての再生操作を実行するためのシリアルキューを作成する必要がありますオーディオレンダラとレンダーシンクロナイザを作成しますシンクロナイザはメディアタイムラインを作成します次にオーディオレンダラをレンダーシンクロナイザに追加しますこれはオーディオレンダラにメディアのタイムラインに従うように指示しますオーディオデータをエンキューするにはコールバックを設置します

オーディオデータがなくなったらレンダラにデータの要求を

停止するように指示しますこれはインターフェイスの基本的な部分に過ぎません詳細はリンク先のドキュメントをご確認くださいカスタムプレーヤーを構築するサンプルプロジェクトとこのAPIの使用方法について詳しく説明しますこの2つのAPIはAirPlay対応デバイスにおいて拡張オーディオバッファリングを活用するために使用できますしかもこれだけではないんです自動車メーカーはCarPlayの実装で拡張バッファリングをサポートできるようになりましたなぜこの事が重要かというとワイヤレスCarPlayをサポートする車種が増えているからなんです外出先で最高のオーディオ体験を得るには堅牢な再生と反応の良いコントロールが不可欠です素晴らしいことというのが 2つのAPIのうちの1つを使ってアプリに拡張オーディオバッファリングを追加することで CarPlayにも対応させることができますアプリを利用する人々は最高のオーディオストリーミング体験を得ることができますまとめるとAirPlayをサポートするのにオーディオセッションを設定しアプリにAirPlayピッカーを追加しアプリにMedia Playerを統合する必要がありますこれはほんの始まりにすぎません我々は継続的に改善しこの技術にさらに多くの機能を持たせるべく改良を続けていますセッションを楽しんでいただけたなら幸いですありがとうございます ♪ ♪

4:00 - Set the audio type

let audioSession = AVAudioSession.sharedInstance()
try audioSession.setCategory(. playback ,xmode: . default , policy:.longFormAudio )

7:23 - AVQueuePlayer

let player = AVQueuePlayer()

let url = URL(string: "http://www.examplecontenturl.com")
let asset = AVAsset(url: url)
let item = AVPlayItem(asset: asset)

player.insert(item, after: nil)
player.play()

8:28 - Add the audio renderer to the render synchronizer

let serializationQueue = DispatchQueue(label: "sample.buffer.player.serialization.queue")
let audioRenderer = AVSampleBufferAudioRenderer()
let renderSynchronizer = AVSampleBufferRenderSynchronizer()

renderSynchronizer.addRenderer(audioRenderer)

8:50 - Enqueue audio data

serializationQueue.async { [weak self] in
    guard let self = self else { return }
    // Start processing audio data and stop when there's no more data.
    self.audioRenderer.requestMediaDataWhenReady(on: serializationQueue) { [weak self] in
        guard let self = self else { return }
        while self.audioRenderer.isReadyForMoreMediaData {
            let sampleBuffer = self.nextSampleBuffer() // Returns nil at end of data.
            if let sampleBuffer = sampleBuffer {
                self.audioRenderer.enqueue(sampleBuffer)
            } else {
                // Tell the renderer to stop requesting audio data.
                audioRenderer.stopRequestingMediaData()
            }
        }
    }

    // Start playback at the natural rate of the media.
    self.renderSynchronizer.rate = 1.0
}

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

AirPlayオーディオ体験の改善

関連する章

リソース

関連ビデオ

WWDC23