Push to Talkで音声通信を強化する

Push to Talkで音声通信を強化する

音声が明瞭になり、Appにてトランシーバー通信ができるようになりました（どうぞ！）。Push to Talk Appに優れたシステムUIを追加して、ボタンのタップで高速通信を実現する方法をご覧ください。PushToTalkフレームワークについて解説し、Appを設定してバックグラウンドからでも音声を送受信できるようにする方法を紹介します。このセッションを最大限に活用するには、Appのバックエンドでの音声通信の処理に関する知識を習得しておくとよいでしょう。また、APNの基礎知識も習得しておくことをお勧めします。

リソース
- Push to Talk
- - HDビデオ
  - SDビデオ
関連ビデオ

Tech Talks
- エンタープライズデベロッパ向けの最新情報
WWDC22
ダウンロード

♪ メロウなインスト曲ヒップホップ ♪ ♪ こんにちは Kevinです PushToTalk（PTT）フレームワーク担当のエンジニアです PTTを使うと iOSのAppでトランシーバーのようなシステム体験を提供できます後で同僚のTrevorにも参加してもらってあなたのAppで音声通信を向上させる方法を説明してもらいます PTTフレームワークを最初に紹介しそれをAppに組み込む方法について説明します続いて PTT用に Appを設定する方法を紹介しその後はTrevorがフレームワークを使用して音声を送受信する方法について説明します最後のまとめではTrevorが PTTユーザー体験を向上させながらバッテリーを長持ちさせるベストプラクティスをご紹介しますでは新しいPTT フレームワークの主な機能の紹介から始めます PTTフレームワークを使うとトランシーバーのような機能を提供する新しい音声通信Appを iOS上に構築できます PTTは医療や救急など迅速なコミュニケーションが不可欠な分野で多くの用途があります優れたPTT体験を提供するにはユーザーが音声通信機能に素早くアクセスできて誰に応答しているのかも同時に確認できる方法が必要です同時に PTT Appには Appを使用しながらもバッテリーが１日持つような優れた電力効率が必要です PTTフレームワークには直接Appを起動しなくてもユーザーがシステムのどこからでもアクセスできるシステムUIを利用する APIがありますこのシステムUIではユーザーが音声通信を作動させると Appがバックグラウンドで起動し音声を録音してサーバーにストリームします Appがサーバーからの音声を再生すると誰が話しているかが表示されて透明性が確保されます PTTフレームワークでは新しい音声が再生可能になるとAppに通知するプッシュタイプ通知が導入されています Appはこの通知を受信するとバックグラウンドで起動して音声を配信･再生します既存のエンドツーエンド通信ソリューションやバックエンドのインフラとも互換性のある設計となっています PTTワークフローを実装した経験がある方なら PTTフレームワークを既存のコードに統合するのは簡単なはずですこのフレームワークを使うとあなたのAppで独自のオーディオエンコーディングとストリーミングプロセスを実装しユーザー間で音声を送受信できますこれにより音声の通信方法を変更する柔軟性と他のプラットフォームとの互換性も確保されます最後に多くのPTT Appは音声の録音と通信を発動させる際にワイヤレスBluetooth アクセサリを使用します CoreBluetooth フレームワークを使うことで引き続きこれらのアクセサリと連動し録音を開始することができます初めてPTT Appを作成する場合コードの作成を始める時にはこの注意事項を覚えておいてください新しいPTT フレームワークのコードの説明を始める前に AppでのPTT体験がどんなものかデモをお見せしましょう Trevorと私は PTTの機能を紹介するデモを作りましたまずは「」ボタンをタップして PTTセッションに接続しますこれをチャネルと呼びますチャネルに参加するとチャネルの他のメンバーと音声を送受信できます Trevorと数名の同僚が一日中連絡が取れるように同じチャネルに参加しましたマイクのボタンを使って Appから直接音声を送信できますが PTTフレームワークを使えばシステムのどこからでも送信機能にアクセスできます PTTチャネルがアクティブな時は青い〇印がステータスバーに表示されますこの〇印をタップするとシステムUIが表示されますシステムUIには参加した PTTチャネル名とそのAppが提供する画像が表示されるのでユーザーはチャネルをすぐに特定できますチャネルに音声を送信するには「Talk」ボタンを長押ししてシステムのチャイム音が通話を開始できると知らせてくれるのを待ちます
やあ Trevor WWDCスライドのプレゼン準備はできた？どうぞ Trevor：Kevinのメッセージを受信すると彼の名前と画像入りの通知が表示されるので誰からのメッセージかはっきりとわかりますシステムUIを起動するとすぐにKevinのメッセージに応答することもあるいは作業を止めずに退出することもできます Kevinが待っているので応答しましょうやあ Kevin すぐに始めるよどうぞ Kevin：PTT システムUIにはロック画面からもアクセスできるのでロックを解除せずにメッセージを送受信できます
ＯＫじゃまたな！どうぞ PTTの機能の説明は以上です次はフレームワークのAppへの統合方法を確認します PTTフレームワークをサポートするには Xcodeプロジェクトを数か所変更する必要がありますまず新しいバックグラウンドモードを追加しますこれによりPTT イベントに応答する時に Appをバックグラウンドで実行できます次にPTT機能をあなたのAppに追加してフレームワーク機能を有効にします APNSがバックグラウンドで Appを立ち上げ受信した音声を再生するにはプッシュ通知機能が必要です最後にAppはユーザーから録音許可をリクエストして Info.plistファイルにマイク目的の文字列を含める必要がありますではコードの統合を始めましょう PTTワークフローの最初のステップはチャネルに参加する事ですチャネルはPTT セッションを表現しシステムに記述します Appとチャネルの対話に使うのはチャネル･マネージャこれはAppがチャネルに参加したり音声の送受信を行う際の主なインターフェースですチャネルに参加すると PTTシステムUIが使用可能になりAppはチャネルの使用期間全体で使用できるAPNSデバイストークンを受け取ります音声の送受信を開始する前にチャネルに参加しておく必要があります最初のステップではクラスイニシャライザを使用してチャネル･マネージャを作成しますこのイニシャライザではチャネル･マネージャデリゲートとチャネル復元デリゲートの指定が必要ですイニシャライザを複数回呼び出すと同じ共有インスタンスが返されますがチャネル･マネージャはインスタンス変数に保存することをお勧めします Appの起動中に早急に ApplicationDelegateの didFinishLaunchingWithOptions メソッドでチャネル･マネージャを初期化することが大切ですこうするとチャネル･マネージャーがすぐに初期化されるので既存のチャネルを復元しバックグラウンドで起動したAppにプッシュ通知を配信することができますこれでチャネルに参加する準備ができましたあなたのAppから誰かがチャネルに参加したらチャネルを識別する UUIDとチャネルについて記述した記述子を提供する必要がありますこのチャネルの存続期間中マネージャーとの対話で同じUUIDを使います記述子には名前と画像が含まれていますチャネルを表す一意の画像を指定するとユーザーがシステムと対話する際にチャネルの見分けがつきやすくなります Appはチャネル参加時にチャネル･マネージャで requestJoinメソッドを呼び出しますチャネルに参加できるのは Appがフォアグラウンドで実行されている時だけなのでご注意下さいチャネルに参加するとチャネル･マネージャデリゲートのdidJoinChannel メソッドが呼び出されますこのデリゲート･メソッドは Appがチャネルに参加したことを示すものですさらにデリゲートの receivedEphemeralPushToken メソッドもAPNSプッシュトークンと一緒に呼び出されこのデバイスに PTT通知を送信するのに使用されますこのトークンはPTT チャネルの存続期間中のみ有効です APNSプッシュトークンは可変長なのでその長さを Appにハードコード化しないようにして下さい他のチャネルがすでにアクティブな状態でチャネルに参加しようとしたりするとチャネル参加リクエストが失敗することもありますそのような場合はエラーハンドラを呼び出されエラーに失敗の理由が記載されますユーザーがチャネルを退出するとデリゲートのdidLeaveChannel メソッドが呼び出されますユーザーのチャネル退出が起きるのは退出をリクエストするようにプログラミングした時かユーザーがシステムUIで「Leave Channel」ボタンをタップした時ですチャネル･マネージャ･デリゲートには LeaveChannelエラー処理メソッドが関連付けられチャネル退出リクエストが失敗すると呼び出されます PTTではApp終了後やデバイス再起動後 Appが再起動するたびに以前のチャネルを復元することができますシステムでこれを行うにはシステムの更新のためにチャネル記述子の提供が必要ですこちらは復元デリゲートでキャッシュ済みのチャネル記述子を取得するヘルパーメソッドですシステムの応答性を保つためにも早急にこのメソッドから戻りチャネル記述子を取得するためにネットワークリクエストなど長時間実行されるタスクやブロックされるタスクを行わないで下さい PTTセッションのライフサイクルにおいてチャネルに関する情報が変更されるたびに記述子を更新してくださいまたネットワーク接続やサーバー可用性などの変更はサービスステータスオブジェクトを使用してシステムに知らせますここではチャネルの記述子を更新していますこのメソッドはチャネル名や画像の更新が必要な場合に呼び出すことができますこの例ではシステムに対して Appのサーバーへの接続が再接続中の状態であることを知らせますこうするとシステムUIがそのように更新されサービス状態が接続中か切断の場合にユーザーは音声を送信できなくなります接続が再確立されたらサービス状態を「Ready」に更新して下さい次はPTTで音声を送受信する方法を確認しましょう Trevor APIの残りの説明をお願いできる？どうぞ
Trevor：ああ任せて下さいどうぞ
PTTフレームワークの設定方法を見てきましたが次は音声の送受信方法を見ていきましょう PTTフレームワークの中核となる機能はユーザーが素早く音声を送信できるようにするものです音声通信はApp内からまたはシステムの PTTのUIから開始する事ができます CoreBluetoothから BluetoothアクセサリをサポートできるAppなら周辺機器の特性変化に応じてバックグラウンドで通信を開始することも可能です PTTフレームワークは送信時にデバイスのマイクのロックを解除しバックグラウンドで録音ができるように Appのオーディオセッションを起動しますこのプロセスを詳しく見ていきましょう App内から通信を開始するには requestBeginTransmitting 関数を呼び出します Appがフォアグラウンドで実行される時や Bluetooth周辺機器の特性変化に反応した時にこの関数を呼び出すことができますシステムが通信を開始できない場合はデリゲートの failedToBeginTransmitting InChannelメソッドが失敗の理由と共に呼び出されます例えば携帯電話で通話が続いている場合は PTT通信を開始できません通信を停止するにはマネージャの stopTransmittingメソッドを呼び出しますユーザーが通信状態でなかった場合など通信を停止しようとした時の失敗を処理するためにチャネル･マネージャデリゲートには関連した failedToStopTransmitting InChannelメソッドがあります App内から通信が始まった場合またはユーザーがシステムUIから開始した場合のどちらであってもチャネル･マネージャデリゲートは「Did begin transmitting」というコールバックを受け取ります通信元がメソッドに渡されその通信が開始されたのがシステムUIかプログラムAPIかハードウェアボタンイベントかが示されます通信が開始されると Appのオーディオセッションが起動しますこれは録音を開始できる合図ですオーディオセッションは自分で開始・停止しないでくださいチャネル･マネージャデリゲートは通信が終了すると通信終了イベントとオーディオセッション無効化イベントを受け取ります通信がアクティブになっている間に電話やFaceTime通話など他のソースによってオーディオセッションが中断されることがありその場合はApp内で処理する必要があります PTTフレームワークでは Appを使用してバックグラウンドで他のユーザーからの音声を受信･再生することができますこれにはPTT Appに固有のAppleプッシュ通知タイプを使います PTTサーバーは新しい音声を受信するとチャネル参加時にユーザーが受け取ったデバイスプッシュトークンを使用して PTT通知を送信します Appがプッシュ通知を受信するとアクティブなスピーカーがフレームワークに報告されますするとAppのオーディオセッションが起動し再生が開始されます新しいPTT通知は iOSの他の通知タイプと似ており PTT Appに配信できるようにするために特定の属性を設定する必要がありますまずリクエストヘッダーで APNSプッシュタイプを "pushtotalk"に設定します次にAPNSトピックヘッダーに Appのバンドル識別子を設定し ".voip-ptt"サフィックスを末尾に追加しますプッシュペイロードにはアクティブなスピーカー名やセッションが終了したので AppがPTTチャネルを出るべきであることを示す表示など Appに関連したカスタムキーを含めることができます "aps"プロパティの本文は空白でも構いませんさらに他の通信関連のプッシュタイプと同様 PTTペイロードは APNS優先順位を10に設定して即時配信をリクエストし APNS有効期限を0に設定して関連性のなくなった古いプッシュが後から配信されないようにしますサーバーがPTT通知を送信するとバックグラウンドで Appが起動し受信したプッシュデリゲートメソッドが呼び出されますプッシュペイロードを受信する場合プッシュ結果タイプを構築してプッシュ通知の結果として取るべきアクションを指定する必要がありますリモートユーザーが話していることを示すにはアクティブな参加者の名前や画像（任意）など参加者の情報を含むプッシュ結果を返しますこれによりシステムはアクティブな参加者をチャネルに設定しチャネルが受信モードであることを示しますその後システムはオーディオセッションを起動し didActivateaudioSession デリゲートメソッドを呼び出します再生を開始する前にこのメソッドが呼び出されるのを待ちますユーザーがチャネルに参加すべきではないとサーバーが判断するとプッシュペイロードにこの事が示される可能性がありその場合は leaveChannelプッシュ結果を返すことができます重要な点はこのメソッドからできるだけ早く PTPushResultを返しスレッドをブロックしないことですアクティブなリモート参加者を設定しようとしても参加者の画像がローカルに保存されていない場合は activeRemoteParticipantを返しスピーカーの名前だけを表示しますその後別のスレッドに画像をダウンロードし画像を取得したらチャネル･マネージャで setActiveRemoteParticipantを呼び出して activeRemoteParticipantを更新しますリモート参加者が話し終えたら activeRemoteParticipantを nilに設定しますこれによりチャネルでの音声受信が終わったことまたオーディオセッションを無効化すべきであることをシステムに知らせることができますこれでシステムのPTT UIが更新され再度通信が行えるようになります PTTをAppに組み込む方法の基礎を一通りお話ししましたが次はユーザー体験を最適化しバッテリー寿命を持たせるためのベストプラクティスをご紹介します
PTTフレームワークのシステムUIではユーザーはシステムのどこからでも通信の開始やチャネルの退出ができます Appがフォアグラウンドにある時には独自のカスタムPTT UIを実装できる柔軟性も備えています PTTフレームワークは共有システムリソースを使用するためシステム上では一度に1つの PTT Appしかアクティブにできず携帯電話 FaceTime VoIP通話を使用すると PTT通信よりも優先されます AppはPTTの失敗を正常に処理し相応に応答する必要があります先ほどもお話ししたとおり PTTフレームワークはオーディオセッションの有効化と無効化を自動的に行いますただし App起動時に再生･録音するオーディオセッションのカテゴリはやはり設定すべきですシステムには通信中にマイクが作動中か停止中かをユーザーに知らせるための効果音が内蔵されていますこれらのイベントには独自の効果音を割り当てないで下さいまたセッション中断やルート変更障害などの AVAudioSession通知を Appでモニターし対応することも重要ですシステム上の他のオーディオ Appと同様 PTT Appもこれらのオーディオセッションイベントの影響を受けます Appを最適化してバッテリー寿命を持たせることも重要です PTTフレームワークは音声の送受信など必要に応じてバックグラウンドのランタイムを提供していますユーザーが使用していない時バッテリーを持たせるために Appは停止されます自分のオーディオセッションの有効･無効を自分で切り替えないで下さいオーディオセッションの有効化は適宜システムが行いますこれによりシステムでのオーディオセッションの適切な優先順位が保たれ使用していない時には停止することができます PTTサーバーは新しいプッシュ通知タイプを使用して新しい音声の再生や PTTセッションの終了をAppに知らせます Appでのバッテリー寿命の改善に関する詳細は「電力の制限：バッテリー消費の改善」セッションをご覧下さい PTT Appがバックグラウンドにあり Appで音声の送受信が行われていない場合 Appはシステムによって停止されます Appが停止するとネットワーク接続は全て切断されますセキュアなTLS接続を確立し初期接続速度を向上させるのに必要な手順を減らすには Network.frameworkと QUICの導入を検討して下さい Network.frameworkは QUICのビルトインサポート付きです QUICの使い方については「ネットワーク遅延を減らしてAppの応答性を向上させる」セッションで詳細をご確認下さい PTTフレームワークを使用すると堅牢で電力効率に優れたトランシーバースタイルの通信スタイルを App内に構築できますすでにiOSのAppでトランシーバースタイルの体験を実装済みの場合は新しいAPIを使用するように既存のAppを更新して下さい新たにトランシーバーAppを実装する場合は PTTフレームワークをお使い下さい最後に新しいフレームワークのテストを開始して Appに組み込んだらフィードバックをお寄せ下さいありがとうございました素晴らしいWWDCを！どうぞ以上です！ ♪

func setupChannelManager() async throws {
    channelManager = try await PTChannelManager.channelManager(delegate: self,
                                                               restorationDelegate: self)
}

7:33 - Joining a Channel

func joinChannel(channelUUID: UUID) {
    let channelImage = UIImage(named: "ChannelIcon")
    channelDescriptor = PTChannelDescriptor(name: "Awesome Crew", image: channelImage)
  
    // Ensure that your channel descriptor and UUID are persisted to disk for later use.
    channelManager.requestJoinChannel(channelUUID: channelUUID, 
                                      descriptor: channelDescriptor)
}

8:11 - PTChannelManagerDelegate didJoinChannel

func channelManager(_ channelManager: PTChannelManager, 
                    didJoinChannel channelUUID: UUID,
                    reason: PTChannelJoinReason) {
    // Process joining the channel
    print("Joined channel with UUID: \(channelUUID)")
}

func channelManager(_ channelManager: PTChannelManager,
                    receivedEphemeralPushToken pushToken: Data) {
    // Send the variable length push token to the server
    print("Received push token")
}

8:45 - PTChannelManagerDelegate failedToJoinChannel

func channelManager(_ channelManager: PTChannelManager, 
                    failedToJoinChannel channelUUID: UUID, 
                    error: Error) {
    let error = error as NSError

    switch error.code {
    case PTChannelError.channelLimitReached.rawValue:
        print("The user has already joined a channel")
    default:
        break
    }
}

9:00 - PTChannelManagerDelegate didLeaveChannel

func channelManager(_ channelManager: PTChannelManager,
                    didLeaveChannel channelUUID: UUID,
                    reason: PTChannelLeaveReason) {
    // Process leaving the channel
    print("Left channel with UUID: \(channelUUID)")
}

9:22 - PTChannelRestorationDelegate

func channelDescriptor(restoredChannelUUID channelUUID: UUID) -> PTChannelDescriptor {
    return getCachedChannelDescriptor(channelUUID)
}

10:12 - Provide channel descriptor updates

func updateChannel(_ channelDescriptor: PTChannelDescriptor) async throws {
    try await channelManager.setChannelDescriptor(channelDescriptor, 
                                                  channelUUID: channelUUID)
}

10:20 - Provide service status updates

func reportServiceIsReconnecting() async throws {
    try await channelManager.setServiceStatus(.connecting, channelUUID: channelUUID)
}

func reportServiceIsConnected() async throws {
    try await channelManager.setServiceStatus(.ready, channelUUID: channelUUID)
}

11:48 - Start transmission from within your app

func startTransmitting() {
    channelManager.requestBeginTransmitting(channelUUID: channelUUID)
}

// PTChannelManagerDelegate

func channelManager(_ channelManager: PTChannelManager, 
                    failedToBeginTransmittingInChannel channelUUID: UUID,
                    error: Error) {
    let error = error as NSError

    switch error.code {
    case PTChannelError.callIsActive.rawValue:
        print("The system has another ongoing call that is preventing transmission.")
    default:
        break
    }
}

12:22 - Stop transmission from within your app

func stopTransmitting() {
    channelManager.stopTransmitting(channelUUID: channelUUID)
}

func channelManager(_ channelManager: PTChannelManager, 
                    failedToStopTransmittingInChannel channelUUID: UUID, 
                    error: Error) {
    let error = error as NSError

    switch error.code {
    case PTChannelError.transmissionNotFound.rawValue:
        print("The user was not in a transmitting state")
    default:
        break
    }
}

12:41 - Responding to begin transmission delegate events

func channelManager(_ channelManager: PTChannelManager,
                    channelUUID: UUID, 
                    didBeginTransmittingFrom source: PTChannelTransmitRequestSource) {
    print("Did begin transmission from: \(source)")
}

func channelManager(_ channelManager: PTChannelManager,
                    didActivate audioSession: AVAudioSession) {
    print("Did activate audio session")
    // Configure your audio session and begin recording
}

13:19 - Responding to end transmission delegate events

func channelManager(_ channelManager: PTChannelManager,
                    channelUUID: UUID, 
                    didEndTransmittingFrom source: PTChannelTransmitRequestSource) {
    print("Did end transmission from: \(source)")
}

func channelManager(_ channelManager: PTChannelManager,
                    didDeactivate audioSession: AVAudioSession) {
    print("Did deactivate audio session")
    // Stop recording and clean up resources
}

15:29 - Receiving Push to Talk Pushes

func incomingPushResult(channelManager: PTChannelManager, 
                        channelUUID: UUID, 
                        pushPayload: [String : Any]) -> PTPushResult {

    guard let activeSpeaker = pushPayload["activeSpeaker"] as? String else {
        // If no active speaker is set, the only other valid operation 
        // is to leave the channel
        return .leaveChannel
    }

    let activeSpeakerImage = getActiveSpeakerImage(activeSpeaker)    
    let participant = PTParticipant(name: activeSpeaker, image: activeSpeakerImage)
    return .activeRemoteParticipant(participant)
}

17:03 - Stop receiving audio

func stopReceivingAudio() {
    channelManager.setActiveRemoteParticipant(nil, channelUUID: channelUUID)
}

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

リソース

関連ビデオ

Tech Talks

WWDC22