チャレンジ: ビルトイン音声識別を使ったAppの構築
2021年6月6日
Sound Analysisに内蔵のSound Classifire(音声分類器)を使用すると、膨大な量のデータを使ってトレーニングを行った優れたパフォーマンスを持つモデルを使って、300を超える様々な種類の音声を判別できます。モデルは一度に1つの音を予測するだけではありません。それぞれの音の個別の信頼性スコアを記した複数のラベルを返すため、指定した時間に聞こえるすべての音がわかります。
Sound AnalysisのAPIでトレーニングを行ったすべての種類の詳細なリストを提供します。ここからどれが必要か決定し、他は無視できます。たとえば、スピーチの検出器を使用して、誰かが話し終わった事を識別できます。さらに、予測用のサンプリングウィンドウの長さと、音声毎の信頼性のしきい値を指定できるため、作成する機能の正確性を大幅に改善できます。
チャレンジを開始
このチャレンジでは、まず既存のアプリケーションや最新のアイデアに音声分類をどう組み込むかについて、考えてください。音声分類ツールはすべてのAppleプラットフォーム（Mac、iPhone、iPad、Apple Watch、Apple TV）で使用でき、様々なアイデアや状況を試すことができます。たとえばカメラのアプリケーションは、個人のビデオで「笑い」などの事象が起きた正確な瞬間を迅速に検出できます。また、ビデオの取り込み中に特定のサウンドを聞き分けて、カメラのフレーム内で特別な効果やオーバーレイを始動させることができます。ビデオの編集やプロダクティビティアプリケーションで音声分類を活用すれば、収録された音声に基づいてメディアアセットを簡単に整理することができます。また、識別した周囲の実際の音をトリガーとして、まるでゲームのキャラクターがそれを聞き取ったかの様に、特別なモードを開始するなどの、インタラクティブなゲーム体験を構築できます。
「内蔵の音声分類ツールを使用した、ライブオーディオ入力の分類」プロジェクトを用意しましたので、お役立てください。ここからは、マイクや他のオーディオソースを使用して、音声を聞いて分類するあなた独自のアプリケーションを構築してください。どんなアイデアが出るでしょうか? この内蔵機能を応用できるクリエイティブな作品を披露してください。
SoundAnalysisのビルトイン音声識別
Watch nowClassifying Live Audio Input with a Built-in Sound Classifier
内蔵の音声分類器を使用した、ライブオーディオ入力の分類>
音声分類を試す際にサポートやコミュニティのお手伝いをご希望ですか? Digital Loungeにご参加の方は、火曜日の午後4時～8時（太平洋夏時間）に#machine-learning-study-hallチャンネルで、Challenge Study Hallが開催されます。また、Developer Forumで「WWDC21-Challenges」のタグを使用するか、SNSでハッシュタグ#WWDC21Challengesを使用して、進捗を共有できます。
Digital Loungeに登録する> Machine Learning Digital Loungeにアクセスする（登録が必要です）> Developer ForumでWWDC21チャレンジを確認する> ソーシャルメディアで#WWDC21Challengesを確認する>
Visit the Apple Developer Forums