挑战：使用内建声音分类功能构建 app
2021 年 6 月 6 日
借助声音分类，您可以在所有 Apple 平台上为相机、视频、生产力和游戏 app 创建良好的体验；为了应对这项挑战，我们邀请您探索示例项目并构建自己的 app。
当您在声音分析中使用内建声音分类器时，您会访问超过 300 种不同的声音类别，这些声音类别经过大量数据的训练，可确保出色的模型性能。该模型不会一次只预测一种声音：它会返回多个标签，每个标签都有单独的置信度分数，确保您理解所有在给定时间听到的声音。
声音分析 API 提供所有经过训练的声音类别的完整列表，您可以选择关注所需的类别，然后忽略所有其他类别。例如，您可以使用语音检测器来识别某人何时结束说话。您甚至可以控制预测的取样窗口，并可应用声音特定的置信度阈值来大大提高您所创建的特征在现实世界中的准确性。
开始挑战
在这项挑战中，我们将邀请您展开头脑风暴，思考如何将声音分类功能整合到现有 app 或全新的 app 创意中。您可以在所有 Apple 平台 (Mac、iPhone、iPad、Apple Watch 或 Apple TV) 上使用声音分类器，以探索各种不同的创意和情景。例如，相机 app 可让用户快速精确地定位到个人视频中出现笑声等事件的时刻，或听到视频拍摄期间的特定声音，以触发相机帧中的特殊效果和叠加效果。视频编辑或生产力 app 可以利用声音分类功能来帮助用户根据媒体资产中的声音快速整理这些资产。您也可以开发一种交互式游戏体验，利用在环境中识别的声音作为解锁特殊模式的触发器，让人物角色模仿他们听到的声音。
我们提供了“使用内建声音分类器对实时音频输入进行分类”项目来帮助您开始使用该功能。在此，我们邀请您构想自己的 app，使用麦克风或其他音频来源收听和识别声音。您会创建什么 app 呢？展示您如何以有创意的方式应用此内建功能。
探索 SoundAnalysis 中内置的声音分类
Watch nowClassifying Live Audio Input with a Built-in Sound Classifier
您想在探索声音分类时寻求支持或社区的帮助？对于参加数字大厅的人员，我们将于星期四下午 4 点至 8 点 (太平洋夏令时) 在 #machine-learning-study-hall 频道举办挑战学堂。您也可以使用 "WWDC21-Challenges" 标记在开发者论坛上分享进度，或者使用井字号标记 #WWDC21Challenges 在社交媒体上进行分享。
Visit the Apple Developer Forums