探索沉浸式声音设计

♪ 悦耳的器乐嘻哈 ♪ ♪ 欢迎观看讲座 “探索沉浸式声音设计” 我是 Danielle Price, Design 团队的 声音设计师 本视频的内容包含空间音频示例 因此 为了获得最佳体验 我建议你戴上头戴式耳机 虽然观看本视频的 不都是专业的声音设计人员 但作为人类 我们对空间音频 都有一定的了解 我会通过一个 你可能熟悉的例子来说明 假设我找不到我的 iPhone 我会通过 Apple Watch 检测并追踪它 我听到声音从右耳传来…… 声音越来越大 我离它越近了 找到了！ 我之所以能够定位声音 是因为我能感知方向和音量 正如你所见 我们不断使用空间音频 来探索世界 在这个例子中 我使用空间音频 找到了我的房间里的 iPhone 就像在查找提示音示例中看到的 在现实世界中 声音会在空间中反射 并打到墙壁和家具上 然后到达人的耳朵 系统能够模拟此行为 因为它能够理解你周围的空间 现在我会详细解释 头显设备中空间音频的工作原理 以及我们可以进行设计的不同方式 首先 我会解析 空间音频在系统内的工作原理 然后我会通过一些示例 介绍如何为 UI 和沉浸式 App 设计声音 我们再回到 再现现实世界声音的想法 设备可以根据空间进行调整 并从你的环境中添加回响效果 让声音听起来真的像在房间里一样 根据放置的位置不同 空间音频源会听起来更近或更远 我会以几种不同方式 播放查找提示音 让你听一下它的工作原理 首先 这是我导出的原始声音 声音听起来很清晰 好像在前面和中间位置 现在我们来试试在 不同的空间中播放相同的声音 比如在客厅里 请注意 声音是来自前方的 但也来自 沙发的右侧 系统会考虑房间的大小和物品 以准确播放音频 这只是一个简单的示例 但此概念有助于定义 我们在此平台上听到声音的方式 你可能了解了 什么是音乐和媒体的空间音频 现在你可以进一步体验 在 App 中播放声音 且这声音仿佛是 从你所放置的位置传来的 我把这些声音称为空间音频源 我们来看看 这是如何应用于交互声音的 使用手和眼睛与系统交互时 我们没有触碰到任何实体 通过在每次互动中添加细微的声音 可以帮助用户 建立熟悉和自信的感觉 这是一个虚拟键盘的例子 听一下每次按键的声音 看看是怎么从面前键盘上 按键的位置传来的

每次与按键交互时 会有熟悉的声音确认你的操作 关于重复的一个小提示： 你可能注意到 每次按键声音都有些不同 如果知道某个声音经常播放 对一些声音元素稍微做随机化处理 比如音调和振幅 会有所帮助

快速连续按按键时 感觉听起来更加自然灵动 应该利用这一点 让 App 更加自然真实 我们再来看另一个例子 介绍一下我们 如何设计系统中的 UI 声音 设计照片 App 时 我们希望通过声音强调特定的交互 例如从网格中选择照片、 从 2D 过渡到 3D 环境 或者浏览照片相册时 我们从哪里开始探索声音设计呢？ 可以录制打开窗户的声音 是不是太没创意了？ 我们来听听

如果采用这种方式 也许我们可以使用 切换幻灯片的声音 来表示浏览交互

尽管这些声音设计示例很有趣 但并不完全符合视觉美学体验 我们希望照片中的声音 与系统其他音频相匹配 并突出一种深度 我们认为 好的 UI 声音应该是细微的 提供足够的声音反馈就可以了 话虽如此 对于你自己的 App 当然可以添加一些特色 但要尽量与整体 UI 风格相协调 带着这个想法 我们再看一看 这次是用我们设计的新声音

好多了 这些声音 与系统的其他声音相协调 并与转换的时机相匹配 为 App 添加交互声音时 要记住 这些声音可能经常听到 因此 尽量让声音听起来细微一点 现在我们已经了解了 设备上 UI 声音的作用 我们来看看如何在沉浸式体验中 使用声音 我们看看其中一个环境 胡德山 这些环境是系统中 完全沉浸式的体验 每个地方都有浅色和深色版本 两个版本都有 相匹配的逼真的空间音景 这些音景旨在 还原宁静的现实世界 可以在 所使用的各种 App 的底层播放 很细微 不会分散你的注意力 我们来聊聊为这些体验设计、录制 和混合声音的不同方法 当我们开始思考每一处声音设计时 首先问自己的是 “声音要多么准确？” 我们去了各个地方录制声音 可实际的音景经常出乎我们的意料 大部分时候不如预期效果好 我们来看一下 我在胡德山拍摄的一些素材 我很喜欢这个镜头 在前期制作规划阶段 我会看着图片 闭上眼睛 想象远处 鸟鸣和轻风的宁静音景 那里非常美丽 那些声音也确实存在 但这并不是全部 我们看看从我拍摄这张照片的右侧 录下的素材 你所看到和听到的 其实是一个大型排水系统 噪声非常大 根本听不到其他自然声音 这个噪声与环境相违和 我们再来听一次 这不是我们想要的 作为设计师和开发者 我们应无所不用其极地 为我们的 App 创造出最佳的用户体验 在这种情况下 我们希望尽可能贴近现实 但如果有机会创造出比实际音景效果 更怡人的体验 我们就该放手去做 你可以大胆改造 现实音景 创造最佳音景 让你的 App 声音 与视觉相得益彰 现在我们来主要说说音频录制过程 对于环境背景音频 我们使用了不同的麦克风 来录制沉浸式音频 就像这张照片里的一样 这些录音旨在捕捉到 周围环境的声音 我们会全天候进行录制 确保捕捉到全部声音活动 我们通常会尽量寻找 噪声污染少的地方 因此 我们需要避开常规道路 这些自然录音会成为 空间音频源下层播放的基础层 我们会使用高灵敏度的定向麦克风 将焦点放在 我们寻找的特定声音上 如果与专业的声音设计师合作 他们可以为你录制声音 很多高质量的专业声音库 也相当不错 可以作为 App 声音的来源 录制好声音之后 如何创建逼真的音景呢？ 还记得在房间中的某一位置 播放查找提示音的示例吗？ 我们在环境中放置音频对象时 使用了同样的思路 我们可以 再次从现实生活中汲取经验 我们在外面时 许多不同类型的动物 会从不同位置发出声音 声音共同叠加在一起形成音景 我们的任务是通过 正确的距离和位置 重新创建这种音景 我们来运用学到的内容 为胡德山创建音景 构建音景时 我们使用了两种主要的声音 空间音频源是占据空间点的 声音元素 如鸟鸣、蟋蟀声和蛙鸣 这些声音通常放置在 环境的前景和中景中 你可以把它们 放置在 App 的任何位置 环境背景音频 是某一处的整体环境声音 它是围绕你播放的环绕声音文件 并且会连续循环播放 而不引起注意 我会用这些表情符号来表示 它们在环境中放置的位置 我们先把 蟋蟀声和蛙鸣放在左右两边 现在我们来调整一下 我感觉声音太大 距离太近 所以我们需要做两件事 首先 每个声音的音量降低几分贝 然后把声音的位置推远点 让声音听起来远一点 我们再听一遍 感觉开始更自然了 现在 我们在前景的岸边上 添加青蛙的声音 听起来不错 但我们不希望从同一个位置反复听到 同一只青蛙的声音 如果使用随机化 可以创造出更自然的音景 我们可以交替播放 不同类型以及不同位置的蛙鸣 来实现这一点 然后我们可以随机化 蛙鸣的播放时间 好的 现在我们 一起来听听所有的声音 我们还需要添加一个东西 还记得之前提到的环境背景吗？ 我们带着视觉效果一起听听 这些声音环绕播放 在周围空间轻柔地增添了环境声音 现在 让我们一起听听 所有声音混合在一起的效果

我们回顾一下胡德山的示例 随机化在其中经常出现 我们在虚拟键盘输入 和前景青蛙声源中提到过 在长时间重复播放声音时要注意 可以使用随机化来改变播放方式 丰富声音层次 还要考虑声音的放置位置 在系统中把声音放在远处 相当于在空间中把事物后移 声音听起来就更遥远 在调远声音的同时 有时需要调低资源的音量 达到适当的平衡 现在让我们来看看 在环境中使用的相同概念 并将其应用到 不完全沉浸式空间的示例中 作为引导体验的开场 我们希望用声音填充空间 同时还要让用户 注意到写下的“hello”动画 在这里 我们也利用了前景和背景 接下来是只播放前景声音时的效果 动画表明了声音的来源

需要注意的是 即使你的 App 发生在 现实空间中 你仍然可以使用沉浸式的音景 让声音来填满空间 就像在之前的环境中一样 我们把空间音频源 和环境背景声音结合在一起 我们再次观看 添加了环境声音的视频 你会听到背景中回响着环境声音 填满了整个空间

不论是快速切换场景 还是停留在当前体验场景中 分层的声音设计可以 增强趣味 让用户有更多的参与感 在你自己的 App 中 这种方式可以让 菜单或标题屏幕呈现更好的效果 我们来回顾一下 我们了解了如何通过使用空间音频 把声音附加到系统中的 UI 上 也了解了声音在提升 UI 响应度 和交互效果中发挥重要作用 还了解了如何设计生动迷人的 沉浸式空间体验 希望本期讲座可以激发你使用声音 来丰富 App 体验 并增加 App 的吸引力和趣味性 感谢你的观看 ♪