Appやゲームのサウンドスケープをデザインする際には、適した音を生み出すことが大きな違いを生みます。マルチチャンネルのオーディオに対応するように音を構築すれば、文字通り聴き手を振り向かせることさえできます。

EndelとOdioは、空間オーディオを活用した数多くのAppやゲームの中のほんの一例です。これらのAppでは、マルチチャンネルミックス、Core Audio、AVFoundationを使って質感や立体感を加え、サラウンドサウンドの臨場感あふれる体験を作り出して、聴き手のApp内の世界への没入感をさらに高めています。

空間インタラクションのためのデザイン

2つ以上のデバイス間で直感的な物理的インタラクションを生み出す原理について、iPhone、HomePod...

Watch now

Endel（上記画像）は、バイオメトリクスや環境を基に、状況に合わせてパーソナライズされたサウンドスケープを生み出し、集中力や睡眠の質の向上をサポートします。「Spatial Orbit」という心地よい別世界のようなイメージの名を冠する、空間オーディオのサウンドスケープの導入により、このAppのアートとAIの驚くべき組み合わせを新たな次元に高めています。

「広大で光り輝く空間の中にいるような感覚です」と、Endelの共同創設者で最高サウンド責任者のDmitry Evgrafov氏は語ります。「まるで音を点描で描いているかのように、小さな音の粒が合わさって構造を形作り、聴いているとその中に溶け込んでいくような感じを覚えます。この非常に美しい体験は、ステレオで再現できるものではありません。」

空間オーディオをエコシステムに導入する際、Endelチームの最初の作業は、刻々と変化する生成型サウンドスケープにテクノロジーが対応しているかどうかを判断することでした。その仕事は主に共同創設者で最高技術責任者のKyrylo Bulatsev氏が担当しました。「[空間オーディオの導入は]非静的要素に追加すべき次元がさらにひとつ増えることを意味していました」と同氏は言います。「どのサウンドをいつ再生するかを選択するだけでなく、サウンドがどこにあり、どのように聴き手の周りを動くかを考えなくてはなりませんでした。」

また、「サウンドスケープの体験を豊かにしながら、ユーザーの集中力を削がないための微妙なバランス」を探る必要があった、とEvgrafov氏は語ります。その理由は、ほとんどのApp（およびゲーム、映画、曲）が聴き手を引き込むように設計されているのに対し、Endelはあくまで目立たずBGMとして溶け込むことを目指しているためです。集中力を妨げることなく、体験を高める必要がありました。「同じテクノロジーを利用するほかの製品とはユースケースが異なります」とEvgrafov氏は語ります（共同創設者のOleg Stavisky氏は、このAppの美しいサウンドすべてについて同氏の功績を称えています）。

まるで音を点描で描いているかのようです。

Endel共同創設者兼最高サウンド責任者、Dmitry Evgrafov氏

10枚のアルバムを出しているピアニスト兼ミュージシャンのEvgrafov氏は、ステレオについて熟知しています。「しかし、空間内のオーディオの位置をランダム化すると、まったく別の生き物のようになります」と同氏は言います。

Spatial Orbitの最初の本格的なプロトタイプは、地球を舞台として、本物のジャングルのようなシーンを再現しました。「コンセプトは、エキゾチックな熱帯雨林に住む動物の鳴き声を聴きながら魅惑的なエデンの園を歩き回る、というものでした」と、同氏は言います。「水辺でハープを鳴らしたり、小川の音、現実世界には存在しない鳥の鳴き声などを入れたりしました。」

こうしたアイデアが次々と出てきました。例えば、歌いながらゆっくりと通り過ぎて行くグレゴリオ聖歌隊、洞窟の中から行うフィールドレコーディング、といったものです。コンセプトは素晴らしく、プロトタイプの出来も上々でしたが、チームは同じ問題に直面し続けていました。「プロトタイプにはEndelらしさがありませんでした」と、Evgrafov氏は言います。「その場所にいるかのように感じさせるものではありましたが、Appを使っていることをユーザーに意識させてしまうものでした。それは私たちが目指していたものではありませんでした。」

最終バージョンのSpatial Orbitは、Endelらしさを備え、Endelが追求するアートとテクノロジーの統合を実現しています。「[私たちのサウンドスケープの]雨は比喩的な役割を果たしています」と、Evgrafov氏は言います。「わずかに拡張された感覚が没入感を生み、自分の思いに耽ったり、本に没頭したり、さまざまな場面で集中力を高めてくれます。」

サウンドスケープの調整は、それ自体が冒険でした。「Endelのユーザーテストは、なかなか大変でしたが面白かったです」と、Stavitsky氏は笑いながら言います。これは、パーソナライズされた自動生成のサウンドスケープを複数人のグループに対して一度にテストする方法が確立されていないためです。

[雨による]わずかに拡張された感覚が没入感を生み、自分の思いに耽ったり、本に没頭したり、さまざまな場面で集中力を高めてくれます。

Dmitry Evgrafov氏

「ユーザーテストのプロセスとツールセットは私たちが独自に作成しました」とEvgrafov氏は語ります。多くの人がEndelのベルリンオフィスなど、至る所を歩き回って、このプロセスに参加しました。「私もよく、公共の場で猫のように何もない場所をじっと見つめていました。」

Spatial Orbitは、最終的に革新的なテクノロジーとアートの絶妙な融合を形にすることができました。「科学の進歩を捉え、かつEndelの要素をすべて満たしていることを確認できたとき、とてもホッとしました」とEvgrafov氏は語ります。「『ユーザーの邪魔をすることなく、Spatialを同時に実現できている』と確信できました。」

Download Endel from the App Store

Odioは、優れたアンビエントサウンドスケープの作成にも力を入れていますが、そこにSFの趣向が加わっています。「作曲者たちには、惑星の開発をイメージし、その惑星を音で満たすことを想像してもらいたいと思っています」と、このAppのソウル拠点の共同創設者であるJoon Kwak氏は言います。「私たちはこうした新しい惑星に人々を案内したいのです。」

Odioのサウンドスケープは、豪快に流れる滝の音から、にぎやかなデジタル背景音、深海の不気味な静けさまで、ヘッドトラッキングとマルチチャンネルオーディオを使って、豊かな音の世界を再現する魅力的なミックスを生み出します（このAppは目でも楽しめ、サウンドスケープのたびにテクノアートが移り変わります）。

一方で、こうしたオーディオ空間においてユーザーは受動的に聴いているだけではありません。各サウンドスケープを構成する個々の要素は、想像力をかき立て、遊び心のあるUIを使って操作できるので、各オーディオ要素（滝の音など）を好きな場所に再配置できます。

その未来的な雰囲気にふさわしく、Odio誕生の背景には、偶然の出会い、ハードウェアとソフトウェアのタイミングの良いリリース、そして思いがけない幸運が関わっています。Kwak氏は、このAppの初期バージョンをアイントホーフェン・デザイン専門学校での卒業制作として考えました。当初は「Virtual Sky」という名前だったこのプロトタイプは、Odioの原形も含んでいましたが、ほとんど実世界の音を基にしていました。また、ハードウェアや特殊な機器もいろいろと必要でしたが、空間オーディオ機能を搭載したAirPodsが登場すると、そのすべてがほとんど意味をなさないものになりました

「しばらく落ち込んでいました」と、Kwak氏は笑いながら言います。「『この作業に何か月も取り組んできたのに、無意味になってしまった』という気持ちでした。ですが、よくよく考えてみると、『ハードウェアを用意する必要がなくなっただけだ』と気づき、実際ありがたかったです。」

Kwak氏は、3DサウンドスケープAppに関心を寄せていたVolst社と提携しました。基本的な要素が整ったところで、OdioのUIデベロッパでありデザイナーでもあるRutger Schimmel氏が、Kwak氏のプロジェクトを実現させるという課題に挑戦しました。プロセスは予想よりもはるかに速く進みました。

作曲者たちには、惑星の開発をイメージし、その惑星を音で満たすことを想像してもらいたいと思っています。

Odio共同創設者、Joon Kwak氏

「AirPodsが[サラウンドサウンドに]対応していることは知っていましたが、懐疑的に思っていました」と、同氏は言います。「『ヘッドトラッキング機能はあるが、おそらくファーストパーティ向けのものだろう』と思っていました。そうは思いつつも、興奮冷めやらぬまま、すぐにXcodeプロジェクトを設定し、AirPodsからデバイスにデータを転送しました。」

数分以内にプロトタイプは完成し、ヘッドホンで実行されました。「私たちは、その簡単さに圧倒されました」と、Schimmel氏は語ります。「そして、1時間ほどのうちに、Appleの優れた3Dオーディオフレームワークを採用することに決めました。このフレームワークは私たちの取り組みにとって最適な基盤でした。」コーディングは1月から始まり、4月には、Swiftで開発したデモの準備が整いました。

Odioのサウンドスケープを構築するために、Kwak氏などの作曲者、OdioサウンドデザイナーのMax Frimout氏、外部のミュージシャンチームが、通常はLogic Proで、環境音、合成のベルやホイッスル、音楽をブレンドして共同制作しています。

サウンドスケープが完成し、コーヒーショップ、公園、地下鉄などで実地試験を十分に実施した後、アーティストはファイルをSchimmel氏に送ります。Schimmel氏の仕事は最先端のデザインから没入感のあるオーディオ、非常に高度なカスタマイズまで多岐にわたりますが、同氏のツールボックスは驚くほど整然としています。ツールボックスには、3Dオーディオ環境を作成するためのAVAudioEnvironmentNode（AVKit）、ヘッドフォンのモーションデータにアクセスするためのCMHeadphoneMotionManager（Core Motion）、エラートラッキングとQA用のSentryが利用されています。

「データ管理からサウンドスケープとのやり取り、インタラクティブなサウンドファイルのリアルタイムバッファリングまで、OdioのほかのあらゆることはSwiftでゼロから作成されています」と、Schimmel氏は語ります。

この事例は、空間オーディオのデザインのパワーとシンプルさを顕著に示しています。「正直に言えば、難しい作業の大半は、作曲者が担当している部分なんです」と、Schimmel氏は述べています。

Download Odio from the App Store

Physical Audio Spatialization Engine（PHASE）によるジオメトリを意識したオーディオの実現

ジオメトリを意識したオーディオによって、Appやゲームに複雑でインタラクティブな、没入感のあるオーディオシーンを構築する方法を紹介します。Appleの空間オーディオAPIであるPHASEを紹介します。Physical Audio Spatialization...

Watch now

空間オーディオによるAppへの没入

...

Watch now