앱과 게임에 적합한 사운드스케이프를 디자인하는 과정에서 적절한 음향 효과는 결정적 차이를 만들어 냅니다. 특히 멀티채널 오디오를 지원하는 적절한 음향 효과는 사용자가 말 그대로 고개를 번쩍 들게 만들 수도 있습니다.

Endel과 Odio는 공간 음향을 효과적으로 활용한 앱 사례입니다. 이 두 앱은 멀티채널 믹스, Core Audio, AVFoundation을 사용하여 사운드에 질감과 공간감을 더하고 공명하는 서라운드 사운드 경험을 조성함으로써 청취자가 앱에 더욱 몰입하게 합니다.

공간적 상호작용을 위한 디자인

Watch now

Endel(위 사진)은 생체 인식 및 환경 정보에 기반하여 적응형 맞춤 사운드스케이프를 구현하여 사용자의 작업 집중이나 숙면을 돕습니다. 이 앱의 첫 번째 공간 음향 사운드스케이프인 Spatial Orbit은 우주 공간의 궤도를 뜻하는 이름에 걸맞게 아트와 AI의 인상적인 만남을 새로운 차원으로 끌어 올렸습니다.

Endel의 공동 설립자이자 최고 음향 책임자 Dmitry Evgrafov는 “Spatial Orbit을 재생하면 광활한 우주의 무수한 별들이 유리 가루처럼 반짝이는 모습이 생생히 느껴질 것입니다. 말하자면 소리로 미술의 점묘법을 구현한 것입니다. 작은 점과 같은 여러 소리가 스스로 구조를 이뤄 사용자를 완전히 감싸는 거죠. 스테레오 환경으로는 이만큼 아름다운 사운드스케이프를 재현할 수 없습니다”라고 말합니다.

Endel 팀은 자신들의 생태계에 공간 음향을 도입하면서 가장 먼저 이 기술이 끊임없이 변화하는 제너러티브(Generative) 사운드스케이프와 호환되는지 확인해야 했습니다. 이 작업은 공동 설립자이자 최고 기술 책임자인 Kyrylo Bulatsev가 대부분 담당했습니다. Kyrylo Bulatsev는 “[공간 음향은] 정적이지 않은 요소에 새로운 차원을 추가해야 한다는 것을 의미했습니다. 언제 어떤 사운드를 재생할지 정해야 하는 것은 물론, 사운드를 어디에 배치할지, 청취자 주변 공간에서 어떤 식으로 이동하도록 설계할지 고민해야 했습니다”라고 말합니다.

또한 Evgrafov는 이 사운드스케이프가 ‘경험 확장을 위한 시도가 과도해져 자칫 산만해지지 않도록 섬세하게 균형을 맞춰야’ 했습니다. 사용자의 적극적인 참여를 유도하도록 설계된 대부분의 앱(그리고 게임, 영화, 노래)과 달리, Endel의 목표는 사용자의 뒤에서 작업 집중을 돕고 경험을 향상하는 도우미가 되는 것이기 때문입니다. Evgrafov는 “Endel의 사용 사례는 공간 음향 기술을 활용하는 다른 제품과는 다릅니다”라고 말합니다. 공동 설립자인 Oleg Stavisky는 ‘Endel에 있는 모든 아름다운 사운드’가 Evgrafov 덕분에 가능했다고 말합니다.

말하자면 소리로 미술의 점묘법을 구현한 것입니다.

Dmitry Evgrafov, Endel 공동 설립자 겸 최고 음향 책임자

10장의 앨범을 낸 피아니스트이자 뮤지션인 Evgrafov는 입체 음향에 대해 풍부한 지식을 보유하고 있습니다. Evgrafov는 “하지만 우주 속을 무작위로 떠다니는 소리 덩어리들이요? 그건 완전히 다른 이야기죠”라고 말합니다.

Spatial Orbit의 첫 번째 정식 프로토타입은 정글을 표현한 현실적인 사운드였습니다. Evgrafov는 “신비한 에덴동산을 걸어 다니면서 이국적인 열대 지방의 동물 소리를 듣는 것이었죠. 물가에서 들려오는 하프 소리, 졸졸 흐르는 개울 소리, 실제로는 존재하지 않는 새의 울음소리 등을 넣었어요”라고 말합니다.

그레고리오 성가대가 노래를 부르면서 사용자의 곁을 천천히 지나간다거나 동굴 내부의 현장음을 녹음해 넣는 등 비슷한 아이디어가 쏟아져 나왔습니다. 멋진 아이디어들이 많았고 프로토타입의 사운드도 잘 구현되었지만, 팀은 계속 같은 문제에 부딪혔습니다. Evgrafov는 “Endel답지 않았어요. 프로토타입 사운드가 특정 장소를 떠올리게 할 수는 있었지만, 그건 사용자가 앱을 의식하고 있다는 뜻이었죠. 우리가 지향하는 바가 아니었습니다”라고 말합니다.

Spatial Orbit의 최종 버전은 Endel이 지향하는 바와 일치하며, Endel이 추구하는 예술과 기술의 결합을 구현합니다. Evgrafov는 “[Endel의 사운드스케이프에서] 빗소리는 거의 은유에 가깝습니다. 감각을 약간 증폭시킴으로써 사용자가 사색에 잠기거나 독서에 집중할 때, 아니면 다른 어떤 일을 하더라도 마음을 가라앉히고 몰두할 수 있게 해 주죠”라고 말합니다.

사운드스케이프를 변경하는 것은 그 자체로도 하나의 도전입니다. Stavitsky는 “사용자가 Endel을 테스트하는 것을 보고 있으면 아주 재미있어요”라고 유쾌하게 말합니다. 이는 여러 사용자를 대상으로 맞춤형 자동 생성 사운드스케이프를 한번에 모두 테스트할 수 있는 정해진 방법이 없기 때문입니다.

[빗소리는] 감각을 약간 증폭시킴으로써 사용자가 사색에 잠기거나 독서에 집중할 때, 아니면 다른 어떤 일을 하더라도 마음을 가라앉히고 몰두할 수 있게 해 주죠.

Dmitry Evgrafov

Evgrafov는 “우리는 프로세스와 도구 세트를 개발했습니다”라고 말합니다. 이 과정에는 Endel의 베를린 오피스를 비롯하여 여러 위치의 다양한 사람들이 참여했습니다. Evgrafov는 “저 또한 직접 공공장소에서 고양이처럼 가만히 앉아 많은 시간을 보냈습니다”라고 덧붙입니다.

Spatial Orbit은 혁신적인 기술과 예술적인 디자인이 만나는 지점을 정확히 포착했습니다. Evgrafov는 “의도한 기술을 성공적으로 적용하고 Endel이 추구하는 모든 요소를 구현했음을 확인했을 때 저는 진심으로 안심했습니다. 팀원들 모두 사용자의 집중을 방해하지 않는 동시에 공간감을 선사할 수 있겠다고 생각했죠”라고 전합니다.

Download Endel from the App Store

Odio 역시 멋진 주변음의 사운드스케이프를 만드는 데 중점을 두었지만 여기에 공상 과학적인 기교를 더했습니다. 서울에 거주하는 Odio 공동 설립자 곽준은 “저는 우리 작곡가들이 행성을 만들고 그곳을 소리로 가득 채운다는 상상을 하길 바랍니다. 그리고 사용자들이 그 새로운 행성을 누비는 거죠”라고 말합니다.

산산이 부서지는 듯한 폭포부터 활기 넘치는 디지털 배경, 으스스하고 고요한 심해에 이르기까지 무엇이든 연상시킬 수 있는 이 앱의 사운드스케이프는 머리 추적 기술과 멀티채널 오디오를 사용하여 매혹적인 믹스를 만들어 냅니다. 또한 각 사운드스케이프에 끊임없이 움직이는 테크노풍의 아트가 합쳐져 시각적으로도 화려합니다.

하지만 이 앱의 오디오 영역에서 사용자의 역할은 수동적인 수준에 그치지 않습니다. 창의적이고 흥미로운 UI를 활용하여 각 사운드스케이프를 구성하는 개별 요소를 조작할 수 있으며 오디오 요소(예: 폭포) 각각을 원하는 위치로 옮길 수도 있습니다.

미래 지향적인 느낌을 자아내는 Odio는 뜻밖의 만남, 시의적절한 하드웨어와 소프트웨어 출시, 약간의 행운이 모여 탄생한 결과물입니다. 곽준은 Design Academy Eindhoven에서 졸업 작품으로 이 앱의 초기 버전을 고안했습니다. 초기에 Virtual Sky라고 이름 붙인 이 프로토타입에는 이후 Odio의 뼈대가 되는 요소들도 있었지만, 대부분은 현실에서의 소리가 중심이 되었습니다. 다양한 하드웨어와 특수 장비도 필요했습니다. 하지만 공간 음향이 탑재된 AirPods이 출시되자 그동안의 노력이 대부분 무의미해진 것처럼 보였습니다.

곽준은 “한동안 낙담해 있었죠. ‘몇 개월 동안 이 작업을 해왔는데 이제 무의미해졌구나’라고 생각했으니까요. 하지만 조금 더 생각해 보니 오히려 하드웨어를 직접 제공할 필요가 없어졌다는 것을 깨달았고, 사실 상황이 더 좋아진 거였어요”라고 웃으며 말합니다.

곽준은 3D 사운드스케이프 앱에 관심을 보이던 Volst라는 회사와 파트너십을 체결했습니다. 여러 구성 요소들이 자리를 잡아가면서 Odio의 UI 개발자이자 디자이너인 Rutger Schimmel이 곽준의 프로젝트를 실제로 구현하는 업무를 맡았고, 프로세스는 예상보다 훨씬 빠르게 진행되었습니다.

저는 우리 작곡가들이 행성을 만들고 그곳을 소리로 가득 채운다는 상상을 하길 바랍니다.

곽준, Odio 공동 설립자

곽준은 “AirPods이 [서라운드 사운드를] 지원한다는 걸 알고는 있었지만 약간 회의적이었습니다. 머리 추적 기능이 있긴 하지만 Apple 자사 기능만 지원할 것이라고 생각했죠. 그래도 여전히 긍정적인 생각을 갖고 AirPods의 데이터를 기기로 가져올 수 있도록 재빨리 Xcode 프로젝트에 착수했습니다”라고 말합니다.

프로토타입을 불러오자 단 몇 분 만에 헤드폰에서 실행할 수 있었습니다. Schimmel은 “일이 너무 쉽게 진행되어서 깜짝 놀랐습니다. 그리고 약 1시간 후에 우리가 하고 있던 작업의 완벽한 토대가 되어 줄 Apple의 탁월한 3D 오디오 프레임워크를 사용하기로 결정했죠”라고 설명합니다. 팀은 1월에 코딩에 착수했습니다. 그리고 4월이 되자 Swift로 빌드한 데모가 완성되었습니다.

Odio 사운드스케이프를 만들 때는 곽준을 비롯한 작곡가, Odio 사운드 디자이너 Max Frimout, 외부 음악가들이 주로 Logic Pro를 통해 협업하여 주변 소리, 신시사이저 벨과 휘슬 소리, 음악을 한데 섞습니다.

사운드스케이프가 완성되면 카페, 공원, 지하철에서 적절한 방식에 따라 현장 테스트를 마친 다음 아티스트가 Schimmel에게 파일을 전송합니다. 최첨단 디자인과 몰입감 넘치는 오디오, 놀라운 맞춤화 설정이 필요한 Schimmel의 도구 상자는 아주 깔끔하게 정리되어 있습니다. Schimmel은 3D 오디오 환경 제작에 AVAudioEnvironmentNode(AVKit), 헤드폰 모션 데이터 액세스에 CMHeadphoneMotionManager(Core Motion), 그리고 오류 추적 및 QA에 Sentry를 각각 활용합니다.

Schimmel은 “데이터 관리부터 사운드스케이프와의 상호 작용, 그리고 대화식 사운드 파일의 실시간 버퍼링에 이르기까지 Odio의 모든 것은 처음부터 Swift로 제작되었습니다”라고 설명합니다.

그 결과로 공간 음향 디자인의 강력한 성능과 간편성을 모두 입증하는 훌륭한 예시가 탄생했습니다. Schimmel은 “솔직히 가장 힘든 작업은 작곡가들이 하는 일이죠”라고 덧붙입니다.

Download Odio from the App Store

Discover geometry-aware audio with the Physical Audio Spatialization Engine (PHASE)

Watch now

공간 음향으로 앱에 몰입감 불어넣기

Watch now