개발자 이야기

여러분이 음악가라면 또는 실제로 노래를 들어 본 적이 있다면 ‘Moises’가 마치 마법처럼 느껴질 것입니다.

이 놀라운 AI 기반 앱은 머신 러닝 모델을 사용하여, 녹음된 노래에서 악기를 따로 떼어내 보컬, 기타, 베이스, 드럼 등을 분리합니다. 따라서 기타 솔로를 제거하고 나만의 솔로를 더할 수 있습니다. 힙합 트랙에서 비트를 분리할 수 있습니다. 보컬 이외의 모든 파트를 떼어내면 어떤 노래든 아카펠라로 만들 수 있습니다. 또한 노래의 음높이를 변경하고, 코드를 감지하여 표시하고, 스마트 메트로놈에 맞춰 연주할 수 있습니다.

‘Moises’의 공동 설립자이자 CEO인 Geraldo Ramos는 “새로운 세대의 머신 러닝 모델 덕분에 많은 것이 가능해졌습니다.”라고 말합니다.

사용 가능한 플랫폼: iPhone, iPad
팀 규모: 100명
소재지: 미국, 브라질
수상 경력: 올해의 iPad 앱(2024), Apple 디자인 어워드 최종 후보작(2025)

Ramos가 “우리는 우선 기술 인력이지만, 항상 음악에 대한 열정을 가지고 있었습니다.”라고 말하는 것처럼, 음악적 배경을 가진 브라질 출신 팀이 설립한 ‘Moises’는 2019년의 어느 한 주말에 웹에서 구상되고 출시되었습니다. 1년도 채 지나지 않아 ‘Moises’는 App Store에서 첫 출시되어 즉시 수만 건의 다운로드를 기록했습니다. 오늘날, ‘Moises’는 집에서 연습하는 중1 학생부터 음악 교사, 전문 아티스트, 프로듀서, 보컬 코치까지 6천만 명 이상의 다양한 사용자를 자랑합니다. 또한 33개 언어로 현지화되었습니다.

Ramos, 공동 설립자이자 COO인 Eddie Hsu, 그리고 공동 설립자이자 CDO(Chief Design Officer)인 Jardson Almeida와 머신 러닝 모델, 독창적인 박자표, 애비 로드 스튜디오에서의 녹음에 대한 이야기를 나누었습니다.

Ramos: 저는 드럼을 치고, Jardson은 노래를 하고, Eddie는 바이올린을 연주합니다. Eddie와 저는 유치원 때부터 서로 아는 사이죠. 그는 클래식 음악 배경을 갖고 있고 음악 이론도 잘 알고 있어서 일종의 전문가라고 할 수 있어요. 그리고 회사 전반에 걸쳐 많은 아티스트가 있습니다. 아티스트 관계를 담당하는 전문가 중 한 명은 버클리 음악 대학을 졸업했고, ML 팀은 거의 전부 아티스트로 구성되어 있습니다. 그들은 수학을 사랑하지만, 음악도 사랑하죠.

Ramos: 제 여정은 녹음된 노래에서 드럼 트랙을 제거하고 제가 직접 연주해 보고 싶었기 때문에 시작되었습니다. 머신 러닝이 도입되기 전에는 기본적으로 불가능했던 일이죠. 오디오를 이퀄라이저로 조정하거나 저음 주파수를 제거할 수도 있었지만, 그리 효과적이지 않았습니다. 실제로 실현된 것은 2019년쯤이나 되어서였습니다.

Ramos: ‘Moises’는 일종의 주말 해커톤 프로젝트였습니다. 원래 우리는 노래 분리를 위한 간단한 코드를 공개한 한 프랑스 연구 팀이 만든 오픈 소스 모델을 발견했습니다. UI도 없고, 앱도 없고, 아무것도 없었지만, 다른 어떤 것보다도 더 효과적이었어요. 저는 “좋아, 주말 동안 UI를 만들어서 어떻게 되는지 보자.”라고 생각했습니다. 그 결과물을 월요일에 웹에서 출시했는데, 일주일만에 5만 명이 가입했습니다. 그때 우리는 실제 비즈니스로 전환하기로 결정했죠. 해커톤을 진행한 것은 2019년 11월이었고, iOS 앱을 출시한 것은 2020년 말입니다. 상황이 빠르게 확대되었습니다.

Ramos: 훌륭한 성과였지만, 진정한 AI 회사가 되고 싶다면 우리만의 모델을 만들어야 한다는 사실도 깨닫게 되었습니다. 그래서 앱이 출시되기도 전에 우리는 자체 데이터로 학습된 최초의 전용 모델을 개발했습니다.

Ramos: 라이선스 음악과 우리 회사의 음악가와 프로듀서가 만든 트랙이 섞여 있어요. 라이선싱 측면에서는 Eddie가 데이터 준비, 생성, 주석 처리 작업을 이끕니다. 실제로, 주석 처리만을 위한 내부 iOS 앱이 있습니다. 이런 방법으로 트랙을 평가하고, 어떤 분리가 다른 분리보다 나은지 확인하여 순위를 매깁니다.

Hsu: 그것이 큰 차별화 요소 중 하나죠. 모델을 위한 레이블링 작업은 모두 우리 손으로 직접 합니다. 그 사전 학습 준비를 위해 Apple 생태계에 참여하고 있습니다.

Hsu: 그렇습니다! 우리는 세상이 한 번도 들어 본 적 없는 음악 카탈로그를 가지고 있습니다. 한 번은 애비 로드 스튜디오에서 세션을 의뢰하여 데이터 과학 팀을 위한 몇 가지 작품을 녹음한 적이 있어요.

Hsu: 예를 들면, 노래의 박자표를 감지하는 모델이 있습니다. 팝송 등 우리가 라이선싱하는 많은 데이터는 표준 4/4 박자로 되어 있죠. 하지만 모델을 향상하려면 더 다양한 데이터가 필요하기 때문에 최근에 5/4 박자와 6/8 박자로 여러 녹음을 의뢰했습니다. 코드 감지를 향상하기 위해서도 이 방법을 사용했습니다. 팝송은 코드가 아주 단순할 수 있지만, 재즈나 보사노바를 연주하는 경우에는 더 복잡할 수 있죠. 그런 복잡성을 감지하는 모델을 만들려면 더 많은 데이터가 필요해요. 우리는 아티스트와 저작권을 존중하기 위해 최선을 다하기 때문에 이러한 작품을 의뢰하는 방식에 대해 부지런히 노력해야 합니다.

Ramos: 분리에는 두 가지 수준이 있습니다. 첫 번째는 기타, 드럼, 보컬 등의 기본적인 트랙을 분할하는 것입니다. 두 번째는 더 깊이 들어가서 리드 기타와 리듬 기타를 분리하거나 스네어 드럼, 하이햇 드럼, 킥 드럼을 분리할 수 있습니다.

Hsu: 우리가 시작하던 때에는 4개 트랙에 대한 프리셋이 있었습니다. 지금은 20개가 넘습니다.

Hsu: 기능에 따라 다르다고 생각합니다. 모든 사용자는 학습자라고 할 수 있죠. 이제 막 드럼을 배우기 시작한 학생이라면 노래의 속도를 늦춰서 연주를 익혀야 할 수 있습니다. 하지만 전문가도 마찬가지입니다. 까다로운 내용을 익혀야 했기 때문에 ‘Moises’를 사용해 트랙의 속도를 늦춰 파트들이 딱 맞을 때까지 연습했다는 이야기를 몇몇 드러머에게 들었어요. 바로 그때 “그래, 이렇게 공통분모가 많이 있구나.”라고 깨달았습니다.

원본 버전은 2025년 6월 9일(태평양 연안 표준시)에 게시됨