앱의 오디오 녹음 기능 향상하기

안녕하세요 제 이름은 스티브 니믹입니다 저는 공간 음향 기술을 연구하는 오디오 소프트웨어 엔지니어입니다 이 비디오에서는 앱의 오디오 기능을 향상시키는 방법을 알아보겠습니다 입력 기기 선택, 오디오 캡처 재생용 API 업데이트를 소개합니다

오디오를 캡처하기 위한 첫 단계는 입력 기기를 선택하는 것입니다 마이크에는 여러 종류가 있습니다 새 API를 사용하면 앱 내에서 활성 오디오 소스를 변경할 수 있죠 추가 향상 기능으로 앱이 새로운 고품질 레코딩 모드로 AirPods를 사용하도록 할 수 있습니다 기타 업데이트에는 공간 음향 캡처와 앱에 새로운 기능이 포함되어 있습니다 오디오 처리에 대한 가능성이 더 넓어졌죠 끝으로 새 API는 공간 음향 재생 중에 오디오 믹스 기능을 사용하죠 입력 경로 선택부터 시작하겠습니다 앱이 연결 기기와 상호 작용 방식에 대한 업데이트가 있습니다 콘텐츠 제작자는 여러 응용 프로 그램과 오디오 기기를 사용할 겁니다 예를 들어 음악 녹음이나 팟캐스트와 같이요 iOS 26에서는 시스템이 오디오 하드웨어를 관리 방식이 개선되어 앱에도 적용됩니다 AVKit의 새로운 API는 사용 가능한 입력 목록을 표시합니다 앱 내에서 오디오 소스 전환도 허용합니다 시스템 설정으로 이동할 필요도 없죠 다음은 이 UI의 예입니다. 앱에는 새로운 입력 선택 메뉴를 불러오는 UI 버튼이 있을 수 있죠 라이브 사운드 레벨 측정 기능이 있는 기기 목록이 표시됩니다. 그리고 마이크 모드 선택 뷰가 있어 입력 기기가 지원하는 모드가 표시됩니다 오디오 스택은 선택된 기기를 기억하고 다음에 앱이 활성화되면 동일한 입력을 선택합니다 앱에서 이를 활성화하는 API는 다음과 같습니다

먼저, API를 호출하기 전에 오디오 세션을 구성해야 합니다 이렇게 하면 입력 선택 뷰에 올바른 기기 목록이 표시됩니다 입력 피커 표시는 인스턴스 AVInputPickerInteraction을 만듭니다 오디오 세션을 설정한 후에 이 작업을 수행하세요 그런 다음 InputPickerInteraction을 프레젠테이션 뷰 컨트롤러로 위임합니다 앱은 버튼과 같은 UI 요소를 지정할 수 있습니다 그러면 피커 상호작용 뷰가 나타납니다 마지막으로 UI 콜백 함수에서 ‘present’ 메서드를 사용하여 오디오 입력 메뉴를 표시합니다 이제 선별된 코딩 튜토리얼을 엽니다 피커 상호작용 뷰가 나오고 사용자가 기기 선택과 변경을 하죠 이 API는 앱의 활성화 상태에서 입력 내용을 변경할 수 있는 직관적인 방법이죠 콘텐츠 제작자를 위한 최고의 마이크는 가장 쉽게 구할 수 있는 마이크입니다 이제 인기 있고 편한 입력 기기인 AirPods에 대해 이야기해 볼게요 iOS 26에서는 오디오 캡처 기능을 갖춘 앱에서 높은 샘플링 속도의 고품질 블루투스 옵션을 사용할 수 있죠 콘텐츠 제작자를 위해 특별 설계된 새로운 미디어 튜닝을 통해 음성과 배경음 사이에 훌륭한 균형을 이룹니다 LAV 마이크에서 기대하는 것과 똑같습니다 이 튜닝 모드가 켜지면 앱은 보다 안정된 블루투스 링크를 사용하죠 특별히 고품질 AirPods 녹음을 위해 디자인된 것이죠 앱이 이 기능을 구성하는 방법은 다음과 같습니다 AVAudioSession과 AVCaptureSession 모두에서 지원됩니다 AudioSession의 경우 새로운 카테고리 옵션이 있습니다 bluetoothHighQualityRecording 이라고 합니다 앱이 이미 AllowBluetoothHFP 옵션을 사용하는 경우 고품질 옵션을 추가하면 앱이 이를 기본값으로 사용합니다 BluetoothHFP는 입력 경로가 고품질 블루투스 지원이 없으면 대체 수단으로 활용됩니다 AVCaptureSession은 true로 설정 하면 고품질 모드를 활성화하는 유사한 속성이 있습니다 앱이 오디오 세션을 수동으로 설정하지 않아도 됩니다 세션 두 가지 모두에서 이 옵션이 활성화된 경우 시스템 수준 오디오 입력 메뉴에는 기기 목록의 고품질 AirPods가 포함됩니다 이 AirPods 기능은 오디오 녹음 앱에 추가된 훌륭한 기능입니다 최소한의 코드 변경으로 이를 지원할 수 있습니다 고품질 녹음 외에도 AirPods에는 녹화를 쉽게 할 수 있는 내장 컨트롤도 있습니다 People는 AirPods의 스템을 눌러서 시작하거나 멈출 수 있습니다 앱에서 이를 지원하는 방법에 대해 자세히 알아보려면 WWDC25 “캡처 제어 기능으로 카메라 경험 향상하기”를 확인하세요 다음으로 공간 음향 캡처를 위한 새로운 업데이트를 소개하겠습니다 iOS 26에서는 AVAssetWriter 사용 앱 으로 공간 음향을 녹음할 수 있죠 첫째, “공간 음향” 작동 방식을 정의하는 것이 중요합니다 공간 음향 캡처는 iPhone와 같은 마이크 배열을 사용해 3D 장면을 녹화합니다 그리고, 마이크 캡처가 구형 고조파 기반 형식인 앰비소닉으로 변환됩니다 공간 음향은 1차 앰비소닉 즉 FOA로 저장됩니다 FOA는 첫 번째 4개의 구형 고조파 구성요소를 사용합니다 전반향 구성요소와 3개의 수직 쌍극자가 X, Y, Z 방향 또는 앞뒤, 좌우 위아래로 이루어져 있습니다 이 형식으로 녹음된 음향은 공간 음향 재생 기능의 이점을 누립니다 AirPods에서 헤드트래킹을 하는 것과 같죠 여러분의 앱은 오디오 믹스 효과를 위해 새 API를 사용할 수 있죠 사람들이 전경/배경 소리의 균형을 쉽게 조정할 수 있도록 해줍니다 Spatial Audio capture API가 iOS 18에 도입되었습니다 AVCaptureMovieFileOutput 사용 앱은 공간 음향을 녹음할 수 있습니다 AVCaptureDevice 입력의 multichannelAudioMode 속성을 .firstOrderAmbisonics로 설정하면 되죠 iOS 26에서는 음성 메모와 같은 오디오 전용 앱에서 QuickTime 오디오 형식의 데이터를 저장할 수 있는 옵션이 있습니다 확장 프로그램 .qta로 말이죠 QuickTime 영화나 MPEG 파일과 유사합니다 QTA 형식은 여러 대체 트랙 그룹이 있는 오디오 트랙을 지원합니다 공간과 마찬가지로 오디오 파일이 생성되죠 다음은 올바르게 형식화된 공간 음향 애셋의 개요입니다 오디오 트랙은 AAC 형식의 스테레오 트랙과 공간 음향 트랙 두 가지가 있죠 새 Apple Positional Audio Codec (APAC) 형식이죠 ProRes 녹음 중에 이러한 오디오 트랙은 PCM으로 인코딩됩니다 스테레오 트랙은 공간 음향을 지원하지 않는 기기와의 호환성을 위해 포함됩니다 마지막으로, 적어도 재생을 위한 정보를 포함하는 메타데이터 트랙이 하나 이상 있습니다 녹음이 중지되면 캡처 프로세스는 데이터 샘플을 생성합니다 오디오 믹스 효과를 사용할 수 있다는 신호를 보냅니다 여기에는 튜닝 매개변수도 포함 되며 재생 중에 적용됩니다 다음 섹션인 오디오 믹스에서 이 주제에 대해 자세히 설명하죠 그룹 및 대체 관계 추적 생성에 대한 자세한 정보는 기술 문서 “영화 파일의 대체 트랙 그룹 이해하기”를 읽어보세요 앱의 경우 MovieFileOutput 대신 AVAssetWriter로 자체 파일을 어셈블합니다 공간 음향 녹음을 생성에 필요한 요소들을 살펴보겠습니다 오디오 트랙과 메타데이터 트랙은 2개 있어야 합니다 multichannelAudioMode 속성이 있으면 CaptureDeviceInput이 FOA로 설정됩니다 AVCaptureSession은 AudioDataOutput(ADO) 의 최대 두 인스턴스를 지원하죠 단일 ADO는 FOA 채널 4개나 스테레오 채널 2개를 생성하죠 공간 음향, 2개 트랙에는 두 개의 ADO가 필요합니다 하나는 FOA로 구성되야 하며 다른 하나는 스테레오를 출력하죠 ADO 개체에 새로운 채널 레이아웃 태그 속성이 있습니다 spatialAudioChannelLayoutTag 라고 합니다 이 레이아웃 태그는 두 가지, 즉 스테레오나 1차 앰비소닉 값을 받죠 이는 앰비소닉 레이아웃 HOA - ACN - SN3D의 4개 채널입니다 오디오 트랙 생성은 앱에 2개의 AssetWriter 입력이 필요하죠 스테레오를 위한 1 개 FOA를 위한 1 개입니다 마지막 부분은 메타데이터이며 이 샘플을 만드는 새 API가 있죠 도우미 객체인 AVCaptureSpatialAudioMetadataSampleGenerator를 사용합니다 샘플 생성기 객체는 동일한 버퍼를 수신합니다 FOA AudioDataOutput에서 온 것이죠 녹음이 중지되면 최종 버퍼를 보낸 후 샘플 생성기가 시간별 메타데이터 샘플을 생성합니다 다른 AssetWriterInput으로 전달되며 그런 다음 메타데이터 트랙으로 최종 작곡에 컴파일됩니다 AVCaptureSession에 대한 업데이트가 하나 더 있습니다 MovieFileOutput과 AudioDataOutput에 영향을 미치죠 앱에 유용하며 두 객체를 모두 사용하면 이점이 있습니다 AudioDataOutput은 수신 오디오 샘플 버퍼에 대한 액세스를 제공해 따라서 앱이 화면에 효과 적용이나 파형을 그리도록 할 수 있습니다 iOS 26에서는 CaptureSession이 두 가지 작동을 모두 지원합니다 MovieFileOutput과 AudioDataOutput을 동시 실행하죠 이는 앱이 파일에 기록할 수 있음을 의미합니다 오디오 샘플을 실시간으로 처리하거나 시각화하기도 하죠 이 업데이트는 사용자에게 더 많은 자유를 제공합니다 앱에 “놀라움과 즐거움” 요소를 추가하세요 AVAssetWriter를 사용한 공간 음향 캡처의 예는 다음과 같습니다 새로운 “iOS 앱에서 공간 음향 캡처하기”를 확인해 보세요 이 비디오에 링크된 샘플 앱입니다 iOS 26에서는 영화 비디오를 녹화하는 옵션도 있습니다 공간 음향이 포함되어 있죠 WWDC25의 “앱으로 영화 같은 영상 캡처하기”로 더 알아보세요 다음 섹션에서는 공간 음향의 또 다른 요소를 다루겠습니다 오디오 믹스를 사용하여 재생 및 편집하는 것입니다 iOS와 macOS 26의 새로운 특징은 Cinematic 프레임워크에 포함된 오디오 믹스 효과 제어 옵션입니다 이는 공간 음향으로 레코드된 영상의 사진 편집 기능과 동일합니다 오디오 믹스를 사용하면 말소리와 같은 전경 사운드와 배경 소음과 같은 소리의 균형을 맞출 수 있습니다 새 API에는 사진 앱이 사용하는 것과 동일한 믹스 모드가 있습니다 시네마틱, 스튜디오, 인프레임이죠 그리고, 앱에서 6개의 추가 모드를 사용할 수 있습니다 이러한 다른 모드는 추출된 음성을 모노로 자체 제공할 수 있습니다 전경 줄기 또는 주변 배경 줄기만(FOA 형식)이죠 이는 공간 음향 콘텐츠 재생 앱에 적용된 강력한 추가 기능입니다 다음 데모처럼요 이것은 제어 방법을 보여주는 데모입니다 공간 음향 녹음에 오디오 믹스 효과를 적용하죠 여기는 Apple Park 캠퍼스입니다 제 영상 촬영에 딱 맞는 배경이죠 휴대 전화의 미처리 마이크가 주변의 모든 소리를 수집하네요 제가 오디오 녹음을 할 때 원하는 그림이 아니죠 Steve는 앱에 UI 요소를 추가해 다양한 오디오 믹스 스타일 간을 전환할 수 있도록 했습니다 표준, 시네마틱, 스튜디오 또는 배경 스템 모드죠 Cinematic을 선택하면 시네마틱 오디오 믹스 스타일이 적용됩니다 훨씬 나아 보이네요 이제 균형을 제어하기 위한 슬라이더도 있습니다 말과 주변 소음 사이의 균형을 말이죠 내 목소리가 크고 선명하게 나오는 위치를 찾아볼게요 이 위치가 꽤 잘 맞는다고 생각해요

백그라운드 모드를 선택하면 내 목소리가 제거됩니다 오디오 트랙에는 주변 소리만 포함됩니다 이는 나중 후반 작업용 순수 주변음 트랙을 만들 때 사용할 수 있죠 이제 해당 모드를 선택하겠습니다

이제 음성 모드로 돌아가겠습니다 이제 Steve가 이것을 앱에 추가하는 법을 알려 드리겠습니다

구현 방법은 이렇습니다 먼저 Cinematic 프레임워크를 가져옵니다 두 가지 주요 오디오 믹스 매개변수는 다음과 같습니다 효과 강도 및 렌더링 스타일입니다 데모 앱이 UI 요소를 사용하여 이를 실시간으로 변경합니다 강도는 0~1의 범위 내에서 작동합니다 CNSpatialAudioRenderingStyle은 스타일 옵션을 가진 열거형입니다 다음은 CNAssetSpatialAudioInfo의 인스턴스를 이니셜라이즈합니다 이 클래스에는 오디오 믹스용 많은 속성과 메서드가 포함되어 있죠 예를 들어, 다음 줄에서 audioInfo.audioMix()를 실행하면 이는 현재 믹스 매개변수를 사용해 AVAudioMix를 생성합니다 이제 AVPlayerItem의 오디오 믹스 속성에 이 새로운 믹스를 설정하죠 AVPlayer 앱에서 오디오 믹스를 시작하는 데 필요한 전부입니다

AVPlayer 외부에서는 오디오 믹스 처리 실행을 수행할 수 있습니다 AUAudioMix라는 새로운 AudioUnit을 사용하죠 말과 분위기를 분리하는 AU입니다 이 AU는 AVPlayer를 사용하지 않는 앱에 사용할 때 유용합니다 많은 것을 구성하는 설정을 자동으로 처리하죠 앱에 더 구체적인 맞춤형 워크플로가 필요한 경우 AUAudioMix는 더 많은 유연성과 튜닝 옵션을 제공합니다 다음은 AU 내부의 구성 요소의 다른 점입니다 입력은 FOA 공간 음향의 4채널입니다 말과 분위기를 분리하는 처리 블록으로 흘러들어갑니다 그리고 그 출력은 AUSpatialMixer으로 전송됩니다 다른 재생 옵션을 제공하죠 첫 번째 2개의 AU 매개변수는 리믹스어마운트와 스타일입니다 오디오 믹스의 2가지 기본 요소죠 AUAudioMix 속성 EnableSpatialization도 있습니다 SpatialMixer를 켜거나 끕니다 이것은 전체 AU 출력 형식을 변경합니다 이에 대해서는 잠시 후에 더 살펴보겠습니다 AudioUnit 속성 SpatialMixerOutputType 헤드폰, 디바이스 내장 스피커 또는 외장 스피커 중 한 가지에 렌더링 옵션을 제공합니다 AU에는 또한 입력 및 출력 스트림 형식 속성이 있습니다 AU는 FOA 오디오를 수신하므로 입력 스트림을 4개 채널로 하세요 또 하나의 속성이 있으며 SpatialAudioMixMetadata라고 하죠 이것은 CFData 객체입니다 자동 생성되었죠 대화 및 분위기 구성 요소의 튜닝 매개변수입니다 원리는 다음과 같습니다 공간 음향 녹음이 중지된 직후 캡처 프로세스는 전경과 배경의 소리를 분석합니다 게인과 재생 중 적용되는 EQ 등의 오디오 매개변수를 계산합니다 해당 값은 메타데이터 트랙에 저장됩니다 AUAudioMix를 구성할 때 앱은 입력 파일에서 이 데이터를 읽어야 하죠 그리고 그 튜닝 매개변수를 AU에 적용해야 합니다 다음은 파일에서 이 메타데이터를 추출하는 방법의 예입니다 즉, CNAssetSpatialAudioInfo 인스턴스로 시작됩니다 MixMetadata 속성을 검색합니다 audioInfo.spacialAudioMixMetadata를 호출하는 식입니다 이 속성을 AU에 설정하려면 CFData 유형이어야 합니다

앞서 EnableSpatialization 속성을 언급했듯이 기본값이며 이 모드에서는 꺼져 있습니다 AU는 소리 분리의 5채널 결과를 출력합니다 즉, FOA에 4개의 앰비언스 채널과 추가적인 대화 채널 하나를 말하죠 공간화 속성이 켜져 있다면 AU는 5.1 서라운드나 7.1.4처럼 다른 공통 채널 레이아웃을 지원하죠 마지막으로 이 영상과 연결된 것은 명령줄 도구 샘플 프로젝트이며 “오디오 믹스로 공간 음향 편집하기”라고 불립니다 SpatialAudioCLI에는 오디오 믹스 적용법 세 가지를 보여 줍니다 미리보기 모드에서 ‘AVPlayer’로 입력 재생해 오디오 믹스 매개변수를 적용하죠 Bake 옵션은 AVAssetWriter를 사용해 오디오 믹스 매개변수로 새 파일을 저장합니다 스테레오 호환 트랙을 포함합니다 프로세스 모드는 ‘AUAudioMix’를 통해 입력을 보내죠 그리고 출력을 사용자가 지정한 채널 레이아웃으로 렌더링합니다 이제 새로운 오디오 기능을 모두 알게 되었으니 앱을 한 단계 더 발전시키는 방법은 다음과 같습니다

AVInputPickerInteraction을 추가하여 사람들이 앱 내에서 기본적으로 오디오 입력을 선택할 수 있죠 AirPods의 블루투스 고품질 녹음 옵션을 활성화합니다 콘텐츠 제작자는 뛰어난 사운드를 빠르고 쉽게 캡처할 수 있습니다 MovieFileOutput과 AudioDataOutput으로 앱의 유연성을 높입니다 오디오 효과를 녹음하고 적용하는 것이죠 최상의 제어를 위해 공간 음향 캡처를 AVAssetWriter와 통합하죠 재생 중에 새로운 Audio Mix API를 사용합니다 공간 음향을 시작하려면 샘플 코드 프로젝트를 다운로드합니다

사람들이 여러분의 앱을 통해 창작한 결과물에 몰입해보세요 좋은 하루 되세요