Améliorez les capacités d’enregistrement audio de votre app

Bonjour ! Je m’appelle Steve Nimick. Je suis ingénieur logiciel audio et je travaille sur les technologies d’audio spatial. Je vais vous expliquer comment améliorer les capacités audio de votre app. Je présenterai les mises à jour de l’API pour la sélection de périphérique d’entrée, la capture audio et la lecture.

La première étape de la capture audio consiste à sélectionner un périphérique d’entrée. Il existe de nombreux types de microphones, et la nouvelle API permet de modifier la source audio active depuis votre app. D’autres améliorations permettent à votre app d’utiliser les AirPods dans un nouveau mode d’enregistrement de haute qualité. D’autres mises à jour incluent la capture en audio spatial et de nouvelles fonctionnalités offrant à votre app des possibilités de traitement audio. Enfin, une nouvelle API déverrouille la fonctionnalité Audio Mix pendant la lecture en audio spatial. Commençons par le choix de la voie d’entrée, avec des mises à jour sur la façon dont votre app interagit avec les appareils connectés. Les créateurs de contenu peuvent utiliser plusieurs appareils audio selon leur application comme enregistrer de la musique ou un podcast. iOS 26 apporte des améliorations à la façon dont le système gère le matériel audio, qui s’étendent également aux apps ! La nouvelle API dans AVKit affiche la liste des entrées disponibles et permet de basculer entre les sources audio depuis l’app, sans avoir à accéder aux Réglages Système. Voici un exemple de cette interface utilisateur. Votre app peut avoir un bouton de UI pour afficher le nouveau menu de sélection des entrées. Il affiche la liste des appareils, et mesure le niveau sonore en direct. Et il y a une vue pour sélectionner le mode du micro, afficher les modes pris en charge par le périphérique d’entrée. La pile audio mémorise l’appareil sélectionné et choisira la même entrée la prochaine fois que l’app sera active. Voici l’API qui permet d’appliquer cette option à votre app.

Tout d’abord, la session audio doit être configurée avant d’appeler l’API. Cela garantit que la vue de sélection d’entrée affiche la liste correcte des périphériques. Pour présenter le sélecteur d’entrée, créez une instance d’AVInputPickerInteraction. Faites-le après avoir configuré la session audio. Ensuite, affectez le délégué de InputPickerInteraction comme contrôleur de vue de présentation. Votre app peut désigner un élément d’interface utilisateur, tel qu’un bouton, qui affiche la vue d’interaction du sélecteur. Enfin, dans votre fonction de rappel de UI, utilisez la méthode .present pour afficher le menu d’entrée audio. Désormais, lorsque vous touchez le bouton, la vue d’interaction du sélecteur apparaît, permettant de sélectionner et de modifier l’appareil. Cette API offre un moyen agréable et intuitif de modifier les entrées tout en gardant une app active. Pour les créateurs de contenu, le meilleur microphone est celui qui est le plus rapidement disponible. Maintenant, je vais parler de périphériques d’entrée populaires et pratiques, les AirPods. iOS 26 propose une nouvelle option Bluetooth de haute qualité avec un fort taux d’échantillonnage pour les apps de capture audio. Avec un nouveau réglage multimédia conçu spécifiquement pour les créateurs de contenu, elle établit un excellent équilibre entre la voix et les bruits de fond, comme on attendrait d’un micro cravate. Lorsque ce mode de réglage est activé, votre app utilise une liaison Bluetooth plus fiable, conçue pour un enregistrement AirPods de haute qualité. Voici comment une app configure cette fonctionnalité. Elle est prise en charge à la fois dans AVAudioSession et AVCaptureSession. Pour l’AudioSession, il existe une nouvelle option de catégorie, appelée bluetoothHighQualityRecording. Si votre app utilise déjà l’option AllowBluetoothHFP, elle l’utilisera par défaut en ajoutant l’option de haute qualité. BluetoothHFP est une solution de repli au cas où la voie d’entrée ne prendrait pas en charge la haute qualité Bluetooth. Pour AVCaptureSession, il existe une propriété similaire qui, lorsqu’elle est définie sur true, active ce mode Haute qualité, sans que votre app ait à configurer la session audio manuellement. Avec les deux sessions, si cette option est activée, le menu d’entrée audio au niveau du système inclura des AirPods de haute qualité dans la liste des appareils. Cette fonctionnalité AirPods complète parfaitement les apps qui enregistrent du contenu audio, et sa prise en charge implique un changement de code mineur. En plus d’une qualité d’enregistrement élevée, les AirPods intègrent des commandes qui facilitent l’enregistrement. Le démarrage et l’arrêt s’effectuent en appuyant sur la tige des AirPods. Pour en savoir plus sur la façon d’intégrer cette option dans votre app, consultez « Enhancing your camera experience with capture controls » du WWDC25. Ensuite, je présenterai de nouvelles mises à jour pour la capture d’audio spatial. Dans iOS 26, les apps qui utilisent AVAssetWriter peuvent enregistrer avec l’audio spatial. Tout d’abord, il est important de définir le fonctionnement de l’audio spatial. La capture en audio spatial utilise un ensemble de microphones, comme ceux d’un iPhone, pour enregistrer la scène 3D, puis les enregistrements de microphones sont transformés en un format basé sur des harmoniques cylindriques, appelé ambisonique. L’audio spatial est stocké sous forme d’ambisonie de premier ordre, ou FOA. Le FOA utilise les 4 premières composantes harmoniques cylindriques. Il y a une composante omnidirectionnelle et 3 dipôles perpendiculaires, dans les directions X, Y et Z ou avant-arrière, gauche-droite et haut-bas. Les contenus audio enregistrés dans ce format bénéficient de la lecture en audio spatial, comme le suivi des mouvements de tête sur les AirPods. De plus, vos apps peuvent utiliser la nouvelle API pour l’effet Audio Mix, qui permet de régler facilement l’équilibre entre les sons de premier plan et d’arrière-plan. L’API de capture d’audio spatial a été introduite sous iOS 18. Les apps qui utilisent AVCaptureMovieFileOutput peuvent enregistrer de l’audio spatial en définissant la propriété multichannelAudioMode de l’entrée AVCaptureDevice sur .firstOrderAmbisonics. Dans iOS 26, les apps exclusivement audio comme Dictaphone peuvent désormais enregistrer des données au format audio QuickTime avec l’extension .qta. Comme pour les films QuickTime ou les fichiers MPEG, le format QTA prend en charge plusieurs pistes audio avec des groupes de pistes alternatifs, exactement comme pour les fichiers audio spatial. Voici un aperçu d’une ressource d’audio spatial correctement formatée. Il y a deux pistes audio : une piste stéréo au format AAC et une piste audio spatial dans le nouveau format Apple Positional Audio Codec (ou APAC). Lors de l’enregistrement ProRes, ces pistes audio sont encodées au format PCM. La piste stéréo est incluse pour assurer la compatibilité avec les appareils ne prenant pas en charge l’audio spatial. Enfin, il y a au moins une piste de métadonnées qui contient des informations pour la lecture. Lorsqu’un enregistrement s’arrête, le processus de capture crée un échantillon de données qui signale que l’effet Audio Mix peut être utilisé. Il contient également des paramètres de réglage appliqués pendant la lecture. Je développerai ce sujet dans la section suivante sur Audio Mix. Pour plus d’informations sur la création de groupes de pistes et de relations de secours, lisez la note technique « Understanding alternate track groups in movie files ». Pour les apps qui assemblent leur propre fichier avec AVAssetWriter au lieu de MovieFileOutput, je vais passer en revue les éléments nécessaires pour créer un enregistrement audio spatial. Il doit y avoir deux pistes audio et une piste de métadonnées. Lorsque la propriété multichannelAudioMode de CaptureDeviceInput est définie sur FOA, AVCaptureSession peut prendre en charge jusqu’à deux instances d’AudioDataOutput (ou ADO). Un seul ADO peut produire soit quatre canaux de FOA, soit deux canaux en stéréo. L’audio spatial, avec deux pistes, a besoin de deux ADO dont un configuré en FOA, et l’autre en sortie Stéréo. Il existe une nouvelle propriété de balise de disposition de canal sur l’objet ADO, appelée spatialAudioChannelLayoutTag. Cette balise peut prendre deux valeurs : Stéréo ou ambisonique de premier ordre, soit 4 canaux de la disposition ambisonique HOA - ACN - SN3D. Votre app a besoin de deux entrées AssetWriter pour créer les pistes audio. Une pour la stéréo et une pour la FOA. Pour finir, on ajoute les métadonnées, et il existe une nouvelle API pour créer cet échantillon. Utilisez l’objet helper : AVCaptureSpatialAudioMetadataSampleGenerator. L’objet générateur d’échantillons reçoit les mêmes mémoires tampons que celles provenant de FOA AudioDataOutput. Lorsque l’enregistrement s’arrête, après l’envoi de la mémoire tampon finale, le générateur d’échantillons crée un échantillon de métadonnées chronométré qui est transmis à un autre AssetWriterInput, puis compilé dans la composition finale comme piste de métadonnées. Une autre mise à jour d’AVCaptureSession affecte MovieFileOutput et AudioDataOutput, et elle est utile pour les apps qui pourraient bénéficier de l’utilisation des deux objets. AudioDataOutput permet d’accéder aux tampons d’échantillons audio au fur et à mesure de leur réception, afin que votre app puisse appliquer des effets ou dessiner des ondes à l’écran. Sous iOS 26, CaptureSession prend en charge le fonctionnement de MovieFileOutput et AudioDataOutput simultanément. Cela signifie que votre app peut enregistrer dans un fichier et traiter ou visualiser les échantillons audio en temps réel. Cette mise à jour vous donne plus de liberté pour ajouter ces éléments de « joie » à votre app. Pour un exemple de capture d’audio spatial avec AVAssetWriter, consultez le nouvel exemple d’app « Capturing Spatial Audio in your iOS app » liée à cette vidéo. Dans iOS 26, il est également possible d’enregistrer des vidéos cinématiques, avec audio spatial inclus. Pour en savoir plus, consultez la séance de la WWDC25 « Capture Cinematic video in your app ». Dans la section suivante, j’aborderai un autre élément de l’audio spatial : Lecture et montage à l’aide d’Audio Mix. Nouveau dans iOS et macOS 26, le framework Cinematic inclut des options de contrôle de l’effet Audio Mix. Il s’agit de la même fonctionnalité d’édition de photos, pour les vidéos enregistrées avec l’audio spatial. Audio Mix permet de contrôler l’équilibre entre les sons de premier plan, comme la parole, et les bruits de fond. La nouvelle API inclut les mêmes modes de mixage que l’app Photos : Cinématique, Studio et In-Frame. Et il existe six modes supplémentaires disponibles pour votre app. Ces autres modes peuvent fournir la parole extraite par elle-même, sous forme de piste mono, de premier plan ou uniquement de piste d’arrière-plan d’ambiance, au format FOA. Il s’agit d’un ajout puissant aux apps qui lisent du contenu en audio spatial. Comme dans la prochaine démo. Voici une démo pour montrer comment contrôler l’effet Audio Mix sur les enregistrements d’audio spatial. Je suis sur le campus d’Apple Park, un cadre merveilleux pour ma vidéo. Mais les microphones non traités de mon téléphone captent tous les sons autour de moi. Et ce n’est pas ce que j’ai en tête pour mon enregistrement audio. Steve a ajouté un élément d’interface utilisateur à son app pour basculer entre les différents styles de mixage audio : standard, cinématographique, studio ou l’un des modes de fond. La sélection Cinématique applique le style de mixage audio Cinématique. Là, ça sonne beaucoup mieux. Il y a aussi maintenant un curseur pour contrôler l’équilibre entre la parole et le bruit de fond. Je trouverai la position où ma voix retentit haut et fort. Là, je pense que cette position fonctionne plutôt bien.

Si je choisis un mode d’arrière-plan, ma voix sera supprimée. La piste audio ne contiendra que des bruits de fond. Cela peut être utilisé pour créer une piste d’ambiance pure à utiliser ultérieurement en post-production. Je sélectionne ce mode maintenant.

Revenons maintenant au mode voix. Steve va vous montrer comment l’ajouter à vos apps.

Voici comment vous pouvez mettre cela en œuvre. Tout d’abord, importez le framework Cinematic. Les deux principaux paramètres Audio Mix sont l’effectIntensity et le renderingStyle. L’app de démonstration utilise des éléments d’interface utilisateur pour les modifier en temps réel. L’intensité fonctionne dans une plage de 0 à 1, et CNSpatialAudioRenderingStyle est une énumération qui contient les options de style. Ensuite, initialisez une instance de CNAssetSpatialAudioInfo. Cette classe contient de nombreuses propriétés et méthodes pour travailler avec Audio Mix. Par exemple, dans la ligne suivante, exécutez audioInfo.audioMix(). Cela crée un AVAudioMix en utilisant les paramètres de mixage actuels. Définissez ensuite ce nouveau mixage sur la propriété de mixage audio de l’AVPlayerItem. Et c’est tout ce dont vous avez besoin pour commencer à utiliser Audio Mix dans votre app AVPlayer.

En dehors d’AVPlayer, vous pouvez exécuter le traitement Audio Mix avec une nouvelle AudioUnit appelée AUAudioMix. C’est l’AU qui effectue la séparation entre la parole et l’ambiance. L’utilisation directe de cette AU est utile pour les apps n’utilisant pas AVPlayer qui configure automatiquement de nombreux paramètres. Si votre app a besoin d’un flux de travail plus spécifique et personnalisé, AUAudioMix offre plus de flexibilité et d’options de réglage. Voici les différents composants dans l’AU. L’entrée est 4 canaux d’audio spatial FOA. Il circule dans le bloc de traitement qui sépare la parole et l’ambiance. Et ce qui en résulte en sortie est envoyé dans AUSpatialMixer, qui offre d’autres options de lecture. Les 2 premiers paramètres AU sont le RemixAmount et le Style, les 2 éléments fondamentaux du mixage audio. Il existe également la propriété AUAudioMix EnableSpatialization, qui active ou désactive SpatialMixer. Cela change le format de sortie de l’ensemble de l’AU, et j’en dirai davantage bientôt. La propriété AudioUnit SpatialMixerOutputType offre la possibilité d’afficher la sortie sur un casque, des haut-parleurs intégrés de votre appareil ou des haut-parleurs externes. L’AU dispose également d’une propriété pour les formats de flux d’entrée et de sortie. Puisque l’AU reçoit l’audio FOA, réglez le flux d’entrée avec 4 canaux. Il existe une autre propriété appelée SpatialAudioMixMetadata. Il s’agit d’un objet CFData qui contient des paramètres de réglage générés automatiquement pour les composants de dialogue et d’ambiance. Voici comment cela fonctionne. Immédiatement après l’arrêt de l’enregistrement audio spatial, le processus de capture analyse les sons au premier plan et en arrière-plan. Il calcule les paramètres audio, tels que le gain et l’égaliseur appliqués pendant la lecture. Ces valeurs sont enregistrées dans une piste de métadonnées. Lors de la configuration d’AUAudioMix, votre app doit lire ces données à partir du fichier d’entrée et appliquer ces paramètres de réglage sur l’AU. Voici un exemple d’extraction de ces métadonnées à partir d’un fichier. Encore une fois, il commence par une instance de CNAssetSpatialAudioInfo. Récupérez la propriété MixMetadata en appelant audioInfo.spacialAudioMixMetadata. Il doit être de type CFData pour définir cette propriété sur l’AU.

Plus tôt, j’ai parlé de la propriété EnableSpatialization. Elle est désactivée par défaut, et dans ce mode, l’AU produit le résultat à 5 canaux de la séparation du son. C’est-à-dire 4 canaux d’ambiance, en FOA, plus un canal de dialogue. Lorsque la propriété de spatialisation est activée, l’AU prend en charge d’autres dispositions de canaux courantes, telles que le surround 5.1 ou 7.1.4. Enfin, en lien avec cette vidéo, il y a un projet d’outil de ligne de commande, appelé « Editing Spatial Audio with an audio mix ». SpatialAudioCLI propose des exemples d’application d’un mixage audio de trois manières différentes. Le mode Preview utilise AVPlayer pour lire l’entrée et appliquer les paramètres de mixage audio. L’option Bake utilise AVAssetWriter pour enregistrer un nouveau fichier avec les paramètres de mixage audio, dont une piste de compatibilité stéréo. Et le mode Process envoie l’entrée via ’AUAudioMix’ et génère la sortie dans une disposition de canal que vous spécifiez. Maintenant que vous connaissez toutes les nouvelles fonctionnalités audio, voici comment faire passer votre app au niveau supérieur.

Ajoutez AVInputPickerInteraction pour permettre de sélectionner l’entrée audio en mode natif dans votre app. Activez l’option d’enregistrement Bluetooth de haute qualité pour les AirPods, afin que les créateurs de contenu puissent capturer rapidement et facilement un son remarquable. Donnez à votre app plus de flexibilité en utilisant MovieFileOutput et AudioDataOutput pour enregistrer et appliquer des effets audio. Pour un contrôle optimal, intégrez la capture en Audio spatial à AVAssetWriter et utilisez la nouvelle API de mixage audio pendant la lecture. Pour commencer à utiliser l’audio spatial, téléchargez les exemples de projets de code associés.

J’ai hâte de découvrir tout ce que les gens créent en utilisant vos apps. Bonne journée !