En savoir plus sur Apple Projected Media Profile

Bonjour, je m’appelle Jon. Je suis ingénieur dans l’équipe Core Media Spatial Technologies. Dans cette vidéo, j’expliquerai les principes de base de la représentation de la projection vidéo non rectiligne dans les fichiers QuickTime. Je présenterai aussi les mises à jour apportées aux frameworks Core Media, Video Toolbox et AVFoundation pour la lecture, l’écriture, le montage et la publication de vidéos Apple Projected Media Profile (APMP). Enfin, j’aborderai le codec Apple Positional Audio Codec, qui permet d’ajouter de l’audio spatial immersif aux vidéos projetées. Cette vidéo s’adresse aux fabricants de caméras qui proposent des modèles à 180°, 360° ou large champ de vision, ainsi qu’aux développeurs d’apps ou de logiciels de montage vidéo qui souhaitent exploiter un nouveau type de médias. Je vous recommande de regarder Explore video experiences for visionOS pour découvrir les profils vidéo immersifs disponibles sur visionOS 26 ainsi que le concept de projections vidéo. Pour commencer, passons en revue les bases de la vidéo non rectiligne présentées dans la vidéo Explore video experiences for visionOS. visionOS 26 introduit Apple Projected Media Profile, qui prend en charge les vidéos à 180°, 360° et large champ de vision capturées avec des caméras grand public. Un facteur de différenciation clé dans le profil de média projeté est le type de projection. Les vidéos 2D, 3D et spatiales utilisent une projection rectiligne. Les vidéos à 180° utilisent une projection demi-équirectangulaire, celles à 360°, une projection équirectangulaire et les vidéos à large champ de vision une projection paramétrique. La projection équirectangulaire, ou projection cylindrique équidistante, est largement prise en charge par les applications de montage comme Final Cut Pro. Dans ce type de projection, les coordonnées de pixels d’une sphère englobante sont exprimées sous forme d’angles de latitude et de longitude, puis projetées de manière égale dans les lignes et colonnes d’une image vidéo rectangulaire. L’axe horizontal mappe les longitudes de -180° à +180°, tandis que l’axe vertical mappe les latitudes de -90° à +90°. La projection demi-équirectangulaire est similaire, à ceci près que la coordonnée X dans l’image vidéo représente la plage allant de -90° à +90°. La projection ParametricImmersive représente les paramètres intrinsèques et de distorsion liés aux objectifs grand angle ou fisheye. Les paramètres intrinsèques représentent des données comme la longueur focale, le centre optique et le skew du système optique utilisé pour la capture. Ces paramètres sont interprétés comme une matrice 3x3, notée K pour matrice de caméra, qui permet de transformer les coordonnées 3D en coordonnées 2D sur un plan d’image. La projection ParametricImmersive peut aussi représenter les paramètres de distorsion de l’objectif, comme la distorsion radiale. Les paramètres de distorsion radiale servent à corriger la distorsion en barillet où les lignes droites apparaissent incurvées en fonction de leur distance au centre optique, en raison de la conception de l’objectif grand angle. Sur cette image, les poteaux de clôture apparaissent incurvés vers les bords de l’objectif. D’autres caractéristiques de distorsion, comme la distorsion tangentielle, le décalage de projection, la limite d’angle radial et les réglages du cadre de l’objectif peuvent également être spécifiées.

Les principes de base étant posés, je vais vous montrer comment utiliser les API Apple pour interagir avec du contenu Apple Projected Media Profile.

Je vais commencer par décrire le transport des vidéos APMP dans les fichiers vidéo QuickTime et MP4. Apple Projected Media Profile permet de signaler s’il s’agit d’une vidéo à 180°, 360° ou large champ de vision dans ces fichiers. Les fichiers QuickTime sont structurés en une hiérarchie de conteneurs regroupant divers types de données multimédias. Ils peuvent inclure des pistes audio et vidéo, ainsi que les données de chaque piste. La spécification ISO Base Media File Format (ISOBMFF) pour MP4 est une adaptation de QuickTime. L’unité de base d’organisation des données dans un fichier ISOBMFF est une « box ». visionOS 1 introduisait une nouvelle box d’extension Video Extended Usage, avec des informations de vues stéréo indiquant si le contenu est stéréoscopique ou monoscopique. Avec visionOS 26, de nouvelles box ont été ajoutées à l’extension appelée vexu pour permettre la signalisation du profil de média projeté. La box de projection signale le type de projection utilisé, comme équirectangulaire, demi-équirectangulaire ou ParametricImmersive. La box de collection d’objectifs contient les paramètres intrinsèques et extrinsèques, ainsi que les paramètres de distorsion liés à la projection ParametricImmersive. La box View packing décrit la disposition des yeux dans une image à trames empaquetées, en mode côte à côte ou au-dessus/en dessous. Voici un exemple de signalisation minimale pour un fichier équirectangulaire monoscopique. La box de projection avec ProjectionKind indique équirectangulaire. Une vidéo stéréoscopique à 180° nécessite une box de vue stéréo en plus de la signalisation du type de projection demi-équirectangulaire. Avec ces éléments de base, il est aussi possible de signaler d’autres combinaisons, comme stéréoscopique à 360°. Consultez la spécification QuickTime and ISO Base Media File Formats and Spatial and Immersive Media sur le site developer.apple.com pour en savoir plus sur la box de projection et les autres box prises en charge par APMP. Je vais à présent passer en revue les méthodes de capture du contenu APMP et les workflows APMP types associés. Divers modèles de caméras permettent de capturer du contenu compatible APMP. On trouve ainsi le système Canon EOS VR pour capturer et traiter les vidéos stéréoscopiques à 180°, les caméras GoPro MAX ou Insta360 X5 pour les vidéos à 360° et les dernières caméras d’action comme la GoPro HERO 13 et l’Insta360 Ace Pro 2 pour les vidéos à large champ de vision. Final Cut Pro prend déjà en charge la lecture et l’écriture de formats APMP à 360°. Et, d’ici la fin de l’année, des logiciels de montage vidéo comme Canon EOS VR Utility et GoPro Player prendront en charge l’exportation de fichiers MOV ou MP4 avec la signalisation APMP. Pour les vidéos à 180° ou 360°, utilisez le logiciel fourni avec la caméra pour les opérations comme l’assemblage, la stabilisation et la correction d’images stéréo. Si votre logiciel de montage est déjà compatible avec APMP, exportez au format MOV ou MP4 avec la signalisation APMP incluse. Utilisez AirDrop ou iCloud pour transférer les fichiers vers l’Apple Vision Pro. Si le logiciel de votre caméra ne prend pas encore en charge APMP, exportez au format 180° ou 360° en utilisant des métadonnées sphériques. Utilisez ensuite l’utilitaire macOS avconvert en ligne de commande ou depuis le Finder en effectuant un Ctrl-clic sur une ou plusieurs vidéos. Transférez les fichiers vers l’Apple Vision Pro via AirDrop ou iCloud. APMP est idéal pour la signalisation de vidéos projetées via des workflows multimédias complets, y compris la capture, le montage et la livraison. Voici un exemple de workflow en 180° stéréoscopique où la signalisation APMP peut s’appliquer à chaque étape. Capturez le contenu à l’aide des codecs HEVC, RAW ou ProRes, puis effectuez le montage avec ProRes. Pour la capture et le montage 3D, vous pouvez utiliser les formats à trames empaquetées, multivues, fichiers séparés pour chaque œil ou deux pistes vidéo dans un seul fichier. Ici, la capture nécessite 2 fichiers vidéo, tandis que le montage est effectué avec une image à trames empaquetées côte à côte. Encodez et publiez avec le codec HEVC multivue (MV-HEVC), pour une diffusion et une lecture optimisées sur visionOS. Maintenant que nous avons vu la spécification APMP et les workflows types, voici les nouvelles fonctionnalités disponibles dans macOS et visionOS 26 pour utiliser les fichiers APMP avec les API multimédias existantes. Voyons d’abord les fonctionnalités de conversion de ressources. Comme l’adoption de la signalisation APMP prendra du temps, nous avons ajouté à AVFoundation une fonctionnalité qui identifie les ressources compatibles utilisant la signalisation Spherical Metadata V1 ou V2. Les contenus à 180° ou 360° compatibles utilisent une projection équirectangulaire et peuvent être stéréoscopiques à trames empaquetées ou monoscopiques. Passez l’option de création de ressource ShouldParseExternalSphericalTags pour reconnaître le contenu sphérique directement compatible et générer les extensions de description de format appropriées. Cela permettra aux autres API système de traiter la ressource comme si elle utilisait APMP. Vérifiez la présence de l’extension de description de format convertedFromExternalSphericalTags pour déterminer si les métadonnées sphériques ont été analysées. visionOS 26 prend en charge les paramètres de projection d’objectif et les modes de champ de vision les plus utilisés par les fabricants tels que GoPro et Insta360. Quick Look suggère la conversion de ce type de fichier à l’ouverture. Pour permettre la conversion de contenu à large champ de vision dans vos apps, utilisez l’objet ParametricImmersiveAssetInfo du framework ImmersiveMediaSupport. Il génère une description du format vidéo contenant une projection ParametricImmersive avec les paramètres intrinsèques et de distorsion pour les modèles de caméras compatibles. Utilisez la propriété isConvertible pour voir si les métadonnées d’une caméra compatible ont été détectées, puis remplacez la description de format de la piste vidéo par une nouvelle. Les API système utilisant cette ressource reconnaîtront ainsi le contenu comme APMP à large champ de vision. Consultez l’exemple d’application « Converting projected video to Apple Projected Media Profile » pour savoir comment générer des formats APMP prêts à être diffusés. Vous pouvez lire les vidéos APMP à l’aide d’API multimédias système familières. Les frameworks CoreMedia et AVFoundation ont été mis à jour pour prendre en charge l’identification et la lecture des médias projetés. Si vous devez identifier une ressource conforme à un profil APMP, pour ajouter un badge ou préparer une expérience de lecture spécifique, vous pouvez utiliser AVAssetPlaybackAssistant et rechercher l’option de configuration de projection non rectiligne. Pour en savoir plus sur la création d’expériences de lecture vidéo APMP, regardez « Support immersive video playback in visionOS apps ».

Pour une analyse approfondie, examinez d’abord les caractéristiques du média pour déterminer si la piste vidéo indique une projection non rectiligne. Examinez ensuite projectionKind pour déterminer avec précision le type de projection signalé. L’extension de description de format viewPackingKind permet d’identifier les contenus à trames empaquetées, aussi bien côte à côte ou au-dessous/en dessous. Pour monter des données projetées, utilisez l’objet AVVideoComposition du framework AVFoundation et familiarisez-vous avec CMTaggedBuffers. Les CMTaggedDynamicBuffers sont utilisés dans plusieurs API pour les contenus stéréoscopiques, y compris les API de montage comme AVVideoComposition. CMTaggedDynamicBuffer permet de spécifier certaines propriétés des tampons sous-jacents, appelées CM Tags. Chaque CM Tag contient une catégorie et une valeur. Voici un exemple de CM Tag représentant une catégorie StereoView pour l’œil gauche.

Ces tampons peuvent être regroupés en ensembles associés, comme dans cet exemple de vidéo stéréoscopique montrant des CVPixelBuffers pour l’œil gauche et l’œil droit. Pour permettre le montage vidéo stéréoscopique avec AVVideoComposition, nous avons ajouté une API qui spécifie le format des tampons balisés produits par un compositeur et une méthode pour les transmettre aux requêtes de composition. outputBufferDescription spécifie le type de CMTaggedBuffers que le compositeur devra générer. Définissez-le avant de lancer la composition. Une fois générée la paire stéréoscopique de CMTaggedBuffers, appelez la fonction finish et passez les tampons balisés.

Maintenant que j’ai expliqué comment convertir, lire et monter des ressources APMP, passons au processus de création.

Dans cet exemple de code pour une vidéo monoscopique en 360°, j’utilise AVAssetWriter pour créer la ressource. J’utilise CompressionPropertyKey pour spécifier le type de projection équirectangulaire. Les propriétés de compression sont passées à AVAssetWriterInput à l’aide de la propriété de dictionnaire outputSettings avec AVVideoCompressionPropertiesKey.

Je vais maintenant parler des recommandations pour la publication de contenu APMP.

Voici les limites recommandées pour la lecture sous visionOS. Le codec vidéo doit être encodé en HEVC Main ou Main 10, avec sous-échantillonnage de la chrominance 4:2:0. Les primaires de couleur Rec 709 ou P3-D65 sont recommandées. Le mode stéréo peut être monoscopique ou stéréoscopique. La résolution suggérée en 10 bits est 7680 x 3840 en monoscopique et 4320 x 4320 par œil pour le stéréoscopique. Les fréquences d’images varient en fonction de la résolution et de la profondeur de bits, mais 30 i/s est recommandé pour les vidéos monoscopiques 8K 10 bits ou stéréoscopiques 4K. Les paramètres d’encodage du débit binaire dépendent du contenu et doivent être choisis en fonction de votre cas d’utilisation, avec une limite maximale de 150 Mbit/s en pic. Des infos supplémentaires sur le profil stéréo MV-HEVC utilisé par Apple sont disponibles dans le document « Apple HEVC Stereo Video Interoperability Profile » sur developer.apple.com. L’outil Advanced Video Quality Tool (AVQT) prend désormais en charge les formats immersifs tels que 3D, Spatial et APMP en 180° et 360°, avec des améliorations algorithmiques pour une meilleure précision. AVQT est utile pour évaluer la qualité perceptuelle de contenu vidéo compressé et affiner les paramètres de l’encodeur vidéo. Il est également utile pour optimiser les débits des niveaux HLS. Les nouveautés incluent le calcul de métriques de qualité tenant compte des projections équirectangulaires et demi-équirectangulaires. La spécification HTTP Live Streaming prend désormais en charge la diffusion de contenu AMPM, et les derniers outils HLS du site web Apple Developer ont été mis à jour pour prendre en charge la publication APMP. Voici un exemple de manifeste pour une ressource stéréoscopique en 180°. Le changement clé se trouve dans la balise EXT-X-STREAM-INFORMATION. L’attribut REQ-VIDEO-LAYOUT spécifie une projection stéréo demi-équirectangulaire. Notez que le segment map doit également contenir une extension formatDescription signalant la projection demi-équirectangulaire et les informations de vues stéréo. Pour connaître les dernières infos sur les débits HLS par niveau et la création HLS, consultez « HLS authoring specification » sur le site web des développeurs d’Apple. L’audio spatial est aussi essentiel que la vidéo pour créer une expérience immersive captivante. Dans le monde réel, le son peut venir de n’importe où. Pour recréer cette expérience, il faut une technologie capable de représenter l’ensemble du champ sonore. C’est pourquoi nous avons conçu le codec Apple Positional Audio Codec (APAC). Une fonctionnalité clé d’APAC est l’encodage audio ambisonique, qui garantit une capture haute fidélité du champ sonore. L’audio ambisonique est une technique d’enregistrement, de mixage et de lecture de l’audio spatial sur une sphère complète.

Les enregistrements ambisoniques ne sont pas liés à une disposition spécifique de haut-parleur, car le champ sonore est encodé mathématiquement à l’aide de fonctions harmoniques sphériques.

La capture audio ambisonique repose sur un réseau de microphones disposés pour enregistrer l’environnement sonore 3D. Grâce au traitement numérique du signal, ces enregistrements sont transformés en signaux directionnels correspondant à des composantes harmoniques sphériques. La combinaison de tous ces signaux donne une représentation précise du champ sonore d’origine. En ambisonie, le terme « ordre » désigne le nombre de composantes sphériques servant à représenter un mixage audio. Le premier ordre comprend 4 composantes, ou canaux : 1 canal omnidirectionnel et 3 canaux directionnels représentant les axes avant-arrière, gauche-droite et haut-bas. L’ambisonie du deuxième ordre utilise 9 composantes, tandis que celle de troisième ordre en utilise 16. Les ambisonies d’ordre supérieur offrent une résolution spatiale plus élevée. APAC est un codec audio spatial à haute efficacité recommandé pour l’encodage de l’audio spatial, y compris l’ambisonie avec la vidéo APMP. APAC est décodé sur toutes les plates-formes Apple, à l’exception de watchOS. L’encodeur APAC intégré, accessible via AVAssetWriter sur les plateformes iOS, macOS et visionOS, prend en charge l’ambisonie d’ordre 1, 2 et 3. Ce code indique les paramètres de sortie minimaux requis pour encoder l’ambisonie d’ordre 1, 2 ou 3 à l’aide d’AVAssetWriter. Les débits recommandés pour l’ambisonie encodée avec APAC pour l’APMP vont de 384 kb/s pour l’ordre 1 à 768 kb/s pour l’ordre 3. L’audio APAC peut être segmenté et diffusé via HLS. Voici un exemple de vidéo équirectangulaire monoscopique avec de l’audio APAC encodant une piste ambisonique d’ordre 3.

Maintenant que vous avez découvert APMP, ajoutez sa prise en charge dans votre app ou service afin de permettre la lecture, le montage et le partage de contenu immersifs générés par les utilisateurs. Si vous êtes un fabricant de caméras, intégrez l’APMP pour rendre possible la lecture dans l’écosystème Apple. Adoptez l’APAC pour offrir un champ sonore immersif à partir d’un micro ambisonique, couplé à votre vidéo immersive. Merci de votre attention ! Je vais maintenant capturer une vidéo stéréoscopique en 180°.