En savoir plus sur les technologies Apple Immersive Video

En savoir plus sur les technologies Apple Immersive Video

Découvrez les capacités des technologies Apple Immersive Video et Apple Spatial Audio Format pour créer des expériences véritablement immersives. Découvrez le nouveau framework ImmersiveMediaSupport, qui offre une fonctionnalité permettant de lire et d'écrire les métadonnées nécessaires à l'activation d'Apple Immersive Video. Apprenez les directives sur l'encodage et la publication de contenu Apple Immersive Video sous forme de fichiers autonomes pour la lecture ou le streaming via HLS. Pour tirer le meilleur parti de cette séance, nous vous recommandons de commencer par regarder « Explorer les expériences vidéo pour visionOS ».

Chapitres
- 0:00 - Introduction
- 0:48 - Présentation d’Apple Immersive Video
- 2:36 - Métadonnées d’Apple Immersive Video
- 5:13 - Lire les fichiers AIVU
- 7:16 - Écrire des fichiers AIVU
- 8:43 - Publier du contenu Apple Immersive Video
- 10:29 - Prévisualiser du contenu Apple Immersive Video
- 11:21 - Format Apple Spatial Audio
- 12:39 - Codec Apple Positional Audio
Ressources
Vidéos connexes

WWDC25
Bonjour, je suis Blake, ingénieur dans l’équipe Apple Immersive Video. Je vais vous présenter les nouvelles fonctionnalités de macOS et visionOS 26 pour créer des vidéos Apple Immersive Video. Je vais m’appuyer sur la vidéo « Explore Video Experiences for visionOS WWDC25 » pour approfondir les bases des profils vidéo dans visionOS 26, et pour vous offrir un aperçu général d’Apple Immersive Video. Il faut donc visionner cette vidéo en premier. Je vais vous présenter les fonctionnalités des technologies Apple Immersive Video et Audio spatial pour vous permettre de créer des expériences vraiment immersives. Je vais commencer par Apple Immersive Video. Apple Immersive Video propose une expérience de lecture inédite sur Vision Pro, avec une vidéo haute fidélité et un son spatial immersif qui vous plongent au cœur de l’action. Ce contenu est si immersif, qu’il nécessite des caméras spécifiques capables de capturer cette vidéo haute fidélité, comme la Blackmagic URSA Cine Immersive, conçue spécialement pour Apple Immersive Video.
Les caméras Apple Immersive Videos sont calibrées en usine de manière unique pour capturer la courbure exacte de chaque objectif stéréoscopique.
Et ces informations d’étalonnage sont incluses avec chaque fichier vidéo. L’étalonnage est utilisé dans les métadonnées vidéo pour projeter correctement la vidéo.
Ce tableau, tiré de la présentation « Explore Video Experiences for visionOS » à la WWDC25, présente les différents formats pris en charge dans visionOS 26. Pour Apple Immersive Video, un type de projection paramétrique est utilisé pour prendre en charge ces étalonnages de caméra. macOS et visionOS 26 intègrent désormais le framework Immersive Media Support pour créer des processus personnalisés. Il permet de lire et d’écrire les métadonnées essentielles pour Apple Immersive Video, et offre des fonctionnalités de prévisualisation dans les processus éditoriaux. Pour créer des outils de production vidéo, comme les logiciels de montage non linéaire ou les outils de compression et d’encodage, je vous expliquerai comment lire et écrire Apple Immersive Video, publier votre contenu pour qu’il soit accessible à tous, et prévisualiser votre contenu pendant la production. Commençons par les métadonnées, qui rendent possibles les expériences Apple Immersive Video. Ces vidéos immersives peuvent être produites à l’aide de plusieurs caméras. Et comme chaque caméra possède un étalonnage unique, leur combinaison permet de décrire précisément les lieux filmés. Le type VenueDescriptor du framework Immersive Media Support regroupe l’ensemble des caméras utilisées dans un lieu donné. Ces informations VenueDescriptor sont stockées sous forme de données Apple Immersive Media Embedded (AIMEData), que je détaillerai plus loin. Le type VenueDescriptor contient la référence aux caméras, leur modèle de vue, permet d’ajouter ou de supprimer des caméras, inclut la référence à votre AIMEData et permet d’enregistrer le tout dans une URL, un point clé pour la suite. Chaque caméra utilisée dans votre vidéo peut contenir bien plus d’informations que son simple étalonnage. Les points d’un masque ou d’un fondu de bord utilisent l’alpha pour masquer les contours du contenu.
Et les étalonnages de caméra offrent d’autres possibilités, comme la définition de la position d’origine de la caméra. Des arrière-plans personnalisés peuvent également être intégrés aux étalonnages de caméra. Pour voir toutes les fonctionnalités de VenueDescriptor et ImmersiveCamera, consultez la documentation Immersive Media Support. Les étalonnages de caméra étant propres aux images de la vidéo finale, des métadonnées dynamiques déterminent lequel appliquer à chaque image. D’autres métadonnées dynamiques temporisées, appelées PresentationCommands dans le framework Immersive Media Support, sont également intégrées dans votre fichier QuickTime final. Chaque image vidéo peut contenir plusieurs commandes de présentation. Et ces commandes accompagnent chaque image de votre piste vidéo. Un autre PresentationCommand est le shot flop, utilisé en montage pour diverses raisons, qui inverse l’image et le regard selon l’axe vertical. Il faut noter que, comme la caméra immersive utilise des objectifs stéréoscopiques, le shot flop est plus difficile à monter, car l’image et le regard sont inversés. Mais grâce à la PresentationCommand, tout cela est géré automatiquement par visionOS lors de la lecture. En plus des commandes d’étalonnage et de shot flop, il existe des fondus, rendus de façon dynamique et non intégrés directement dans les images vidéo. Pour en savoir plus sur ces commandes, consultez les types PresentationDescriptor et PresentationCommand. Je vais expliquer comment utiliser Apple Immersive Video dans vos apps. La lecture des métadonnées est essentielle pour segmenter en HLS, modifier des fichiers Apple Immersive Video ou créer un lecteur personnalisé. Pour une expérience Apple Immersive Video autonome et basée sur un seul fichier, comme c’est souvent le cas en production, un format universel a été introduit. Le fichier Apple Immersive Video Universal, ou AIVU, est un conteneur de votre vidéo finale, dans lequel le PresentationDescriptor est intégré et le VenueDescriptor ajouté en tant que métadonnée.
Les fichiers AIVU peuvent être lus dans l’app Fichiers via Quick Look sur visionOS. Pour lire une vidéo Apple Immersive Video dans votre app, en fichier autonome ou en HLS, regardez « Support Immersive Video Playback in visionOS Apps » de la WWDC25. Pour diffuser ou partager de l’Apple Immersive Video, les fichiers AIVU sont le moyen le plus simple d’intégrer ou de partager votre contenu avec toutes les métadonnées nécessaires. En plus du nouveau framework Immersive Media Support, de nouvelles API sont disponibles dans AVFoundation pour lire et écrire des vidéos Apple Immersive. Pour lire le VenueDescriptor d’un fichier AIVU, utilisez les API AVFoundation pour charger ses métadonnées. Un nouvel ID quickTimeMetadataAIMEData permet de filtrer les métadonnées spécifiques pour charger l’AIMEData comme VenueDescriptor. Pour lire les métadonnées PresentationDescriptor, récupérez le groupe de métadonnées associé à chaque horodatage des images vidéo. Filtrez à l’aide de l’ID quickTimeMetadataPresentationImmersiveMedia, puis décodez la valeur en un type PresentationDescriptor. Pour plus d’infos sur l’obtention du groupe de métadonnées temporisées, consultez l’API AVPlayerItemMetadataOutput dans AVFoundation. Que ce soit pour un outil de production ou un logiciel de montage non linéaire, vous pouvez créer vos propres fichiers AIVU pour générer de l’Apple Immersive Video. Il y a des points importants à savoir avant de créer une Apple Immersive Video. Le type de projection de vos vidéos doit être défini sur AppleImmersiveVideo. Ce type de projection paramétrique, propre à Apple Immersive Video, permet de définir comment appliquer la projection. Vous devez aussi écrire les valeurs VenueDescriptor et PresentationCommand dans les métadonnées de vos vidéos avec AVAssetWriter. Utilisez le VenueDescriptor pour récupérer l’AIMEData à enregistrer dans un AVMetadataItem avec l’ID AIMEData. Pour les PresentationCommands, utilisez le lecteur PresentationDescriptor pour obtenir les commandes à un instant donné. Utilisez également l’ID de présentation mentionné plus tôt pour créer des AVMetadataItems temporisés, alignés avec les horodatages et durées des tampons d’images de votre vidéo. Une fois vos fichiers AIVU créés, vous pouvez les vérifier à l’aide de la fonction validate de l’outil AIVUValidator du framework Immersive Media Support. Cela renverra une erreur en cas de problème ou true si le fichier est valide. Pour savoir comment utiliser AVAssetWriter pour créer des fichiers AIVU, consultez le projet Authoring Apple Immersive Video. Pour publier du contenu immersif Apple, utilisez la segmentation HLS pour diffuser votre vidéo directement dans votre app. Apple Vision Pro peut lire du MV-HEVC à une résolution recommandée de 4320 x 4320 par œil, à 90 images par seconde, avec un espace colorimétrique P3-D65-PQ, et l’Audio spatial Apple, dont je parlerai plus tard dans cette vidéo. Les plages recommandées pour la segmentation d’Apple Immersive Video vont de 25 à 100 Mb/s pour la bande passante moyenne, et de 50 à 150 Mb/s en pic. Vous devez tenir compte du compromis entre qualité et taille en créant vos propres paliers, tout en conservant la même résolution et cadence d’image. Lors de la création de la playlist HLS, incluez le VenueDescriptor en AIMEData dans un fichier joint, pour que l’Apple Vision Pro affiche correctement le contenu. Pour créer votre fichier AIME, enregistrez l’objet VenueDescriptor avec la fonction save et copiez-le dans votre playlist HLS. Il est important de conserver la piste de métadonnées lors de la segmentation du fichier QuickTime pour préserver les commandes PresentationDescriptor. La playlist HLS multivariantes contient quelques balises importantes à noter. Apple Immersive Video nécessite la version 12 ou plus, un ID de description de lieu pointant vers votre fichier AIME, un type de contenu défini comme entièrement immersif, et en plus de l’utilisation de l’audio APAC, que je présenterai plus loin dans la vidéo, une disposition vidéo stéréo utilisant la projection Apple Immersive Video. Une autre API importante du framework Immersive Media Support est ImmersiveMediaRemotePreviewSender et Receiver. Il faut noter que cette méthode de prévisualisation ne prend en charge qu’un débit réduit d’Apple Immersive Video, et doit être utilisée dans des processus éditoriaux où un aperçu rapide est utile et les fichiers vidéo complets ne sont pas encore traités. Par exemple, vous pouvez visionner du contenu sur l’Apple Vision Pro pendant le montage de la vidéo. Ces API sont conçues pour envoyer des images Apple Immersive Video du Mac vers Apple Vision Pro. ImmersiveMediaRemotePreviewSender et Receiver permettent d’envoyer les images vidéo immersives à un ou plusieurs récepteurs. En utilisant un compositeur personnalisé, cela offre un aperçu en direct dans votre application visionOS. Pour en savoir plus, consultez la documentation Immersive Media Support. L’audio spatial est aussi important que la vidéo lorsqu’il s’agit de créer une expérience immersive captivante. Nous avons créé un nouveau format pour l’Audio spatial appelé Apple Spatial Audio Format, ou ASAF. L’ASAF est utilisé en production pour créer de vraies expériences audio immersives. Le codec Apple Positional Audio Codec (APAC) est utilisé pour encoder ce format audio en vue de sa diffusion. ASAF permet de vraies expériences audio externalisées grâce à des indices acoustiques pour restituer le son. Il combine de nouvelles métadonnées avec du PCM linéaire et un puissant moteur de spatialisation intégré aux plates-formes Apple. Il génère un audio spatial haute résolution via des sources ponctuelles et des scènes ambisoniques d’ordre supérieur. L’audio restitué s’adapte entièrement à la position et à l’orientation des objets comme de l’auditeur. Rien n’est intégré de façon fixe. Et les sons en ASAF peuvent venir de toutes les directions, à n’importe quelle position et distance. L’ASAF est intégré dans des fichiers Broadcast Wave avec PCM linéaire et métadonnées. L’ASAF est généralement utilisé en production, et pour le diffuser, il faut l’encoder au format mp4 APAC. L’APAC permet de diffuser efficacement l’ASAF et est requis pour toute expérience Apple Immersive Video. La lecture APAC est disponible sur toutes les plates-formes Apple, sauf watchOS et permet de gérer les canaux audio, les objets sonores, l’ambisonie de haut ordre, les dialogues, l’audio binaural, les éléments interactifs, et les métadonnées extensibles. Ce codec permet d’offrir des expériences spatiales immersives avec des débits aussi faibles que 64 kilobits par seconde. Pour diffuser de l’audio spatial avec HTTP Live Streaming, ajoutez la balise media avec les informations de canal audio et indiquez APAC comme codec audio dans la balise stream info. Pour connaître les nouvelles fonctionnalités de HLS et la prise en charge de l’audio APAC, consultez « What’s New in HLS ». Le contenu ASAF peut être encodé en APAC via les plugins Pro Tools d’Apple ou DaVinci Resolve Studio de Blackmagic. Dans cette séance, j’ai présenté les bases des métadonnées qui rendent Apple Immersive Video possible, comment les lire et les écrire grâce au framework Immersive Media Support, ainsi que l’audio spatial. Offrez une vraie expérience immersive en intégrant Apple Immersive Video et l’audio spatial à votre app. Pour en savoir plus sur les autres formats vidéo immersifs pour visionOS, regardez « Learn About the Apple Projected Media Profile ». Pour apprendre à lire de l’Apple Immersive Video, regardez « Support Immersive Video playback in visionOS apps » de la WWDC25. J’adore les vidéos Apple Immersive Video, et j’ai hâte de découvrir vos prochaines créations. Et envoyez-moi vos fichiers Apple Immersive Video Universal pour que je puisse les regarder. Merci.

6:23 - Read VenueDescriptor from AIVU file

func readAIMEData(from aivuFile: URL) async throws -> VenueDescriptor? {
    let avAsset = AVURLAsset(url: aivuFile)
    let metadata = try await avAsset.load(.metadata)
    let aimeData = metadata.filter({ $0.identifier == .quickTimeMetadataAIMEData }).first
    if let dataValue = try await aimeData.load(.value) as? NSData {
        return try await VenueDescriptor(aimeData: dataValue as Data)
    }
    return nil
}

6:50 - Read PresentationDescriptor from AIVU playback

func presentation(timedMetadata: [AVTimedMetadataGroup]) async throws ->   
[PresentationDescriptor] {
    var presentations: [PresentationDescriptor] = [] 
    for group in timedMetadata {
        for metadata in group.items {
            if metadata.identifier == .quickTimeMetadataPresentationImmersiveMedia {
                let data = try await metadata.load(.dataValue) {
                    presentations.append(
                        try JSONDecoder().decode(PresentationDescriptor.self, from: data)
                    )
                }
            }
        }
    }
    return presentations
}

7:52 - Create AVMetadataItem from VenueDescriptor

func getMetadataItem(from metadata: VenueDescriptor) async throws -> AVMetadataItem {
    let aimeData = try await metadata.aimeData
    let aimeMetadataItem = AVMutableMetadataItem()
    aimeMetadataItem.identifier = .quickTimeMetadataAIMEData
    aimeMetadataItem.dataType = String(kCMMetadataBaseDataType_RawData)
    aimeMetadataItem.value = aimeData as NSData
        
    return aimeMetadataItem
}

8:02 - Create timed AVMetadataItem from PresentationDescriptorReader

func getMetadataItem(reader: PresentationDescriptorReader, 
                     time: CMTime, frameDuration: CMTime) -> AVMetadataItem? {
    let commands = reader.outputPresentationCommands(for: time) ?? []
    if commands.isEmpty { return nil }

    let descriptor = PresentationDescriptor(commands: commands)
    let encodedData = try JSONEncoder().encode(descriptor)
    let presentationMetadata = AVMutableMetadataItem()
    presentationMetadata.identifier = .quickTimeMetadataPresentationImmersiveMedia
    presentationMetadata.dataType = String(kCMMetadataBaseDataType_RawData)
    presentationMetadata.value = encodedData as NSData
    presentationMetadata.time = time
    presentationMetadata.duration = frameDuration
    
    return presentationMetadata
}

8:20 - Validate AIVU file

func validAIVU(file aivuFile: URL) async throws -> Bool { 
    return try await AIVUValidator.validate(url: aivuFile)
}

9:31 - Save AIME file

let aimeFile = FileManager.default.temporaryDirectory.appendingPathComponent("primary.aime")
try? await venueDescriptor.save(to: aimeFile)

- 0:00 - Introduction
- visionOS 26 offre de nouvelles fonctionnalités qui vous permettent de créer des expériences Apple Immersive Video avec l’Audio spatial.
- 0:48 - Présentation d’Apple Immersive Video
- Apple Immersive Video permet une lecture vidéo stéréoscopique haute fidélité avec un son totalement immersif sur l’Apple Vision Pro. Des caméras spécialisées, comme la Blackmagic URSA Cine Immersive, sont calibrées pour capturer la courbure exacte de chaque objectif stéréoscopique. Ces informations de calibrage sont transportées avec les fichiers vidéo pour une projection correcte. macOS et visionOS 26 prennent en charge ce format via le framework Immersive Media Support, qui permet d’exécuter des workflows personnalisés pour la création, la visualisation et la publication de contenus.
- 2:36 - Métadonnées d’Apple Immersive Video
- Apple Immersive Video peut être générée à l’aide de plusieurs caméras, chacune avec des calibrages uniques. La combinaison de ces caméras décrit les lieux capturés. Les VenueDescriptors incluent des informations sur la caméra, des masques de fusion des bords, des arrière-plans personnalisés et des données de calibrage dynamique pour chaque image vidéo. Ils sont stockés au format Apple Immersive Media Embedded, ou AIMEData. Le framework Immersive Media Support permet d’intégrer des commandes de présentation telles que les transitions, les fondus et le rendu dynamique. Celles-ci sont automatiquement gérées par visionOS pendant la lecture, ce qui simplifie le processus éditorial des vidéos immersives stéréoscopiques. Pour plus d’informations, reportez-vous aux types PresentationDescriptor et PresentationCommand.
- 5:13 - Lire les fichiers AIVU
- Le fichier AIVU (Apple Immersive Video Universal) est un conteneur de sortie vidéo avec multiplexage des métadonnées. Vous pouvez lire des fichiers AIVU sur visionOS via Coup d’œil dans l’app Fichiers et dans des apps personnalisées à l’aide d’AVKit. Le nouvel identifiant de métadonnées quickTimeMetadataAIMEData AVAsset permet d’accéder à AIMEData en tant que VenueDescriptor, et les métadonnées PresentationDescriptor sont disponibles via AVTimedMetadataGroup.
- 7:16 - Écrire des fichiers AIVU
- Pour créer des fichiers Apple Immersive Video (AIVU), utilisez le type de projection AppleImmersiveVideo et écrivez les valeurs VenueDescriptor et PresentationCommand dans les métadonnées de vos ressources à l’aide d’AVAssetWriter. La fonction de validation d’AIVUValidator peut alors vérifier les fichiers. Pour plus d’informations, consultez l’exemple de projet « Création dans Apple Immersive Video ».
- 8:43 - Publier du contenu Apple Immersive Video
- Pour publier votre contenu immersif Apple, utilisez la segmentation HLS avec la vidéo MV-HEVC à 4 320 x 4 320 par œil, 90 images par seconde et l’espace colorimétrique P3-D65-PQ. Les niveaux recommandés pour la segmentation de la vidéo Apple Immersive Video vont de 25 à 150 Mbps pour une bande passante moyenne. Incluez le fichier AIME (VenueDescriptor) avec votre playlist HLS multi-variantes, ainsi que la piste audio APAC. Votre playlist doit spécifier la version 12 ou ultérieure, le type de contenu entièrement immersif et la disposition vidéo stéréo avec projection Apple Immersive Video.
- 10:29 - Prévisualiser du contenu Apple Immersive Video
- Les nouvelles API ImmersiveMediaRemotePreviewSender et Receiver du framework Immersive Media Support prennent en charge la prévisualisation en direct à faible débit des vidéos Apple Immersive Video du Mac vers l’Apple Vision Pro pendant les processus éditoriaux, ce qui permet un visionnage en temps réel pendant le montage. Pour en savoir plus, pensez à consulter la documentation d’Immersive Media Support.
- 11:21 - Format Apple Spatial Audio
- Le format ASAF (Apple Spatial Audio Format) est un nouveau format de production qui utilise de nouvelles métadonnées, le PCM linéaire et un moteur de rendu spatial pour créer de l’Audio spatial haute résolution. Le format ASAF permet un son externalisé avec un son adaptatif dans toutes les directions, distances et positions. Il est transporté dans des fichiers Broadcast Wave avec des signaux PCM linéaires et des métadonnées.
- 12:39 - Codec Apple Positional Audio
- Pour diffuser en streaming des fichiers audio ASAF via HLS, encodez-les au format MP4 APAC à l’aide des modules Apple Pro Tools ou de DaVinci Resolve Studio Editor de Blackmagic Design. La fonctionnalité APAC est requise pour toute expérience Apple Immersive Video et est disponible sur toutes les plateformes Apple à l’exception de watchOS, ce qui permet une diffusion efficace en Audio spatial avec de faibles débits. Incluez la balise media avec les informations sur le canal et spécifiez APAC dans la balise stream info pour diffuser l’Audio spatial avec HLS.

Chapitres

Ressources

Vidéos connexes

WWDC25