Découvrir des expériences vidéo pour visionOS

Je m’appelle Dave, ingénieur au sein de l’équipe visionOS Spatial Media.

Nous allons découvrir tous les types de médias vidéo disponibles sur visionOS, y compris quelques nouveautés de visionOS 26.

Vision Pro est un ordinateur spatial qui projette des vidéos de haute qualité de votre environnement.

Avec le Vision Pro, où que vous regardiez, les créateurs de contenu ont un espace à 360° autour du spectateur pour offrir des expériences captivantes. Ils ne se contentent pas d’un écran plat face au spectateur.

Ils ont accès à un éventail d’options de lecture multimédia, dont certaines ne sont possibles que sur un ordinateur spatial. Jetons-y un coup d’œil. Nous allons voir comment les vidéos 2D et 3D peuvent être affichées sur visionOS, y compris de nouvelles fonctionnalités passionnantes proposées dans visionOS 26.

Nous verrons comment la vidéo spatiale permet aux utilisateurs de réaliser leurs propres vidéos stéréo, et de nouvelles manières de les lire dans votre app.

Nous découvrirons les nouveaux formats vidéo immersifs pour la vidéo à 180°, 360° et grand-angle.

Et pour des expériences des plus immersives, il y a Apple Immersive Video. Nous allons voir comment vous pouvez créer vos propres contenus et outils Apple Immersive.

Nous verrons en quoi ces différents profils vidéo diffèrent afin de vous aider à choisir celui qui convient le mieux à votre app.

Commençons par la vidéo 2D et 3D.

Vision Pro est un appareil idéal pour regarder des films et des émissions de TV en 2D, et grâce à ses capacités stéréo, il est parfait pour les films 3D stéréoscopiques.

Les vidéos 2D peuvent être lues en ligne directement dans l’interface utilisateur de votre app grâce à un lecteur intégré, où la vidéo s’affiche à côté des autres éléments de l’interface.

Voici un exemple de lecture de vidéo en ligne dans le cadre d’un écran plein de contenu.

Notez que si vous intégrez une vidéo 3D en ligne, celle-ci sera automatiquement lue en 2D.

Et les vidéos 2D et 3D peuvent être visionnées dans un format étendu sur un écran flottant dans un Shared Space.

Sachez qu’une expérience avancée est nécessaire pour lire un film en 3D stéréoscopique.

La vidéo 2D et 3D peut également passer à un état ancré dans un environnement virtuel.

Voici un exemple tiré du projet de code Destination Video, disponible sur developer.apple.com, dans lequel la vidéo s’estompe à partir de sa vue agrandie, puis réapparaît, ancrée dans l’environnement Studio personnalisé de l’app, créé avec Reality Composer Pro.

La vidéo affiche automatiquement les reflets lumineux dynamiques afin de donner l’impression qu’ils font partie de l’environnement.

L’ancrage dans un environnement est un excellent exemple de la manière dont l’informatique spatiale permet à la lecture vidéo de dépasser les limites d’un écran unique fixe. Et la lecture de vidéos 2D et 3D offre encore plus de possibilités grâce à la toile infinie de Vision Pro.

visionOS 2 a introduit la vidéo multivues, qui permet aux spectateurs de profiter simultanément de plusieurs angles de caméra d’un même évènement ou de plusieurs sources vidéo dans Vision Pro.

Nouveauté visionOS 26 : les vidéos 2D et 3D peuvent désormais spécifier un masque dynamique par image afin de modifier ou d’animer leur taille et leur format, de mettre en valeur un élément de l’histoire ou de combiner des séquences d’archives et des séquences modernes dans une seule scène, sans avoir à afficher de bandes noires pour le letterboxing ou le pillar boxing.

Des transitions aussi fluides, avec un cadrage parfaitement adapté à chaque plan, ne sont possibles que sur un ordinateur spatial.

Pour plus d’informations, consultez le document « Rectangular Mask Payload Metadata » sur developer.apple.com.

La vidéo 3D est le support privilégié pour les productions stéréo professionnelles destinées à être visionnées sur grand écran. Mais, la vidéo stéréo ne nécessite pas nécessairement un studio de cinéma.

Les utilisateurs peuvent capturer eux-mêmes un nouveau type de contenu stéréo, appelé « vidéo spatiale », grâce à Vision Pro.

Sur des appareils comme l’iPhone, les utilisateurs peuvent filmer des contenus stéréo captivants, sans avoir besoin d’être experts en réalisation de films 3D.

La vidéo spatiale est une vidéo stéréo accompagnée de métadonnées supplémentaires, ce qui permet des expériences immersives et en mode fenêtré sur Vision Pro pour réduire les causes courantes d’inconfort stéréo.

Par défaut, la vidéo spatiale s’affiche dans une fenêtre, avec une légère lueur autour des bords. Elle peut aussi devenir une présentation immersive, où le contenu est ajusté pour correspondre à la taille réelle des objets. Le bord du cadre disparaît et le contenu se fond parfaitement dans le monde réel.

Les vidéos spatiales se transforment automatiquement en 2D sur d’autres plates-formes, ce qui les rend compatibles avec tous les appareils Apple.

Les utilisateurs peuvent capturer du contenu spatial pour en profiter sur Vision Pro, tout en partageant leurs souvenirs en 2D avec des proches qui n’ont pas encore de Vision Pro.

Nous avons vu précédemment comment la vidéo 2D et 3D est présentée sur un écran plat. Pour les vidéos spatiales, nous plaçons cet écran plat derrière une fenêtre et nous floutons les bords de la fenêtre afin de les adoucir. Nous évitons ainsi les problèmes lorsqu’un objet est partiellement visible dans une fenêtre, et apparaît différemment d’un œil à l’autre, ce qui peut être désagréable à regarder.

Les vidéos spatiales peuvent désormais être capturées sur l’iPhone 15 Pro, l’iPhone 16 et l’iPhone 16 Pro, dans l’app Appareil photo et dans votre propre app via les API AVCaptureDevice.

Les vidéos spatiales peuvent aussi être enregistrées avec l’Apple Vision Pro et les appareils photo Canon R7 et R50 dotés d’un objectif Canon Dual.

Dans visionOS 2, les vidéos spatiales peuvent être lues avec un style spatial dans votre app grâce à l’API QuickLook PreviewApplication.

Avec visionOS 26, nous appliquons le même style spatial à tous les frameworks de lecture multimédia d’Apple. Nous ajoutons la prise en charge de QLPreviewController dans QuickLook, ainsi que dans AVKit, RealityKit, Safari et WebKit, ce qui vous permet d’intégrer des vidéos spatiales dans votre app, avec prise en charge du HTTP Live Streaming ou HLS.

Et si vous souhaitez modifier et combiner des vidéos spatiales dans votre app afin de créer un récit plus long, ce format est désormais pris en charge par les outils de montage standard, tels que Compressor, DaVinci Resolve Studio et Final Cut Pro.

Pour découvrir d’autres exemples de ce qu’il est possible de faire avec les vidéos et les photos spatiales, consultez l’app Spatial Gallery sur Vision Pro.

Pour en savoir plus sur les formats photo et vidéo spatiaux, regardez « Build compelling spatial photo and video experiences » de la WWDC24.

Et pour découvrir comment intégrer les nouvelles méthodes de lecture de vidéos spatiales dans votre app, regardez « Support immersive video playback in visionOS app ». À propos des photos spatiales, visionOS 26 comprend une nouvelle API RealityKit permettant d’afficher des photos spatiales dans votre app et de convertir des photos 2D en scènes spatiales 3D.

Pour découvrir comment présenter des photos spatiales et générer des scènes spatiales avec les nouvelles API ImagePresentationComponent et Spatial3DImage, regardez « What’s new in RealityKit ».

Nous avons vu comment les vidéos 2D, 3D et spatiales sont toutes projetées sur une surface plane dans Vision Pro. Ces vidéos utilisent généralement ce que l’on appelle une projection rectiligne, comme on peut le voir sur cette photo du centre Apple Park Visitor.

Rectiligne signifie que les lignes sont droites. Il n’y a aucune distorsion ni déformation de l’objectif dans la vidéo.

C’est pourquoi ce type de vidéos semble approprié lorsqu’elles sont visionnées sur une surface plane, sans courbure ni déformation.

Nous avons vu comment l’expérience de lecture de ces vidéos rectilignes sur Vision Pro élargit cette surface plane pour remplir une plus grande partie du champ de vision du spectateur, grâce à l’ancrage des vidéos 2D et 3D et à la présentation immersive des vidéos spatiales.

Sur un appareil informatique spatial, nous ne sommes pas limités à une surface plane devant le spectateur. Nous pouvons ajouter plus de pixels dans l’espace disponible autour d’eux.

Les vidéos non rectilignes offrent une expérience visuelle plus immersive grâce à leur projection sur une surface courbe. Cette technique permet d’occuper un champ de vision plus large que les projections traditionnelles sur écran plat.

visionOS 26 ajoute la prise en charge native de trois de ces types de médias non rectilignes : la vidéo à 180°, la vidéo à 360° et la vidéo grand-angle. Jetons-y un coup d’œil.

La vidéo à 180° est projetée sur une demi-sphère placée directement devant le spectateur.

La projection vidéo remplit entièrement le champ de vision avant du spectateur sur cette demi-sphère.

Voici une vidéo à 180° de l’étang d’Apple Park.

Pour le spectateur, c’est comme s’il était sur place. Les créateurs de contenu transportent ainsi leurs spectateurs dans des lieux exceptionnels.

La vidéo à 180° est habituellement enregistrée en stéréo. Comme elle est en stéréo et qu’elle occupe tout votre champ de vision, vous avez l’impression de voir la réalité.

La vidéo à 360° va encore plus loin et remplit l’environnement avec le contenu.

Avec la vidéo à 360°, le contenu entoure littéralement le spectateur et lui donne la liberté de regarder où il veut. Voici un exemple de vidéo à 360° capturée sous l’arc-en-ciel de l’Apple Park. Le spectateur peut regarder dans toutes les directions et a l’impression d’être directement sous l’arc-en-ciel. Les utilisateurs ont donc l’impression d’être réellement sur place.

La vidéo à 360° est projetée sur une sphère virtuelle complète, qui enveloppe entièrement le spectateur et reste centrée sur ses yeux. Le champ de vision reste donc immersif, quelle que soit la direction du regard.

Le cadre vidéo rectangulaire adopte un format spécifique : sa largeur représente le double de sa hauteur. Il permet de capturer une scène sur 360° en largeur et 180° en hauteur.

Cette vidéo est projetée sur une sphère qui entoure le spectateur selon une projection équirectangulaire.

C’est comme sur une carte du monde, où les pôles nord et sud sont étirés horizontalement pour représenter une sphère à plat.

La projection d’une vidéo à 180° est similaire à celle d’une vidéo à 360°, mais pour une demi-sphère.

C’est ce qu’on appelle une projection demi-équirectangulaire. C’est un type de vidéo carrée dont le cadre est projeté sur la demi-sphère de la même manière que les vidéos à 360° le font pour une sphère complète.

Pour la vidéo stéréo à 180°, nous avons simplement deux carrés de vidéo, un pour chaque œil.

Les vidéos stéréo à 180° encodent deux carrés côte à côte dans un seul tampon de pixels. Cette méthode d’encodage double la largeur totale par rapport à la résolution destinée à chaque œil. Ce procédé est appelé encodage côte à côte ou par regroupement d’images.

Mais, cette approche est très redondante. Les images de l’œil gauche et de l’œil droit sont très similaires, puisqu’elles représentent deux perspectives d’une même scène.

Le Vision Pro exploite cette ressemblance grâce à une méthode différente d’encodage vidéo stéréo. Cette technique porte le nom d’encodage multivues.

Les plates-formes Apple prennent déjà en charge le format HEVC (High Efficiency Video Coding), un codec moderne et rapide pour la compression vidéo.

Nous utilisons donc le format MV HEVC ou MultiView HEVC pour les vidéos stéréo.

Pour la vidéo stéréo, MV-HEVC encode chaque œil dans son propre tampon de pixels et écrit ces deux tampons ensemble dans une seule piste vidéo. La compression exploite la similitude entre les images des deux yeux. Le système encode donc uniquement les différences de pixels pour le deuxième œil par rapport au premier.

La réduction de la taille encodée de chaque image permet d’obtenir des vidéos MV-HEVC stéréo plus compactes et plus efficaces.

Ceci est particulièrement important pour la diffusion de vidéos stéréo.

Pour en savoir plus sur l’encodage multivues et sur MV-HEVC, regardez la séance « Deliver video content for spatial experiences » de la WWDC23.

Il existe désormais un troisième type de vidéo non rectiligne dans visionOS 26 : La vidéo grand-angle des caméras d’action, telles que la GoPro HERO13 et l’Insta360 Ace Pro 2.

Les caméras d’action garantissent une stabilité d’image exceptionnelle dans toutes les conditions d’utilisation. Elles capturent un large champ de vision horizontal, généralement compris entre 120 et 180°, et utilisent souvent des objectifs de type fish-eye qui montrent la courbure visible des lignes droites dans le monde réel.

Elles peuvent ainsi capturer pleinement la vue.

Les utilisateurs regardent ces vidéos sur des appareils à écran plat, tels que l’iPhone et l’iPad. Cette configuration leur offre une expérience immersive de l’aventure.

visionOS 26 offre une expérience de lecture immersive révolutionnaire pour les caméras d’action. Le système reproduit fidèlement le profil spécifique de l’objectif grand-angle en créant une surface courbée dans l’espace 3D. Cette approche novatrice place le spectateur au centre de l’action.

La courbure de cette surface épouse le profil de l’objectif photographique pour éliminer l’effet fish-eye. Par conséquent, le spectateur distingue parfaitement les lignes droites jusqu’aux extrémités de l’image.

La reproduction fidèle des sensations du monde réel passe par un objectif grand-angle, ce qui permet d’obtenir un champ de vision maximal.

Les caméras d’action grand-angle proposent de multiples modes de prise de vue. Le choix du mode optimal dépend directement du sujet filmé.

Certains modes privilégient le centre de l’objectif, lorsque c’est là que se déroule l’action.

D’autres privilégient les bords du cadre afin de capturer un champ de vision aussi large que possible. Et il existe beaucoup d’autres combinaisons. Pour représenter tous ces différents modes et configurations d’objectifs, nous avons besoin d’un moyen plus expressif pour décrire comment le monde réel est converti en pixels dans une image. Nous utilisons les mathématiques.

Les objectifs ont des formes et des profils différents.

Pour modéliser ces différents profils d’objectifs, nous définissons un ensemble de paramètres, tels que la distance focale, l’inclinaison et la distorsion de l’objectif. Les fabricants d’appareils photo et d’objectifs ajustent ces paramètres afin de reproduire une large gamme d’objectifs. Cette adaptation permet de transposer fidèlement le monde réel en pixels sur une image.

Puisqu’elle est définie par des paramètres, nous appelons cette projection une projection immersive paramétrique.

Dans visionOS 26, ces types de vidéos immersives à 180°, 360° et grand-angle, sont pris en charge de manière native sur visionOS via un nouveau profil QuickTime appelé Apple Projected Media Profile ou APMP.

Si vous avez déjà travaillé avec des films QuickTime et le format vidéo spatial, ce profil vous semblera très familier, avec de nouveaux champs ajoutés pour décrire chaque nouveau type de projection.

Nous avons mis à jour les spécifications relatives au format multimédia spatial et immersif sur developer.apple.com afin de couvrir tous les détails de ce profil. Nous avons intégré une fonction de conversion automatique au format APMP pour les vidéos existantes, tant dans les fichiers Vision Pro que dans votre propre app.

Les vidéos stéréo à 180° capturées avec le système EOS VR de Canon et converties avec EOS VR Utility sont automatiquement converties au format 180° APMP lorsqu’elles sont ouvertes dans Vision Pro.

Les vidéos à 360° d’appareils tels que la GoPro MAX et l’Insta360 X5 sont automatiquement converties en APMP à 360°.

Les vidéos à 180° et 360° conformes à la version équirectangulaire Google Spherical Video v1 ou v2 sont également détectées et converties.

Les vidéos enregistrées à partir de caméras d’action récentes, telles que la GoPro HERO13 et l’Insta360 H Pro 2 sont automatiquement converties au format APMP grand-angle.

Les captures à objectif unique fonctionnent selon le même principe avec les caméras 360° mentionnées plus haut. Nous avons mis à jour l’outil de ligne de commande avconvert sur macOS pour permettre la conversion des contenus à 180° et 360° existants au format APMP sur Mac.

Tout comme les vidéos spatiales, le format APMP peut être lu sur visionOS 26 par tous les frameworks de lecture multimédia d’Apple, avec prise en charge de HTTP Live Streaming.

Sachez que le contenu APMP est pris en charge pour la lecture étendue et immersive, mais pas pour la lecture intégrée en ligne.

La lecture immersive d’une vidéo place le spectateur exactement là où se trouvait la caméra lors de la capture, même si celle-ci était fixée à l’extrémité d’une planche de surf.

La lecture immersive est donc particulièrement sensible au mouvement de la caméra.

Pour atténuer ce phénomène, nous avons ajouté la détection automatique des mouvements rapides dans QuickLook, AVKit et RealityKit.

La lecture réduit automatiquement l’immersion lorsqu’un mouvement rapide est détecté, ce qui peut être plus confortable pour le spectateur lors des scènes très animées.

L’app Réglages propose des options permettant de personnaliser la détection des mouvements rapides en fonction du niveau de sensibilité au mouvement de l’utilisateur.

Pour approfondir vos connaissances sur le nouveau profil Apple Projected Media, notamment sur la manière de le lire et de l’écrire pour votre propre contenu, regardez « Learn about the Apple Projected Media Profile ».

Pour une expérience immersive optimale, nous offrons désormais Apple Immersive Video, accessible aux développeurs et créateurs de contenu cette année.

Voici un exemple tiré de la série Apple TV+, « Wild Life », qui emmène les téléspectateurs à la rencontre des éléphants du Sheldrick Wildlife Trust au Kenya.

Cette scène serait presque impossible à vivre en réalité, mais avec Apple Immersive Video, vous avez l’impression d’y être.

Si vous utilisez la caméra Blackmagic URSA Cine Immersive, vous pouvez créer, monter et distribuer vous-même du contenu Apple Immersive Video.

Les spécifications de la caméra URSA Cine Immersive sont impressionnantes.

Chaque objectif de caméra est calibré individuellement en usine, en utilisant l’approche paramétrique que nous avons déjà vue, mais adaptée spécifiquement à cet objectif.

La caméra Cine Immersive capture des vidéos stéréo avec une résolution de 8 160 x 7 200 pixels par œil. Cela représente 59 mégapixels par œil à 90 images par seconde.

Soit plus de 10 milliards de pixels par seconde.

L’URSA Cine Immersive offre la capture d’un champ de vision allant jusqu’à 210° horizontalement et 180° verticalement, avec une netteté qui se rapproche de celle de l’œil humain.

Dans visionOS 26, votre app peut lire du contenu Apple Immersive Video avec les mêmes frameworks multimédias que l’APMP, avec prise en charge du HTTP Live Streaming. Le format Apple Immersive Content, tout comme l’APMP, est compatible pour une expérience de lecture étendue et immersive, mais ne permet pas la lecture intégrée en ligne.

Comment les créateurs peuvent-ils intégrer leur contenu Apple Immersive à Vision Pro ? Le processus de création de contenu comprend quatre étapes principales.

Commencez par capturer des vidéos à l’aide de la caméra immersive URSA Cine.

Ensuite, montez cette vidéo dans DaVinci Resolve Studio.

Prévisualisez et validez le contenu avec les nouvelles apps Apple Immersive Video Utility pour macOS et visionOS.

Enfin, segmentez le contenu dans Compressor pour le distribuer via HTTP Live Streaming.

Les développeurs d’apps professionnels peuvent désormais créer leurs propres outils pour exploiter l’Apple Immersive Video. Le nouvel Immersive Media Support Framework, disponible sur macOS et visionOS 26, permet de concevoir des éditeurs non linéaires ou des outils de pipeline personnalisés. Ce framework vous permet de lire et d’écrire du contenu Apple Immersive par programmation.

Apple Immersive Video propose de nombreuses fonctionnalités spécifiques à ce format, comme des fusions de bords par plan, des environnements d’arrière-plan personnalisés, le nouveau format Apple Spatial Audio et un aperçu en direct sur l’Apple Vision Pro.

Examinons un peu plus en détail l’une de ces fusions de bords par plan.

Chaque plan d’un contenu Apple Immersive Video peut définir une courbe de fusion des contours personnalisée qui correspond le mieux à son contenu et à son cadrage.

Ce n’est pas un masque intégré. C’est une courbe de mélange alpha dynamique qui adoucit les contours de la prise de vue pour la fondre dans un arrière-plan personnalisé.

Et ce n’est qu’un aperçu des possibilités offertes par Apple Immersive Video. Pour plus d’informations, regardez « Learn about Apple Immersive Video technologies ».

Pour conclure, examinons ensemble tous ces profils multimédias afin de déterminer ceux qui conviennent le mieux à votre app.

Les formats vidéo se déclinent en plusieurs catégories distinctes. Les vidéos 2D et 3D s’affichent sur écran plat classique. Les vidéos spatiales proposent une expérience stéréo derrière un écran plat, soit en mode fenêtre, soit en taille réelle pour l’immersion. Les contenus à 180° et 360° sont projetés respectivement sur une demi-sphère et une sphère entière. Les vidéos grand-angles utilisent un maillage courbe adapté à la projection des caméras d’action. Apple Immersive Video offre une expérience stéréo haute résolution avec un calibrage précis pour chaque objectif de capture.

Voici toutes les infos essentielles concernant ces différents profils vidéo, notamment la manière dont ils peuvent être capturés, leurs caractéristiques visuelles, leur champ de vision horizontal et leur type de projection.

Sachez que les vidéos à 180°, à 360° et grand-angles peuvent être en mono ou en stéréo. Les vidéos à 180° sont en stéréo, tandis que celles à 360° et grand-angle sont en mono.

Voici un rappel de la manière dont tous les différents profils peuvent être présentés pendant la lecture. Sachez que la détection de mouvement élevé est automatiquement activée pour les trois profils APMP. Et les vidéos 2D, 3D et spatiales offrent toutes une lecture en 2D lorsqu’elles sont intégrées en ligne grâce à leur projection rectiligne.

Vision Pro offre de nombreuses expériences de visionnage vidéo remarquables, allant de nouvelles manières de regarder des vidéos en 2D et 3D à des types de médias inédits qui révèlent tout leur potentiel sur une plate-forme informatique spatiale. Pour découvrir tous ces profils vidéo, découvrez nos nouveaux exemples de code pour la lecture immersive pour AVKit et RealityKit, ainsi que nos récents exemples de projets pour l’écriture et l’utilisation d’APMP et d’Apple Immersive Video.

Nous avons aussi mis à disposition sur developer.apple.com des exemples de vidéos à télécharger ainsi que des flux HLS pour les formats spatial, 180°, 360°, grand-angle et Apple Immersive Video.

Pour plus d’informations, consultez les séances vidéo connexes sur la lecture de vidéos immersives, Apple Projected Media Profile et Apple Immersive Video. Découvrez aussi comment lire tous ces types de médias sur le Web spatial dans Safari et WebKit.

Et maintenant : plongez-vous... dans l’expérience !