
-
Quoi de neuf dans visionOS 26
Découvrez les nouvelles fonctionnalités de visionOS 26. Découvrez des API volumétriques améliorées et apprenez à combiner la puissance de SwiftUI, RealityKit et ARKit. Découvrez comment créer des apps et des jeux plus captivants en utilisant un suivi des mains plus rapide et des accessoires spatiaux. Découvrez en avant-première les nouveautés de SharePlay, des services de composition, des médias immersifs, du web spatial, des API pour les entreprises, et bien plus encore.
Chapitres
- 0:00 - Introduction
- 1:34 - Caractéristiques volumétriques
- 10:28 - Caractéristiques du système
- 15:21 - Jeux et accessoires spatiaux
- 23:00 - Expériences partagées
- 25:03 - Écosystème multimédia immersif
- 31:04 - Web spatial
- 34:13 - Nouvelles API pour les entreprises
Ressources
- Canyon Crosser: Building a volumetric hike-planning app
- Petite Asteroids: Building a volumetric visionOS game
- TabletopKit
Vidéos connexes
WWDC25
- Code-along : Intégrez l’IA contenue sur l’appareil à votre app à l’aide du framework de Foundation Models
- Découvrez la disposition spatiale SwiftUI
- Découvrez les améliorations de votre app d’entreprise spatiale
- Découvrir des expériences vidéo pour visionOS
- En savoir plus sur Apple Projected Media Profile
- En savoir plus sur les technologies Apple Immersive Video
- Explorer les entrées d’accessoires spatiaux sur visionOS
- Mieux ensemble : SwiftUI et RealityKit
- Nouveautés dans SwiftUI
- Nouveautés du rendu Metal pour les apps immersives
- Nouveautés pour le web spatial
- Partagez des expériences visionOS avec des personnes à proximité
- Plantez le décor avec SwiftUI dans visionOS
- Prise en charge de la lecture vidéo immersive dans les apps visionOS
- Quoi de neuf dans RealityKit
- Voici le framework Foundation Models
WWDC24
-
Rechercher dans cette vidéo…
Bonjour, je m’appelle Edwin et je fais partie de l’équipe Ingénierie logicielle d’Apple Vision Pro. Dans cette session, nous vous présenterons, moi et mes collègues Sharlene et Enrica, quelques-unes des nouvelles fonctionnalités géniales de visionOS. L’an dernier, nous avons lancé Apple Vision Pro dans le monde entier. Nous sommes émerveillés et épatés par ce que vous avez tous accompli depuis pour cette plate-forme. Des apps spatiales qui exploitent des canevas infinis, des contenus multimédias immersifs diffusés en format cinéma, ou encore des apps de productivité innovantes et des jeux.
Avec visionOS, votre contenu prend vie. Cette année, nous lançons des fonctionnalités pour faire passer vos apps au niveau supérieur avec visionOS 26. Nous commencerons par les nouvelles fonctionnalités volumétriques, pour mieux tirer parti de la 3D dans vos apps. Nous présenterons ensuite les améliorations qui rendent l’expérience spatiale visionOS plus cohérente. Nous aborderons les nouvelles fonctionnalités et la prise en charge des accessoires pour créer des jeux spatiaux révolutionnaires, et expliquerons comment profiter de vos apps et jeux avec votre entourage. Vous pouvez intégrer Apple Immersive Video directement dans vos apps et diffuser des expériences spatiales via Safari directement depuis le Web. Enfin, nous aborderons les fonctionnalités innovantes, uniques et puissantes pour les entreprises. Commençons par les nouvelles fonctionnalités volumétriques dans SwiftUI.
SwiftUI est le meilleur moyen de créer des apps de qualité pour Vision Pro. Que vous transfériez vos apps iOS, iPadOS ou macOS existantes vers visionOS ou conceviez une nouvelle expérience, vos apps offriront une expérience spatiale dès le départ.
Désormais, vous pouvez les rendre encore plus immersives grâce à des fonctionnalités ajoutées à SwiftUI pour créer des expériences volumétriques remarquables.
Commençons par la disposition de votre contenu. Avec l’alignement de la profondeur sur les dispositions existantes, des outils de rotation tenant compte de la disposition et la prise en charge 3D pour des modificateurs SwiftUI, vos dispositions 3D riches sont créées comme les UI 2D. Entrons dans le vif du sujet.
Les alignements de la profondeur sont un moyen simple de créer des dispositions 3D courantes, avec des piles 2D et des types de disposition. Vous pouvez utiliser depthAlignment.front pour aligner vos vues et en améliorer la lisibilité, comme dans cet exemple. Si vous souhaitez faire pivoter un objet 3D dans votre app, le modificateur rotation3DLayout permet de faire pivoter la géométrie dans le système de disposition, et communique ces rotations à votre vue pour que votre app puisse réagir. Comme nous l’avons vu, de nombreux outils et modificateurs de disposition SwiftUI disposent désormais d’équivalents 3D. Pour en savoir plus, regardez la session « Meet SwiftUI spatial layout ».
Les apps visionOS sont composées de Fenêtres, Volumes et Espaces. Les expériences volumétriques sont particulièrement captivantes, surtout dans le Shared Space. Cette année, nous avons étendu leur prise en charge, d’abord avec les présentations d’UI. Les infos temporaires comme les alertes, les fiches, les menus et les fenêtres contextuelles sont souvent utilisées dans les apps et sont essentielles à l’expérience utilisateur. Dans visionOS 26, il est possible d’afficher ce contenu temporaire à l’intérieur et au-dessus des volumes. Dans les expériences spatiales où le contenu 3D peut se superposer aux UI, les éléments clés tels que les présentations restent visibles en traversant le contenu. Grâce à ces traitements visuels, vos présentations seront remarquables dans tous les contextes. Pour en savoir plus sur les présentations dans les volumes, consultez « Set the scene with SwiftUI in visionOS ». Les fenêtres et les volumes agissent comme des conteneurs qui limitent l’UI et le contenu de votre app, pour définir des zones de présentation et d’interaction avec le contenu dans le Shared Space. Avec des restrictions de limites dynamiques, vos apps peuvent encore mieux s’intégrer au monde réel en affichant des éléments en dehors des limites de l’app.
Vous pouvez appliquer cet effet à vos apps en ajoutant un simple modificateur de vue, en spécifiant dans quelle mesure votre contenu doit dépasser ses limites. C’est un excellent moyen d’améliorer l’immersion de votre app sans en modifier la taille. L’interaction avec des objets virtuels doit sembler naturelle et imiter le monde réel. Les objets peuvent pivoter intuitivement avec la main de l’utilisateur, comme s’il les tenait réellement. Nous avons intégré cette fonctionnalité à Quick Look, pour manipuler et positionner le contenu 3D dans votre espace en toute fluidité. Il est très simple d’appliquer ce comportement aux objets de vos apps. Nul besoin de mettre en place une série de gestes complexes. Vous pouvez activer ces améliorations grâce à la nouvelle API Object Manipulation à l’aide d’un seul modificateur de vue SwiftUI.
Ou bien dans RealityKit, avec le nouveau ManipulationComponent. Si vous utilisez l’API Quick Look pour prévisualiser des modèles 3D dans vos apps, Object Manipulation est automatiquement pris en charge. De nombreux frameworks que vous connaissez permettent de créer des apps dans visionOS. SwiftUI fournit la base et les éléments d’interface utilisateur de votre app. RealityKit est le meilleur moyen de présenter du contenu 3D. Enfin, ARKit fournit des informations contextuelles riches sur l’environnement réel. Ensemble, ils constituent une puissante boîte à outils pour créer des expériences spatiales époustouflantes. Aujourd’hui, une nouvelle suite d’API renforce l’intégration entre ces frameworks. Voyons quelques-unes d’entre elles plus en détail. L’API Unified Coordinate Conversion facilite le déplacement de vues et d’entités entre les scènes, même entre les vues et les ancrages d’accessoires ARKit. Cela simplifie le positionnement du contenu lors de la création dans les espaces de coordonnées SwiftUI, RealityKit et ARKit. L’entité de RealityKit et ses animations sont observables, ce qui permet de les utiliser directement dans les vues SwiftUI. RealityKit peut contribuer aux mises à jour SwiftUI comme tout autre élément observable, ce qui permet de réagir aux modifications du contenu 3D. Vous pouvez écrire vos gestionnaires de gestes dans SwiftUI et les associer directement aux entités RealityKit sans passer par RealityView comme intermédiaire. L’application directe des gestes SwiftUI aux entités produit une interface API plus cohérente et performante, qui unifie davantage la gestion des gestes entre les plates-formes et les frameworks. Dans visionOS 1, il est possible d’ajouter des vues SwiftUI à votre scène RealityKit avec les pièces jointes RealityView. Nous introduisons maintenant un ViewAttachmentComponent qui permet de déclarer votre UI de manière intégrée au reste de votre code RealityKit. Nul besoin de déclarer vos pièces jointes à l’avance, elles peuvent être ajoutées directement dans votre scène en tant que composants. Modèle 3D permet de présenter du contenu 3D dans votre app, et nous étendons ces capacités, par exemple pour basculer entre les configurations définies dans vos modèles. Vous pouvez désormais lire, mettre en pause, arrêter et reprendre des animations, contrôler leur durée de lecture, charger et sélectionner des variantes depuis un fichier USD, et des configurations avec un fichier .reality. Vous souhaitez améliorer le contenu 3D, lui donner un éclat ou des reflets grâce à des effets de particules ? Pour cela, vous avez besoin de RealityView. RealityView fonctionne parfaitement avec le système de disposition et inclut un nouveau modificateur de vue, realityViewSizingBehavior, qui permet à RealityView de mieux s’adapter à la taille de son contenu 3D.
Ce sont là quelques-unes des améliorations à venir dans SwiftUI et RealityKit. Pour en savoir plus, regardez ces sessions.
Pour un exemple de la manière dont ces nouvelles API sont intégrées dans une seule app, consultez Canyon Crosser sur developer.apple.com.
Les visuels convaincants sont une chose, mais il y en a d’autres. Vous pouvez créer des expériences d’audio spatial encore plus riches, quelle que soit l’API de lecture utilisée. Auparavant, dans visionOS, tous les sons lus avec des frameworks AudioToolbox ou AVFoundation étaient spatialisés à partir de la première fenêtre de l’app. La nouvelle API Spatial Audio Experience vous permet de spatialiser chaque son à partir de sa propre fenêtre ou volume. Vous pouvez même déplacer le son d’une scène à une autre en toute fluidité. Cette année, nous ajoutons de nouvelles fonctionnalités à RealityKit pour permettre à vos apps de s’intégrer encore mieux au monde réel.
Environment Occlusion permet aux objets virtuels d’être masqués par des objets statiques du monde réel. Ceci est automatiquement appliqué aux widgets épinglés et aux modèles 3D Quick Look. Vous pouvez intégrer ce comportement à vos apps Immersive RealityKit en ajoutant un EnvironmentBlendingComponent à une entité. MeshInstancesComponent est une autre fonctionnalité utile, qui permet de dessiner de nombreuses variantes uniques d’une ressource. Cet exemple illustre le rendu et l’animation de 1 000 objets distincts dérivés de seulement cinq ressources uniques. La prise en charge du format de fichier image AV1 et les méthodes simplifiées d’affichage de tout type d’images, y compris les images spatiales, renforcent la qualité et les performances de vos scènes 3D dans le Shared Space. Nous ajoutons des fonctionnalités telles que des mises à jour de la compréhension des scènes, des entités et un nouveau type d’image avec ImagePresentationComponent. Nous avons hâte de découvrir comment vous intégrerez ces API de manière ingénieuse et créative dans vos apps. Pour en savoir plus sur ces mises à jour, regardez « What’s new in RealityKit ».
Pour découvrir comment créer un jeu à l’aide de RealityKit, téléchargez l’exemple Petite Asteroids sur le site web Apple Developer. Je cède maintenant la parole à Sharlene, qui présentera les fonctionnalités système. Merci, Edwin. Bonjour, je m’appelle Sharlene et je suis Responsable de programme pour visionOS. Parlons des fonctionnalités système. L’apprentissage automatique avancé fait partie intégrante des produits Apple. En mars, nous avons lancé plusieurs fonctionnalités Apple Intelligence et avons continué d’ajouter des mises à jour à nos fonctionnalités et modèles de base, comme Image Playground. Passons en revue quelques-unes d’entre elles. Avec le nouveau framework de Foundation Models, vous avez un accès direct au grand modèle de langage de l’appareil, la base de nombreuses fonctionnalités Apple Intelligence. La génération guidée génère une sortie structurée et l’appel d’outils permet au modèle de réaliser de manière autonome les actions définies dans votre code. Pour en savoir plus sur ces fonctionnalités, vous pouvez consulter ces sessions. Dans visionOS 2.4, Image Playground pour visionOS permet de transformer des descriptions, concepts et personnes en images fun et originales, et d’intégrer des fonctionnalités de génération d’images dans vos apps grâce au framework Image Playground. Dans les dernières versions d’iOS, de macOS et de visionOS, Image Playground offre de nouvelles manières de s’exprimer.
Lorsque vous créez des images inspirées de votre famille et de vos amis, vous pouvez personnaliser davantage les expressions ou les attributs, comme la coiffure. Image Playground permet de créer des images avec ChatGPT et offre de nouveaux styles, comme la peinture à l’huile ou les images vectorielles. Lorsque vous avez une idée précise, utilisez le style « Tout » pour décrire ce que vous souhaitez. Ces fonctionnalités sont automatiquement disponibles via les API Image Playground existantes. En plus des fonctionnalités Apple Intelligence, nous lançons une API de synthèse vocale pour iOS, macOS et visionOS, appelée SpeechAnalyzer. SpeechAnalyzer exploite la puissance de Swift, une technologie avancée de reconnaissance vocale, pour offrir des fonctionnalités de synthèse vocale de pointe. Il optimise des fonctionnalités dans de nombreuses apps système : la transcription audio et des appels dans Notes, les sous-titres en direct FaceTime, etc. SpeechAnalyzer permet de créer aisément des fonctionnalités géniales comme celles-ci pour vos apps. En plus de la nouvelle API, nous lançons un modèle de synthèse vocale, SpeechTranscriber. Ce modèle est plus rapide et plus flexible que la génération précédente et est idéal pour toute transcription complexe, comme le sous-titrage multimédia. SpeechAnalyzer s’exécute entièrement sur l’appareil, afin de préserver la confidentialité des données. L’informatique spatiale a cela de magique qu’elle intègre parfaitement le contenu numérique dans l’environnement existant. Vos fenêtres, scènes et contenus 2D ou 3D dans Quick Look peuvent persister et réapparaître au même endroit, même après un redémarrage. Des API de restauration SwiftUI supplémentaires permettent de spécifier les scènes pouvant être restaurées et de réagir aux surfaces d’ancrage. Par exemple, vous pouvez supprimer l’accès aux fenêtres au lancement, comme la fenêtre Inspecteur de votre app, et désactiver sa restauration avec deux API qui peuvent sembler familières si vous utilisez macOS. Ces API et une nouvelle propriété d’environnement d’ancrage de surface permettent d’ancrer l’app dans un espace, de modifier dynamiquement le contenu selon le type de surface et de fournir le bon ensemble de fenêtres à la prochaine visite de l’app dans un espace. Nous appliquons ce comportement à une nouvelle catégorie de contenu. Les widgets. Les widgets sont des extensions d’app légères fournissant des infos utiles et personnalisées en un coup d’œil, comme la météo ou un évènement du calendrier. Les widgets peuvent s’ancrer aux murs et aux tables, s’intégrant ainsi à votre environnement en restant là ils sont placés. Dans visionOS, les widgets conçus sous iOS et iPadOS avec WidgetKit et SwiftUI sont encore mieux. Votre vue de widget adopte automatiquement les nouveaux traitements visuels, notamment la profondeur et la dimension, sans modification requise. Nous lançons des API supplémentaires pour les widgets visionOS. Les widgets sont des objets virtuels dans votre espace, vous pouvez donc interagir avec eux à différentes distances. Une API levelOfDetail permet d’afficher différentes vues selon la proximité de l’utilisateur, afin que votre widget affiche juste la bonne quantité d’infos. Nous avons ajouté l’API widgetTexture, qui permet d’ajuster l’apparence de votre widget, du verre au papier. Parlons maintenant des jeux, en commençant par les saisies. Dans Vision Pro, les saisies manuelles et visuelles sont le principal moyen d’interaction avec votre contenu. Pour les apps et jeux immersifs qui requièrent des mouvements rapides des mains. Sous visionOS 26, le suivi des mains est jusqu’à trois fois plus rapide. Cela renforce la réactivité de vos jeux, sans code supplémentaire. Nous ajoutons la prise en charge de deux accessoires spatiaux qui offrent de nouveaux mécanismes de saisie sur visionOS : la manette Sony PlayStation VR2 Sense et Logitech Muse. Cette manette spatiale est idéale pour les jeux. Elle peut être suivie sans fil dans 6 degrés de liberté, prend en charge la reconnaissance des mains et la navigation dans le système, ainsi que les gestes système tels que le tapotement. Avec ces capacités, des jeux comme Pickle Pro de Resolution Games peuvent offrir des expériences époustouflantes. Nous avons simplifié la recherche de vos accessoires connectés. Vos manettes PlayStation Dual Sense, Xbox Series X et S, et Xbox One permettront de profiter pleinement du contenu virtuel par défaut, même lorsque vous êtes en immersion dans le jeu. Pour les expériences spatiales qui requièrent des tâches de précision comme le dessin ou la sculpture, Logitech Muse offre de nouveaux flux de travail créatifs pour visionOS. Ses quatre capteurs permettent une saisie variable sur la pointe et le bouton latéral, et un retour haptique pour une intégration dans vos apps. Ces accessoires spatiaux fonctionnent quand une ou plusieurs apps sont ouvertes. Ils fournissent un retour haptique pour renforcer l’immersion dans votre app. Vous pouvez utiliser le framework GameController pour détecter les connexions Bluetooth. Pour le suivi, vous pouvez utiliser RealityKit ou ARKit si votre app utilise un moteur de rendu personnalisé avec Metal et Compositor Services. Pour en savoir plus sur l’ajout d’une entrée d’accessoire spatial à vos apps, regardez la session sur la saisie d’accessoire spatial dans visionOS. En plus des accessoires, de nouvelles fonctionnalités logicielles élargissent les possibilités offertes par Vision Pro pour vos jeux. Cette année, grâce à une limite de mémoire étendue dans visionOS, vous pouvez intégrer des jeux iPad à Vision Pro avec App Store Connect. En développant votre jeu existant à l’aide du SDK visionOS, vous pouvez tirer parti de l’écran haute résolution de Vision Pro et de la prise en charge immédiate des manettes de jeu sans code supplémentaire. Lorsque vous créez avec des frameworks natifs, vous pouvez utiliser le style d’immersion progressive pour apporter plus de dimension à vos apps et jeux iOS existants. Cela permet de personnaliser le niveau d’immersion et de présenter progressivement une expérience immersive tout en maintenant les utilisateurs ancrés dans le réel. Cela est idéal pour les jeux sur iPhone ou iPad existants qui ont été recompilés pour visionOS. Cette année, nous avons élargi le style d’immersion progressive aux nouveaux formats paysage et portrait, idéaux pour les jeux riches en mouvements. Vous pouvez tirer parti de ces deux nouveaux traitements à l’aide de SwiftUI et RealityKit. Si vous intégrez votre propre moteur de rendu Metal à visionOS, nous étendons le style d’immersion progressive à Compositor Services. Pour en savoir plus sur le style d’immersion progressive ou sur la manière dont vous pouvez transformer votre jeu iOS ou iPadOS existant en une expérience spatiale unique, regardez ces sessions. Compositor Services permet d’intégrer votre propre moteur de rendu Metal dans visionOS, pour un rendu de votre espace dans un style d’immersion totale, mixte ou progressive. Compositor Services ajoute deux nouvelles fonctionnalités pour améliorer l’expérience de votre app. Les effets de survol et la qualité de rendu dynamique. Voyons en quoi ils consistent. Les effets de survol facilitent l’interaction en ajoutant un effet de surbrillance lorsque l’on regarde les éléments interactifs de votre app. Cette année, les effets de survol préservant la confidentialité sont pris en charge dans les apps immersives Metal. Pour les utiliser, configurez le format de texture de la zone de suivi, ajoutez des zones de suivi à l’élément dessinable, puis configurez l’effet de survol sur la zone de suivi et dessinez la valeur de rendu.
L’optimisation des performances de rendu de votre app peut nécessiter un contrôle précis. Cette année, la qualité de rendu dynamique dans Compositor Services met en valeur vos scènes très détaillées.
Une meilleure résolution dans vos scènes rendues peut grandement améliorer l’expérience utilisateur. Cette nouvelle fonctionnalité permet de contrôler la qualité des images rendues par votre app.
À mesure que vous améliorez la qualité du rendu, la zone de haute pertinence de votre texture s’étend, augmentant la taille globale de la texture. Une qualité accrue implique que votre app utilise plus de mémoire et d’énergie.
Pour le rendu de texte ou d’éléments UI, une qualité de rendu plus élevée est recommandée. Pour garantir le fonctionnement de votre app, il convient de trouver un équilibre entre des visuels haute résolution et la gestion de la consommation d’énergie et de mémoire.
Autre fonctionnalité à venir cette année : le rendu spatial macOS, qui permet d’exploiter la puissance de votre Mac pour rendre et diffuser des contenus immersifs directement sur Vision Pro. De la prévisualisation du contenu spatial avec l’ajout d’expériences immersives à des apps Mac existantes, à la création d’un jeu totalement immersif, votre app peut combiner les capacités de rendu du Mac avec les écrans haute résolution avancés de Vision Pro. Pour créer une expérience immersive compatible avec Mac, nous utiliserons les mêmes frameworks permettant de créer des apps immersives natives. Compositor Services et ARKit sont désormais disponibles sur Mac et peuvent être utilisés avec le nouveau type de scène Espace immersif distant SwiftUI. Pour en savoir plus sur les effets de survol, la qualité du rendu dynamique et le rendu spatial macOS, regardez la « What’s new in Metal rendering for immersive apps ».
Sous visionOS 26, les jeux multijoueurs sont encore plus captivants grâce à de nouvelles fonctionnalités dans TabletopKit. TabletopKit permet de se concentrer sur la création de jeux partagés originaux en gérant la mise en réseau, les entrées, les animations et la disposition. Afin d’offrir encore plus de flexibilité et de contrôle, nous introduisons deux nouvelles API.
CustomEquipmentState permet l’ajout de vos champs de données aux éléments du jeu, appelés Équipement.
Cet état personnalisé est automatiquement mis en réseau, pour une synchronisation transparente. De plus avec CustomActions, vous pouvez définir vos actions à déclencher tout au long du jeu. Qu’il s’agisse de changements de propriété ou de mises à jour dynamiques des couleurs, vos actions personnalisées sont mises en réseau.
Nul besoin de vous soucier d’aspects tels que la mise en réseau et la saisie, vous vous concentrez sur l’essentiel : votre jeu.
Pour en savoir plus, consultez l’exemple Mini-jeu TabletopKit.
Je passe maintenant la parole à Enrica, qui va parler des Expériences partagées.
Bonjour, je m’appelle Enrica et je suis directrice de l’ingénierie dans l’équipe Apps visionOS. Je vais parler des nouveautés exceptionnelles qui seront disponibles cette année sur visionOS.
Les meilleures expériences spatiales sont souvent partagées et prennent vie grâce à SharePlay et Persona spatiales. SharePlay facilite l’intégration d’expériences partagées dans vos apps. Il y a quelque chose de magique dans le fait de découvrir du contenu virtuel avec des personnes à l’autre bout du monde. Cette fonctionnalité permet des cas d’utilisation remarquables : entreprise, productivité, divertissement, et bien plus. Mais que faire si vous souhaitez faire vivre une expérience spatiale dans Vision Pro à une personne qui est physiquement à côté de vous ?
Dans visionOS 26, le partage de fenêtre à proximité permet de créer des expériences spatiales partagées pour les personnes situées dans la même pièce. Defenderella de Rock Paper Reality en est un exemple, un jeu de tower defense qui prend vie dans votre salon.
Vous pouvez utiliser le partage de fenêtre à proximité dans vos apps SharePlay existantes sans code supplémentaire.
De plus, ARKit prend désormais en charge les ancrages partagés, ce qui permet d’ancrer avec précision du contenu partagé dans la pièce. Déplacez, redimensionnez et alignez des apps et du contenu dans votre environnement pendant une session SharePlay. Avec Quick Look, manipulez, redimensionnez et faites passer des objets virtuels entre vous, comme s’il s’agissait d’objets physiques.
Les Persona spatiales sont disponibles en version finale, avec des améliorations apportées aux cheveux, au teint, aux expressions, à la représentation et bien plus. Pour en savoir plus sur la création d’expériences de partage de fenêtre à proximité, regardez cette session. Les nouvelles expériences spatiales exceptionnelles ne s’arrêtent pas là. Parlons du contenu multimédia.
Tout le monde aime revivre ses souvenirs sur Vision Pro. Désormais, il existe une nouvelle manière incroyable de voir ses photos. Le composant ImagePresentationComponent de RealityKit utilise l’IA générative intégrée à l’appareil pour afficher du contenu spatial mono ou stéréo dans une scène spatiale 3D, optimisée pour le rendu en temps réel selon plusieurs points de vue. Les utilisateurs peuvent se pencher et regarder autour, comme s’ils étaient physiquement présents. Vision Pro est le meilleur moyen de regarder des films 2D et 3D, et des photos et vidéos spatiales. La technologie révolutionnaire Apple Immersive Video, quant à elle, repousse encore les limites du réalisme et retranscrit avec fidélité l’environnement.
Aujourd’hui, les formats multimédias couvrent un large éventail. Il s’agit notamment de vidéos 2D, de films stéréo en 3D et de vidéos spatiales tournées sur iPhone ou Vision Pro, et d’Apple Immersive Video qui vous place au cœur de l’action, le tout avec l’audio spatial Apple. Cette année, nous allons plus loin avec trois nouveaux types d’expériences multimédias pris en charge. Nous ajoutons la prise en charge système des vidéos 180º, 360º et grand champ de vision enregistrées sur les appareils photo populaires de Canon, GoPro et Insta360. Au total, visionOS 26 offre ainsi la gamme la plus complète de solutions pour profiter pleinement des médias immersifs. Cette prise en charge est possible grâce à Apple Projected Media Profile, un moyen flexible d’exprimer des opérations géométriques supplémentaires par pixel, appelées projections, pour une présentation optimale au spectateur. Apple Projected Media Profile (APMP) est basée sur des métadonnées et permet aux fichiers QuickTime et MPEG-4 d’indiquer s’ils sont à 180°, 360° ou à grand champ de vision. Ceci est essentiel pour garantir des flux de lecture et d’édition corrects. Nous avons intégré à APMP une fonctionnalité de détection des mouvements rapides, qui améliore le confort lorsque des contenus difficiles, comme des séquences filmées avec une caméra d’action, sont présentés de manière immersive.
Il existe de nombreuses bibliothèques de contenu similaire issues d’appareils photo tiers populaires, ainsi visionOS génère automatiquement des métadonnées APMP pour certains appareils photo tiers. Nous avons évoqué la prise en charge unique des supports à grand champ de vision filmés avec des caméras d’action. Examinons cela afin d’illustrer les principes fondamentaux APMP. Le dispositif de capture à gauche crée une image vidéo standard.
En raison de la nature des objectifs fisheye grand angle, le contenu est enregistré avec une image déformée. La séquence source contient une distorsion en barillet introduite par l’objectif. En s’inspirant d’une approche Apple Immersive Video, APMP permet à nos frameworks multimédias de corriger la distorsion de l’objectif en projetant les pixels sur une surface incurvée définie par l’objectif de la caméra et le mode de capture de l’appareil. Cela permet de transposer des contenus en 2D dans l’univers des médias immersifs, pour revivre de manière fantastique vos moments filmés avec une caméra d’action. Avec APMP, nous avons adopté les médias 180º, 360º et à grand champ de vision en intégrant leur prise en charge. Nous avons hâte de découvrir les nouvelles possibilités créatives qui s’offriront à vos apps et appareils photo. Découvrez tous ces formats multimédias immersifs, y compris Apple Immersive Video, dans Quick Look via l’app Fichiers, ou dans votre app avec la prise en charge complète du mode Immersion progressive, pour personnaliser les niveaux d’immersion.
La lecture est prise en charge par les API AVKit, RealityKit et Quick Look, ainsi que par WebKit. Quel que soit le type d’expérience créé, vous pouvez intégrer de manière transparente des médias époustouflants dans divers formats.
Les créateurs et créatrices qui produisent du contenu Apple Immersive Video avec la nouvelle caméra immersive Blackmagic URSA et DaVinci Resolve peuvent le lire dans leurs apps ou dans Safari. Dans les dernières mises à jour de macOS et visionOS, le nouveau framework Immersive Media Support permet de créer, traiter et partager du contenu Apple Immersive Video depuis vos pipelines de production. Pour en savoir plus sur APMP et Apple Immersive Video, et sur la prise en charge des expériences vidéo immersives dans vos apps, regardez les sessions répertoriées ici.
Si vous enregistrez du contenu sur Vision Pro, capturez désormais trois fois plus de contenu par session avec Reality Composer Pro. Le simulateur prend désormais en charge la résolution 4K en plus de l’enregistrement lorsque vous n’avez pas d’appareil à portée de main.
Passons maintenant à quelques-unes des nouvelles fonctionnalités de Safari.
La navigation spatiale transforme le Web, qui passe d’un plan 2D plat à une toile qui prend vie grâce à des expériences spatiales.
Vous pouvez regarder et parcourir des vidéos en maintenant la lecture vidéo dans votre champ de vision pendant que vous consultez un autre contenu sur la page.
Transformez des pages web pour profiter de supports spatiaux intégrés qui prennent vie lors du défilement, grâce au bouton Navigation spatiale de la barre de navigation. Toute page consultée de manière traditionnelle avec le mode lecteur du bouton de navigation sur iOS et macOS peut se transformer en mode plein écran, avec des supports spatiaux autour de vous, le tout sans quitter Safari.
Pour les développeurs web, il est possible d’intégrer des modèles 3D dans les pages web avec le nouvel élément de modèle HTML. Grâce à une API déclarative simple, vous pouvez présenter votre modèle USDZ en stéréoscopie. Le modèle fait partie intégrante de la page, peut être stylisé avec CSS et configuré avec JavaScript. Il peut également être extrait de la page et placé dans le monde réel avec Quick Look, vous donnant l’impression de pouvoir toucher l’élément que vous regardez.
Comme mentionné précédemment, Safari prend en charge divers formats de supports spatiaux. En plus d’afficher des images spatiales dans Safari, vous pouvez désormais ajouter vos vidéos spatiales dans tous les formats pris en charge, y compris Apple Immersive Video, à vos pages web à l’aide de l’élément vidéo HTML existant, pour profiter d’un contenu spatial immersif en mode plein écran.
Le nouveau Developer Preview appelé Web Backdrop, permet d’offrir des environnements immersifs personnalisés aux visiteurs avec le balisage HTML. Nous avons hâte de découvrir la créativité que vos sites web apporteront à visionOS.
Pour en savoir plus sur ces fonctionnalités et bien d’autres, regardez la session « What’s new for the spacial web ».
Nous avons ajouté Regarder pour faire défiler, une fonctionnalité mains libres pour parcourir le Web et le contenu avec vos yeux. Elle est disponible dans des apps telles que Safari, TV, Musique, App Store, Notes et Mail, et dans Quick Look.
Vous pouvez également l’intégrer à vos apps grâce aux API de SwiftUI et d’UIKit. L’informatique spatiale transforme les expériences personnelles, et ouvre aussi des opportunités pour les entreprises. Nous avons été inspirés par l’incroyable diversité des cas d’utilisation, dans les secteurs de la santé, la fabrication et les transports, pour n’en citer que quelques-uns.
Nous sommes ravis de ce que les entreprises réalisent en matière de conception collaborative, simulation, travail guidé, etc. visionOS 26 permet désormais aux entreprises d’intégrer plus facilement Vision Pro dans leurs organisations.
Grâce à des droits d’entreprise approuvés, les apps d’entreprise peuvent étendre l’accès de la caméra principale au Shared Space, pour profiter simultanément d’expériences basées sur la caméra et d’autres apps spatiales.
De plus, l’app peut accéder à une caméra principale individuelle ou aux flux des caméras principales gauche et droite simultanément.
Grâce au nouveau CameraRegionProvider d’ARKit, vous pouvez recevoir un flux vidéo amélioré et stabilisé d’une zone sélectionnée.
Cela permet de placer dans le champ de vision des infos essentielles situées dans la périphérie, ou de partager une partie stabilisée de ce que l’on voit avec un participant distant. Vous pouvez aussi fournir des paramètres supplémentaires pour améliorer la région fixe, comme modifier le contraste et l’éclat. Nous avons aussi ajouté une nouvelle API, Protected Content, pour mieux protéger les données sensibles. Avec un modificateur de vue unique, une vue de votre app peut être marquée comme étant protégée ; le système empêchera alors toute capture. Les captures et enregistrements d’écran, AirPlay et SharePlay seront désactivés. Pour les apps visionOS disposant de droits sous licence, vous pouvez définir Fenêtres en mode Suivi de fenêtre, pour que les apps suivent automatiquement votre position lorsque vous vous déplacez dans votre espace. En plus de ces nouveautés, nous facilitons encore le déploiement d’Apple Vision Pro dans les environnements d’entreprise. La fonctionnalité Retour au service permet de partager aisément et en toute sécurité des appareils entre membres de l’organisation. Lorsqu’elle est activée, Vision Pro conserve les apps téléchargées via la solution MDM pour plusieurs personnes, tout en supprimant les données sensibles entre les sessions.
Cette réinitialisation peut se faire à un intervalle prédéfini ou manuellement, afin de préparer l’appareil pour la personne suivante.
Pour utiliser Retour au service, les appareils doivent être configurés dans Apple Business Manager. L’inscription des appareils à Apple Business Manager est automatique lorsqu’ils sont achetés via des canaux d’entreprise agréés. Pour les autres appareils, Apple Configurator pour iOS a été mis à jour afin que les professionnels IT puissent inscrire aisément les appareils Vision Pro manuellement dans Apple Business Manager, pour superviser les appareils de leur organisation.
Nous avons aussi apporté des améliorations pour faciliter l’adoption rapide des appareils Vision Pro. Grâce aux améliorations de QuickStart, vous pouvez importer des données de configuration Vision Pro enregistrées dans iCloud ou sur un appareil iOS, ce qui évite une nouvelle inscription manuelle. Les entreprises qui n’utilisent pas FaceTime et SharePlay peuvent créer des expériences partagées localement à l’aide de leur propre infrastructure. Grâce à l’API SharedCoordinateSpaceProvider dans ARKit et l’utilisation des droits gérés, vous pouvez demander l’accès aux données sous-jacentes qui localisent les personnes dans le même espace physique, par exemple pour la conception et révision collaboratives. Pour découvrir comment utiliser les fonctionnalités présentées aujourd’hui, rendez-vous sur developer.apple.com pour obtenir des exemples et de la documentation.
Voici quelques-unes des fonctionnalités géniales disponibles dans visionOS 26. Nous avons hâte de découvrir ce que vous allez créer avec elles. Merci et profitez bien des autres sessions de la WWDC.
-
-
2:25 - DepthAlignment
// Layout types back align views by default struct LandmarkProfile: View { var body: some View { VStackLayout().depthAlignment(.front) { ResizableLandmarkModel() LandmarkNameCard() } } }
-
2:41 - rotation3DLayout
// Rotate using any axis or angle struct PlaneStack: View { var body: some View { VStack { ToyPlaneModel() ToyPlaneModel() .rotation3DLayout(angle, axis: .z) ToyPlaneModel() } } }
-
4:22 - Dynamic Bounds Restrictions
// Dynamic Bounds Restrictions struct ContentView: View, Animatable { var body: some View { VStackLayout().depthAlignment(.front) { // . . . } .preferredWindowClippingMargins(.all, 400) } }
-
5:05 - Model3D manipulable view modifier
// Apply the manipulable view modifier to each Model3D block per 3D object struct RockView: View { var body: some View { RockLayout { ForEach(rocks) { rock in Model3D(named: rock.name, bundle: realityKitContentBundle) { model in model.model? .resizable() .scaledToFit3D() } .manipulable() } } } }
-
5:14 - ManipulationComponent
// Add a ManipulationComponent to each entity in your scene struct RealityKitObjectManipulation: View { var body: some View { RealityView {ccontent in let rocks = await loadRockEntities() arrangeRocks(rocks) for rock in rocks { ManipulationComponent.configureEntity(rock) content.add(rock) } } } }
-
5:18 - QuickLook3DView
// Preview multiple 3D models simultaneously in your space with Quick Look and // get object manipulation on each of them by default struct QuickLook3DView: View { let url: URL var body: some View { VStack { Button("View in your space") { _ = PreviewApplication.open(urls: [url]) } } } }
-
6:36 - Gestures on entities
// Gestures on entities struct GestureExample: View { @GestureState private var dragMountain: Float = 0 @GestureState private var dragTerrain: Float = 0 var body: some View { RealityView { content in let drag1 = GestureComponent( DragGesture().updating($dragMountain) { value, offset, _ in offset = Float(value.translation.width) }) let drag2 = GestureComponent( DragGesture().updating($dragTerrain) {evalue, offset, _ in offset = Float(value.translation.width) }) mountain.components.set(drag1) terrain.components.set(drag2) } update: { content in // . . . } } }
-
6:55 - Attachments on entities
// Attachments on entities struct AttachmentComponentExample: View { var body: some View { RealityView { content in // ... Load the mountain entity // Create an AttachmentComponent with any SwiftUI View let attachmentComponent = ViewAttachmentComponent( rootView: NameSign() ) mountain.components.set(attachmentComponent) } } }
-
13:43 - SwiftUI restoration APIs
var body: some Scene { // . . . WindowGroup(id: "Editor") { EditorView() } Window("Inspector", id: "Inspector") { InspectorView() } // Prevent the inspector window from being launched on its own without an // editor window present. .defaultLaunchBehavior(.suppressed) // Prevent the inspector window from being persisted and restored across // different process or boot sessions. .restorationBehavior(.disabled) }
-
33:45 - Look to scroll
// SwiftUI var body: some View { ScrollView { HikeDetails() } .scrollInputBehavior(.enabled, for: .look) } // UIKit let scrollView: UIScrollView = { let scroll = UIScrollView() scroll.lookToScrollAxes = .vertical return scroll }()
-
-
- 0:00 - Introduction
Découvrez les mises à jour apportées à visionOS 26, notamment les nouvelles API volumétriques, les fonctionnalités système, les fonctionnalités améliorées pour le gaming et pour SharePlay, l’intégration d’Apple Immersive Video, les expériences spatiales de Safari, les outils d’entreprise et plus encore.
- 1:34 - Caractéristiques volumétriques
Dans visionOS 26, vous pouvez utiliser SwiftUI pour créer des expériences volumétriques plus immersives pour les apps Apple Vision Pro. Les nouvelles fonctionnalités de SwiftUI s’appuient sur les fonctionnalités existantes et permettent de travailler plus facilement avec le contenu 3D. Vous pouvez créer des dispositions 3D riches à l’aide d’outils et de modificateurs 2D familiers, et composer des scènes 3D avec des alignements de profondeur et des rotations tenant compte de la disposition pour garantir la lisibilité et l’attrait visuel de vos contenus. Les expériences volumétriques incluent désormais des présentations d’interface utilisateur, telles que des fenêtres contextuelles, des alertes et des fiches, que vous pouvez afficher à l’intérieur et au-dessus des volumes. Les apps se fondent mieux dans le monde réel en rendant le contenu en dehors de leurs limites, créant ainsi un résultat plus naturel et immersif. La nouvelle API Object Manipulation permet aux utilisateurs d’interagir plus facilement avec des objets virtuels en utilisant les mouvements naturels de la main. SwiftUI, RealityKit et ARKit sont plus intégrés et vous offrent ainsi une puissante boîte à outils pour créer des expériences spatiales. De nouvelles API permettent de déplacer facilement des vues et des entités entre les scènes, d’observer des entités RealityKit dans SwiftUI et d’associer directement des gestes SwiftUI aux entités RealityKit.
- 10:28 - Caractéristiques du système
visionOS 26 introduit plusieurs nouvelles fonctionnalités système. Le framework de Foundation Models offre de nouvelles capacités d’apprentissage automatique, permettant l’accès aux modèles de langage sur l’appareil et des actions autonomes. Image Playground, disponible sur visionOS, iOS et macOS, permet désormais de créer des images avec ChatGPT, d’appliquer de nouveaux styles comme la peinture à l’huile et de personnaliser les expressions. Une nouvelle API de synthèse vocale, SpeechAnalyzer, optimisée par Swift, vous permet d’intégrer à votre app des fonctionnalités avancées de reconnaissance vocale. SpeechAnalyzer fonctionne entièrement sur l’appareil, garantissant la confidentialité des données. visionOS permet désormais aux fenêtres, aux scènes et aux contenus de conserver le même emplacement physique, même après les redémarrages du système. Les widgets spatiaux peuvent s’ancrer aux murs et aux tables, et l’API « levelOfDetail » vous permet d’ajuster l’apparence et les détails des widgets en fonction de leur proximité.
- 15:21 - Jeux et accessoires spatiaux
Le suivi des mains est jusqu’à trois fois plus rapide dans visionOS 26, ce qui rend les jeux plus réactifs. L’Apple Vision Pro prend désormais en charge deux nouveaux accessoires spatiaux : la manette Sony PlayStation VR2 Sense pour des expériences de jeu immersives, et le crayon numérique Logitech Muse pour les tâches précises comme le dessin et la sculpture. Vous pouvez intégrer ces accessoires à l’aide de frameworks familiers. De plus, visionOS 26 présente une limite de mémoire étendue, permettant aux jeux iPad haut de gamme compatibles de s’exécuter sur l’Apple Vision Pro. Des fonctionnalités comme les nouveaux traitements de style d’immersion « progressive », les effets de survol, la qualité de rendu dynamique et le rendu spatial macOS vous permettent de créer des apps et des jeux plus dimensionnels et visuellement époustouflants. Vous pouvez utiliser les nouvelles API de TabletopKit pour créer des expériences de jeu partagées plus flexibles et plus captivantes, tout en gérant la mise en réseau et la saisie de manière transparente.
- 23:00 - Expériences partagées
visionOS 26 intègre le partage de fenêtre à proximité pour les personnes se trouvant dans la même pièce, la prise en charge ARKit pour les ancres d’univers partagés et des personas spatiaux améliorés. Vous pouvez intégrer ces fonctionnalités à des apps SharePlay existantes pour des interactions virtuelles fluides dans la même pièce.
- 25:03 - Écosystème multimédia immersif
Les gens utilisent l’Apple Vision Pro pour revivre des souvenirs à travers des photos et des vidéos spatiales, et pour regarder des vidéos 2D, 3D et spatiales, y compris Apple Immersive Video. visionOS 26 introduit la prise en charge système de trois nouveaux types d’expériences multimédias : à 180 degrés, à 360 degrés et à grand champ de vision, capturées par des caméras tierces populaires comme Canon, GoPro et Insta360. Vous créez ces expériences avec l’Apple Projected Media Profile (APMP), une approche basée sur les métadonnées qui permet des flux de lecture et de montage corrects pour ces formats. APMP génère automatiquement des métadonnées pour certaines caméras et corrige la distorsion de l’objectif fisheye grand angle pour rendre les contenus vidéo plus immersifs. Ensemble, la prise en charge multimédia, les nouveaux outils pour les créateurs et les fonctionnalités de simulation améliorées offrent de nouvelles possibilités créatives et font de l’Apple Vision Pro l’appareil de référence pour la création et la consommation de contenus multimédias immersifs.
- 31:04 - Web spatial
La nouvelle fonctionnalité de navigation spatiale de Safari transforme les pages en environnements 3D immersifs. Elle permet de regarder des vidéos tout en parcourant le Web, d’interagir avec des supports spatiaux intégrés et de faire glisser des modèles 3D dans le monde réel à l’aide de Quick Look. Vous pouvez intégrer des modèles 3D et des vidéos spatiales aux pages Web à l’aide d’une simple API déclarative. En outre, un nouvel aperçu réservé aux équipes de développement, nommé Web Backdrop, vous permet de proposer des environnements immersifs personnalisés grâce au balisage HTML, et une nouvelle fonctionnalité Look to Scroll mains libres permet de naviguer à l’aide de mouvements oculaires.
- 34:13 - Nouvelles API pour les entreprises
visionOS 26 apporte plusieurs améliorations aux expériences d’entreprise, dans des secteurs comme la santé, la fabrication et le transport. Ces améliorations incluent l’accès de la caméra principale au Shared Space (pour profiter simultanément d’expériences basées sur la caméra et d’autres apps spatiales), l’accès caméra stéréo (permettant aux flux de caméra de l’œil gauche et de l’œil droit d’être disponibles simultanément), la nouvelle API de zone caméra (qui permet de recevoir un flux vidéo stabilisé et amélioré d’une zone d’intérêt sélectionnée) et le mode Suivi de fenêtre (permettant aux apps de suivre automatiquement votre position, lorsque vous vous déplacez dans votre espace). De nouvelles API sont également disponibles pour protéger les données sensibles en désactivant les captures de contenu, et pour permettre aux apps de suivre la position de l’utilisateur. Vous pouvez protéger le contenu avec un modificateur de vue unique, « contentCaptureProtected ». La fonctionnalité de remise en service simplifie le partage d’appareils au sein des organisations en effaçant les informations sensibles entre les séances. Les améliorations apportées à QuickStart accélèrent la configuration des appareils, et vous pouvez désormais créer des expériences partagées localement à l’aide de l’infrastructure de l’entreprise. Ces améliorations renforcent l’intégration et la sécurité de l’Apple Vision Pro pour une utilisation professionnelle.