Quoi de neuf dans RealityKit

Le framework RealityKit, lancé en 2019, permet aux développeurs de créer des apps et des jeux 3D immersifs sur différentes plateformes Apple, notamment visionOS, iOS, iPadOS, macOS et désormais tvOS. Suite aux retours, notre dernière version apporte plusieurs nouveautés intéressantes : un accès direct aux données ARKit, un « ManipulationComponent » permettant d’interagir avec les objets 3D, un « EnvironmentBlendingComponent » pour une meilleure fusion avec le monde réel, et un « MeshInstancesComponent » qui optimise l’affichage de multiples modèles 3D. Ces fonctionnalités sont mises en valeur dans un jeu de puzzle en réalité augmentée où les joueurs manipulent des objets pour ouvrir un coffre mystérieux. Vous verrez ainsi comment RealityKit permet de créer une expérience fluide entre le monde virtuel et réel.

Grâce à cette nouvelle API, vous pouvez accéder directement aux données ARKit via RealityKit, ce qui améliore la puissance des « AnchorEntities ». Grâce à la création d’une « SpatialTrackingSession » avec le suivi de plan activé, vous pouvez configurer des « AnchorEntities » pour filtrer des surfaces spécifiques du monde réel, telles que des tables avec des dimensions minimales. Lorsque le système détecte une surface correspondante, il déclenche un « AnchorStateEvent » pour fournir des données ARKit telles que la transformation et l’étendue. Ces données peuvent ensuite être utilisées pour positionner avec précision les entités sur la surface ancrée, en veillant à ce qu’elles soient centrées et alignées par rapport au spectateur.

Dans l’espace immersif, les objets du jeu apparaissent sur les surfaces appropriées. Le « ManipulationComponent » de RealityKit permet aux utilisateurs de saisir, de faire pivoter et d’échanger ces entités 3D entre leurs mains. L’appel de la fonction « configureEntity » ajoute automatiquement les composants nécessaires. Pour éviter que les objets ne soient réinitialisés après leur libération, définissez la propriété « releaseBehavior » sur « stay ». Un « PhysicsBodyComponent » ajouté permet aux objets de tomber au sol. L’API « ManipulationEvents » est utilisée pour activer et désactiver la gravité ; la gravité est activée lorsque quelqu’un relâche un objet (évènement « WillEnd ») et désactivée lorsqu’il est ramassé (évènement « WillBegin »), ce qui permet des interactions réalistes tout en gardant le contrôle pendant la manipulation.

Dans visionOS, grâce à l’API Scene Understanding de RealityKit, vous pouvez intégrer l’environnement réel dans la simulation physique d’un jeu. L’API « SpatialTrackingSession » vous permet de générer un maillage de l’environnement. Pour que les objets du jeu puissent entrer en collision avec ce maillage du monde réel, les indicateurs « SceneUnderstandingFlags » pour la collision et la physique doivent être définis dans la configuration « SpatialTrackingSession » avant de démarrer la session. Cette mise à jour permet aux objets du jeu d’interagir de manière réaliste avec l’environnement physique, par exemple en les laissant tomber sur des tables ou sur le sol.

Avec la dernière mise à jour de RealityKit, vous pouvez utiliser « EnvironmentBlendingComponent » dans vos apps d’espace immersif pour occulter des entités virtuelles avec l’environnement réel. Lorsque vous ajoutez ce composant et définissez le mode de fusion, les entités peuvent être occultées de manière réaliste par des objets statiques du monde réel et créer ainsi une expérience plus fluide. Toutefois, vous devez savoir que ces entités sont toujours dessinées derrière les autres objets virtuels de la scène et ne seront pas occultées par des objets dynamiques en mouvement, tels que des personnes ou des animaux domestiques.

La dernière mise à jour de RealityKit intègre également le « MeshInstancesComponent », qui améliore l’efficacité du rendu en vous permettant de dessiner plusieurs fois un même maillage dans une entité. Ce nouveau composant remplace le clonage d’entités, ce qui réduit considérablement l’empreinte mémoire et le temps de traitement. « MeshInstancesComponent » vous permet de fournir une liste de transformations pour chaque instance de maillage, ce qui permet d’obtenir des apparences uniques grâce à « CustomMaterials » sur les plateformes prises en charge. Cette méthode améliore les performances en optimisant le transfert de données GPU. Lorsque vous utilisez ce composant pour de grandes zones, divisez-le en entités plus petites afin d’assurer une élimination appropriée. Vous trouverez une démonstration de la manière d’initialiser et de remplir le « MeshInstancesComponent » avec des transformations aléatoires, afin de créer une zone jouable avec des décorations. Ces différentes API, comprenant AnchorStateEvent, ManipulationComponent, les indicateurs sceneUnderstanding et EnvironmentBlendingComponent, travaillent ensemble pour offrir des expériences en réalité augmentée à la fois immersives et naturelles.

RealityKit s’enrichit cette année de nouvelles fonctionnalités majeures qui optimisent le traitement des contenus immersifs. Grâce à un nouveau composant, « ImagePresentationComponent », vous pouvez afficher trois types d’images : les images 2D traditionnelles, les photos spatiales et les scènes spatiales. Les vues spatiales apportent vraiment quelque chose de spécial. En fait, ce sont des rendus en 3D créés à partir de simples photos en 2D. Ils ont un effet de diorama avec un effet de profondeur quand on bouge, ce qui donne vraiment vie aux images fixes. Pour créer ces vues spatiales, il vous suffit de prendre une photo ou une image 2D, de la convertir avec la classe « Spatial3DImage » et de définir le mode d’affichage souhaité. Le « VideoPlayerComponent » a également été mis à jour afin de prendre en charge divers formats vidéo immersifs, notamment les vidéos spatiales, les vidéos Apple Projected Media Profile telles que les vidéos 180° et 360°, ainsi que les vidéos Apple Immersive Video. Vous pouvez lire ces vidéos dans différents modes d’affichage et configurer les paramètres de confort pour les vidéos Apple Projected Media Profile.

La mise à jour RealityKit de cette année améliore considérablement le développement d’apps 3D. Les principales mises à jour sont les suivantes. Accessoires spatiaux : RealityKit prend désormais en charge le suivi des accessoires spatiaux dans six degrés de liberté avec fonctionnalités haptiques, pour des interactions plus immersives dans le Shared et le Full Space. Intégration SwiftUI : de nouveaux composants, tels que « ViewAttachmentComponent », « PresentationComponent » et « GestureComponent » simplifient l’ajout de vues SwiftUI, de présentations modales et de gestes aux entités. Mises à jour des entités : une nouvelle méthode d’attachement d’entités simplifie l’attachement de maillages à des squelettes animés, et un initialiseur permet de charger des entités à partir d’objets de données en mémoire, prenant en charge les scènes en ligne et le streaming USD. Prise en charge des textures et des effets de survol : RealityKit prend désormais en charge les textures encodées AVIF pour réduire la taille des fichiers sans compromettre la qualité. Le « HoverEffectComponent » a été mis à jour avec des « GroupID », ce qui permet un meilleur contrôle de l’activation des effets de survol. Effets de post-traitement : « RealityViews » prend désormais en charge les effets de post-traitement. Cette fonction vous permet donc d’ajouter des effets personnalisés, tels que le bloom à l’aide de Metal Performance Shaders, « CIFilter » ou des shaders personnalisés, sur iOS, iPadOS, macOS et tvOS.