
-
Découvrez les principales nouveautés de la WWDC25
Explorez en détail les principales fonctionnalités annoncées lors de la WWDC25 dans cette toute nouvelle séance enregistrée en direct à l'Apple Developer Center de Cupertino. Cette vidéo s'adresse à toute votre équipe, y compris les designers, les développeurs et développeuses et les responsables produit.
Chapitres
- 0:03:10 - Agenda
- 0:04:03 - The new design system
- 0:19:16 - Build with the new design
- 0:39:53 - Machine learning and Apple Intelligence
- 1:09:03 - What's new in visionOS
Ressources
Vidéos connexes
WWDC25
- Créez un UIKit app avec le nouveau design
- Créez une app AppKit avec le nouveau design
- Créez une app SwiftUI avec le nouveau design
- Découvrez la disposition spatiale SwiftUI
- Découvrez le nouveau design des icônes d’app
- Découvrez Liquid Glass
- Découvrir des expériences vidéo pour visionOS
- Découvrir les frameworks d’apprentissage automatique et d’IA sur les plates-formes Apple
- Explorer les entrées d’accessoires spatiaux sur visionOS
- Nouveautés dans les widgets
- Premiers pas avec MLX pour les puces Apple
- Quoi de neuf dans visionOS 26
- Voici le framework Foundation Models
-
Rechercher dans cette vidéo…
Bonjour. Merci ! Commençons cette journée. Merci pour votre accueil. Bienvenue à l’Apple Developer Center de Cupertino. Je m’appelle Leah, je suis Technology Evangelist chez Apple. Nous allons passer en revue les principales annonces de la WWDC. Comme vous l’imaginez, il y a beaucoup à dire.
Mais je commencerai par un mot sur cet endroit.
Le Developer Center fait partie de l’Apple Park. C’est un lieu idéal pour les évènements de cette journée, avec différents espaces pour la collaboration et les rencontres.
Nous sommes dans la salle Big Sur. Cet espace à la pointe de la technologie est conçu pour de nombreuses activités, comme des présentations en présentiel, des enregistrements studio et des diffusions en direct.
On y trouve aussi des labos, des salles de réunion et de conférence où nous organisons un vaste panel d’évènements.
C’est l’un des quatre Developer Centers où nous accueillons des designers et développeurs pour des séances, des labos et des ateliers. Qui est venu dans un Developer Center ? Super ! Ravie de vous retrouver ici. Si vous venez pour la première fois, bienvenue à vous.
De nombreuses personnes regardent l’évènement en ligne, merci d’être avec nous !
J’aimerais dire un mot en préambule de cette journée. Cette année, la WWDC a été riche en annonces. Nous réunissons des développeurs dans 28 villes du monde entier pour revenir sur les principales.
Plus de 100 vidéos de la WWDC ont été publiées sur les nouveautés et bonnes pratiques pour nos plateformes. Vous pouvez l’imaginer, il y a beaucoup de thèmes à aborder.
Au cours des deux prochaines heures, nous passerons en revue les nouveautés les plus importantes afin que vous compreniez bien tout ce qu’elles vont apporter. Nous espérons que cela vous donnera des idées pour vos projets et que vous irez plus loin en consultant les vidéos et la documentation.
Mon équipe est impatiente d’entrer dans le vif du sujet. Avant cela, j’ai plusieurs informations à donner aux personnes ici présentes. Si vous ne le savez pas encore, vous pouvez vous connecter au réseau AppleWiFi. Si vous avez besoin de recharger vos appareils, tous les sièges sont équipés de prises à l’avant des accoudoirs.
Les présentations auxquelles vous assisterez vous sont exclusivement destinées. Merci de ne pas les enregistrer ni de les diffuser en direct. En revanche, les photos sont autorisées. Nous vous enverrons des informations une fois l’évènement terminé pour tout récapituler.
Ces détails étant réglés, nous allons pouvoir récapituler les principales nouveautés de la WWDC, dont le nouveau système de design, Apple Intelligence et l’apprentissage automatique, et visionOS.
Voici le moment que vous attendiez, le programme du jour. De captivantes présentations vont s’enchaîner.
Majo et Curt présenteront les principales innovations du nouveau système de design.
Shashank nous parlera des nouveautés pour l’apprentissage automatique et Apple Intelligence.
Nous ferons ensuite une courte pause, le temps de prendre un café, de discuter ou de vous dégourdir les jambes. Allan terminera par les nouveautés en matière d’informatique spatiale pour visionOS. Pour celles et ceux qui sont ici avec nous à Cupertino, nous organisons une soirée où vous pourrez vous restaurer et échanger avec les équipes Apple. Ce sera très sympa.
Après avoir vu le programme du jour, accueillons Majo qui va nous parler du nouveau système de design.
Bonjour à toutes et tous, merci d’être avec nous. Je m’appelle Majo, je suis designer et membre de l’équipe Evangelism. Je suis ravie de présenter le nouveau système de design et les incroyables possibilités qu’il offrira à vos apps.
Mon collègue Curt entrera ensuite dans les détails de sa mise en œuvre.
Lors de la WWDC25, nous avons annoncé une évolution majeure de l’aspect des logiciels Apple.
C’est un nouveau langage de conception harmonisé, plus cohérent, adaptatif et expressif.
Tout a été repensé, de l’apparence des icônes d’app à la structure des commandes et à la disposition des apps.
Ces nouveautés offrent un langage de conception unifié pour vos apps sur plusieurs plateformes. Vous obtiendrez ces apparences en recompilant vos apps pour le nouveau SDK.
Nous parlerons aujourd’hui de Liquid Glass,
des mises à jour apportées à certains composants clés du système
et de la mise en œuvre de cette nouvelle apparence pour l’icône de votre app.
Un tout nouveau matériau adaptatif est au cœur des mises à jour des commandes et des éléments de navigation, appelé Liquid Glass.
Ce nouveau matériau se déforme de manière dynamique, se métamorphose et concentre la lumière en temps réel.
En sculptant la lumière de cette manière, les commandes sont presque transparentes tout en restant visibles.
En même temps, le matériau se comporte et s’adapte de manière organique, comme un liquide réagissant au toucher avec fluidité.
Les effets de transition sont bien plus fluides, avec des changements de forme continus.
Lors de l’affichage d’un menu, le bouton se développe avec une transition indiquant une relation claire et directe entre le bouton et ses options.
De manière similaire, des éléments en Liquid Glass peuvent même se soulever lors d’une interaction avec la commande, laissant apparaître la valeur sous-jacente.
Il existe deux types de Liquid Glass, transparent et normal.
Le type transparent l’est en permanence, laissant apparaître la richesse du contenu situé en dessous et permettant de superbes interactions avec le matériau.
Pour la lisibilité des symboles et libellés, une couche est nécessaire pour assombrir le contenu sous-jacent.
Il y a également le Liquid Glass normal, celui que vous utiliserez le plus souvent. Il est très adaptable et offre une bonne lisibilité dans différentes conditions.
Le Liquid Glass normal détecte le niveau de luminosité de l’arrière-plan. La surface et les symboles passent du clair au sombre pour rester visibles. Ce comportement est automatique avec le matériau normal et indépendant du mode clair ou du mode sombre.
Pour intégrer Liquid Glass tout en respectant l’identité de votre marque, utilisez des composants système courants.
Comme des barres d’onglets, pour l’accès aux principales sections de votre app.
Des barres d’outils regroupant les actions et facilitant la navigation dans un écran.
Et des fenêtres présentant du contenu ou des actions simples en vue modale ou non.
Commençons par les barres d’onglets. Elles offrent un aperçu de la structure de votre app et permettent de naviguer entre les différentes sections. Comme elles sont toujours visibles, il est facile d’y accéder à tout moment.
Repensées pour Liquid Glass, elles flottent au-dessus du contenu de l’app et guident la navigation.
Elles sont translucides et peuvent se réduire et se développer lors du défilement pour laisser la place au contenu, tout en restant accessibles.
Si vous mettez à jour une barre d’onglets, vous pouvez tirer parti de plusieurs nouvelles fonctionnalités,
comme le nouvel onglet de recherche. Cet onglet dédié à la recherche est plus facile d’accès et toujours disponible depuis toutes les sections de l’app.
La barre d’onglets peut aussi afficher une vue accessoire, comme le mini lecteur de l’app Musique.
Le système l’affiche juste au-dessus, en reprenant la même apparence. Lorsque la barre d’onglets est réduite, la vue accessoire se décale vers le bas pour afficher davantage de contenu.
La vue accessoire restant visible dans l’ensemble de l’app, évitez de l’utiliser pour des actions propres à un écran. Le mélange d’éléments liés à différentes parties d’une app brouille la hiérarchie et rend plus difficile la distinction entre le persistant et le contextuel.
Mieux vaut l’intégrer à la zone de contenu à laquelle elle est associée.
Curt expliquera comment mettre en œuvre ces nouveautés dans la barre d’onglets.
Ensuite, les barres d’outils. Elles offrent un accès pratique aux commandes fréquemment utilisées, disposées le long du haut ou du bas de l’écran. Elles facilitent l’accès à la navigation et le repérage dans une app et grâce à Liquid Glass, votre contenu reste au premier plan.
Pour que les actions de la barre d’outils soient compréhensibles en un coup d’œil, préférez au texte des symboles simples et reconnaissables.
Les commandes connexes avec des symboles partagent l’arrière-plan en verre.
N’utilisez pas de symbole pour des actions comme Modifier ou Sélectionner, difficiles à représenter par des symboles.
Si la barre d’outils mélange des commandes avec du texte et des symboles, il est recommandé de les séparer pour éviter toute confusion ou association fortuite.
Si la barre d’outils est trop chargée, c’est une bonne occasion de la simplifier, de hiérarchiser et de grouper les actions.
Placez les actions secondaires dans un menu Plus, représenté par des points de suspension.
Ces ajustements clarifient l’interface et la rendent plus exploitable.
L’introduction de Liquid Glass s’accompagne d’un nouveau traitement, l’effet du bord de défilement. Dans Mail sous iOS, le contenu défile sous la barre d’outils en Liquid Glass. Grâce à l’effet du bord de défilement, les boutons restent nets et visibles.
Pensez à inclure cet effet dans votre app dès que vous utilisez des commandes flottantes en Liquid Glass.
En revanche, si la barre d’outils contient de nombreuses actions, il est mieux d’opter pour un style plein. La séparation avec la zone du contenu sera plus franche, ce qui améliore la lisibilité. Ce style est plus souvent utilisé dans les apps pour iPadOS et macOS.
La couleur peut améliorer la communication et évoquer votre marque. Toutefois, l’excès de couleur ou son utilisation aux mauvais endroits peuvent être perçus comme du bruit visuel. Voyons où et comment utiliser efficacement du Liquid Glass teinté.
Privilégiez la modération et la cohérence. Réservez la couleur aux principales actions à mettre en avant et évitez d’en ajouter uniquement pour rappeler votre marque.
La gestion des arrière-plans teintés est un problème courant. Teinter chaque bouton en verre de la barre d’outils peut perturber et détourner l’attention du contenu.
Utilisez les couleurs de votre marque à l’endroit le plus pertinent, la zone de contenu. Ainsi, votre app conservera son identité unique sans que le regard soit attiré sur la barre d’outils.
Enfin, pour teinter du Liquid Glass, utilisez la propriété « tint » intégrée. Elle génère une gamme de tons dont la teinte, la luminosité et la saturation changent en fonction de l’arrière-plan, sans trop dévier de la couleur souhaitée
et s’adapte aux fonctions d’accessibilité comme la transparence réduite. Le Liquid Glass adopte un aspect plus glacé et obscurcit davantage le contenu à l’arrière-plan. Avec l’accentuation du contraste, une bordure contrastée met en évidence les éléments.
Je vous ai montré plusieurs façons dont Liquid Glass modifie les interactions et la navigation au sein des apps. Autre composant essentiel : les feuilles. Elles permettent de demander des informations spécifiques ou de présenter une tâche simple. Elles ont également été repensées en profondeur pour Liquid Glass.
Une feuille redimensionnable est basée sur des « detents », des hauteurs spécifiques où elle se positionne naturellement. En taille petite ou moyenne, une nouvelle incrustation avec un aspect de verre flottant permet de conserver le contexte d’origine.
En pleine hauteur, la feuille se développe et le matériau en verre se transforme en devenant plus opaque, offrant une expérience adaptée aux interactions exigeant une plus grande attention. Curt vous en dira plus sur la mise en œuvre de ce comportement.
Du point de vue ergonomique, affichez la poignée uniquement lorsque la feuille peut prendre plusieurs tailles, car elle indique qu’elle peut être redimensionnée. Ajoutez un bouton explicite pour fermer la feuille, même s’il est possible de le faire avec un geste tactile.
Ces composants ont été repensés pour le nouveau système de design, Liquid Glass, et sont concentriques avec les angles des appareils Apple, traduisant un lien subtil entre le matériel et les logiciels.
Votre système de design et son aspect visuel doivent s’accorder avec Liquid Glass.
Par exemple, si les angles de votre système de design s’intègrent mal, essayez de leur donner une forme concentrique. C’est courant avec les conteneurs imbriqués, comme une image dans une carte. Cela peut créer de la tension ou rompre la sensation d’équilibre. L’avantage, c’est que le système calcule automatiquement le rayon intérieur selon la taille des conteneurs et de l’appareil, pour une intégration parfaite. Curt reviendra en détail sur ce point.
Enfin, le sentiment d’harmonie, de dimension et de fluidité du Liquid Glass est également incorporé aux icônes d’app sur Mac, iPad, iPhone, Apple Watch et CarPlay.
Les icônes système ont été repensées pour tirer parti du nouveau langage et de ses propriétés dynamiques.
Plusieurs couches d’un matériau Liquid Glass propre aux icônes d’app confèrent au design un réel aspect dimensionnel.
Le matériau s’adapte automatiquement à tous les modes d’apparence, comme les modes clair et sombre. De nouveaux modes d’apparence utilisant Liquid Glass sont disponibles, dont un verre monochrome décliné en version claire et en version sombre. De nouveaux modes teintés ont été créés. Une teinte sombre qui ajoute de la couleur au premier plan et une teinte claire, où la couleur se fond avec l’arrière-plan.
Pour créer ces icônes d’app expressives et dimensionnelles en divers aspects pour toutes les plateformes, vous utiliserez Icon Composer. Cet outil est conçu pour s’intégrer à votre workflow actuel et compléter vos outils de design. Il permet de prévisualiser et de jouer avec les nouveaux matériaux et effets.
Voilà comment adopter le nouveau système de design et le Liquid Glass. Tous ces éléments sont intégrés pour que vous puissiez rendre l’expérience de vos apps plus organique, immersive et fluide. Je laisse la place à Curt. Il vous montrera la facilité de mise en œuvre du nouveau système de design pour l’amélioration de vos apps. Merci. Je vous demande d’accueillir Curt.
Merci, Majo.
Bonjour. Je m’appelle Curt. Je suis Technology Evangelist dans l’équipe Developer Relations d’Apple. Je vais vous expliquer comment intégrer le nouveau design à vos apps. Je reviendrai sur ce qu’a dit Majo pour vous montrer comment mettre en œuvre le nouveau design dans votre code. Je prendrai Landmarks comme exemple, un projet de test disponible sur le site web Apple Developer. Le voici sur Mac, iPad et iPhone. Lors de la compilation de votre app avec les SDK Xcode 26, vous noterez tout de suite des changements dans l’UI. Nombre de ces améliorations sont disponibles automatiquement. Je vais les décrire et vous parler de nouvelles API sous iOS 26 et macOS Tahoe qui vous permettront de personnaliser davantage l’expérience. Les exemples seront basés sur SwiftUI, mais UIKit et AppKit proposent des API similaires. Je commencerai par les composants structurels, onglets et barres latérales. J’aborderai ensuite l’aspect et le comportement des barres d’outils, ainsi que les mises à jour apportées à l’expérience de recherche.
J’expliquerai comment donner vie aux commandes avec Liquid Glass. Je terminerai sur le nouveau design avec l’intégration de Liquid Glass à vos propres éléments d’UI. Je conclurai par les changements importants apportés à iPadOS 26.
Commençons par la structure des apps.
La structure d’une app fait référence à ses outils de navigation comme les onglets les barres latérales et les feuilles. Tous ces éléments ont été affinés pour le nouveau design. Les barres latérales permettent de naviguer dans une hiérarchie avec de nombreux parcours possibles. Sous macOS Tahoe et iPadOS 26, les barres latérales sont en Liquid Glass flottant au-dessus du contenu. Le comportement est identique sur les deux plateformes, mais intéressons-nous au Mac. Dans l’app Landmarks, les fleurs roses et le sable se reflètent dans la barre latérale. Mais la transition entre la bannière et la barre latérale est abrupte. Si le contenu passait sous la barre latérale, le Liquid Glass reflèterait davantage les magnifiques couleurs de la bannière.
Ajoutez pour cela le nouveau modificateur d’effet d’extension de l’arrière-plan. Il étend la vue au-delà de la zone de sécurité sans couper son contenu. Masquons la barre latérale pour voir ce qui se passe derrière. L’image est en réalité reflétée et floutée pour que ses tons apparaissent sous la barre latérale, l’intégralité du contenu restant visible.
Les vues à onglets offrent un système persistant de navigation et conviennent mieux lorsque le nombre de sections est faible, généralement pas plus de cinq.
Avec le nouveau design, la barre d’onglets sur iPhone flotte au-dessus du contenu et peut être configurée pour se réduire lors du défilement.
Pour cela, ajoutez simplement le modificateur tabBarMinimizeBehavior à votre TabView. Avec l’argument onScrollDown, un défilement vers le bas réduit la barre, un défilement vers le haut l’agrandit.
Majo l’a dit, vous pouvez ajouter des vues au-dessus de la barre d’onglets. Utilisez cette technique pour les vues qui doivent rester accessibles, comme la vue du lecteur dans Musique.
Placez une vue au-dessus de la barre avec le modificateur tabViewBottomAccessory. Vous pouvez aussi tirer parti de l’espace libéré par la réduction de la barre d’onglets.
Pour répondre à cet évènement,
lisez tabViewBottomAccessoryPlacement à partir de l’environnement et ajustez le contenu de l’accessoire réduit dans la zone de la barre d’onglets.
Outre les onglets et barres latérales, le nouveau design améliore automatiquement les feuilles. Dans l’app Landmarks, une feuille d’options s’affiche lorsque vous créez une collection. Sous iOS 26, les feuilles partielles ont un arrière-plan en Liquid Glass. Avec les petites tailles, les bords inférieurs s’imbriquent dans les bords incurvés de l’écran. À la transition vers la pleine hauteur, l’arrière-plan en Liquid Glass s’opacifie progressivement et s’ancre aux bords de l’écran.
Les feuilles jaillissent directement des boutons qui les appellent. Voici le code d’affichage d’une feuille dans l’app Landmarks. Un bouton dans la barre d’outils affiche la feuille et un modificateur définit son contenu. Le contenu de la vue source est défini en seulement trois étapes. Première étape, je crée un espace de noms pour associer la feuille au bouton. Deuxième étape, je définis le bouton en tant que source de la transition. Troisième étape, je définis une transition avec zoom sur le contenu de la feuille. Et voici le résultat.
D’autres éléments, comme les pop-overs, les alertes et les menus, jaillissent avec fluidité des commandes en Liquid Glass, attirant ainsi l’attention sur le contenu qu’ils présentent. Ce comportement est automatique. Les boîtes de dialogue se transforment également automatiquement à partir des boutons qui les présentent. Il suffit d’associer le modificateur confirmationDialog au bouton source.
Passons aux barres d’outils.
Dans le nouveau design, leurs éléments sont placés sur une surface Liquid Glass flottant au-dessus de l’app. Ils s’adaptent au contenu sous-jacent et sont automatiquement regroupés.
En compilant l’app Landmarks avec Xcode 26, les éléments personnalisés de la barre d’outils sont regroupés séparément du bouton retour du système.
Dans Landmarks, les boutons Favoris et Ajouter à la collection sont liés.
J’utilise la nouvelle API ToolbarSpacer avec un espacement fixe pour les isoler dans leur propre groupe. Cela indique visuellement que les actions du groupe sont liées, tandis que les actions Partager le lien et Afficher l’inspecteur ont des comportements distincts.
ToolbarSpacer peut également créer un espace flexible qui se développe entre des éléments de la barre d’outils. Cette technique est utilisée dans Mail pour l’alignement de l’icône de filtrage, et celui des icônes de recherche et de rédaction à droite.
Ces améliorations de la disposition sont disponibles sur Mac, iPad et iPhone. Le nouveau design apporte d’autres modifications aux barres d’outils. Une palette monochrome est utilisée plus fréquemment, y compris dans les barres d’outils. Cela contribue à réduire le bruit visuel, à mettre en valeur le contenu de l’app et à améliorer la lisibilité.
Teintez les icônes avec le modificateur « tint » ou un style de bouton voyant. Employez les couleurs avec parcimonie. Majo l’a dit, teintez les boutons pour transmettre une signification, comme un appel à l’action ou une étape suivante, et non uniquement pour un effet visuel ou le branding.
Un effet du bord de défilement automatique assure la lisibilité des commandes. Il s’agit d’un subtil effet de flou et de fondu appliqué au contenu qui défile sous les barres.
Si vous avez ajouté d’autres arrière-plans ou un effet d’assombrissement, supprimez-les pour qu’ils n’interfèrent pas.
Comme Majo l’a dit, pour les UI denses avec de nombreux éléments flottants comme celle de l’app Calendrier, réglez l’intensité de l’effet avec le modificateur scrollEdgeEffectStyle, en transmettant le style de bord « hard ».
Voilà pour les barres d’outils. Passons à la recherche. Le nouveau design met en œuvre deux principaux modèles de recherche. Le premier l’intègre à la barre d’outils. Sur iPhone, le champ est placé au bas de l’écran pour un accès facile. Sur iPad et Mac, il apparaît en premier à l’extrémité de la barre d’outils. L’autre modèle consiste à dédier un onglet à la recherche dans une app multi-onglet. Voici comment concevoir ces deux modèles. Pour l’app Landmarks, j’ai intégré la recherche à la barre d’outils. Choisissez cet emplacement lorsqu’une recherche permet d’accéder à la totalité ou à la majeure partie du contenu de votre app.
Le champ de recherche apparaît sur sa propre surface en Liquid Glass. Un toucher active le champ et affiche le clavier.
J’ai obtenu cette variante dans Landmarks en ajoutant le modificateur searchable à la vue NavigationSplitView.
Déclarer le modificateur ici indique que la recherche s’applique à la vue, et pas seulement à l’une de ses colonnes.
Sur iPhone, cette variante s’adapte pour que le champ de recherche apparaisse au bas de l’écran.
En fonction de la taille de l’appareil et d’autres facteurs, le système peut choisir de réduire le champ sous forme de bouton, comme ici dans Mail.
Lorsque je touche le bouton, un champ de recherche s’affiche sur toute la largeur au-dessus du clavier. Pour appliquer explicitement la version réduite, si la recherche n’est pas un élément central de l’expérience de votre app, utilisez le nouveau modificateur searchToolbarBehavior.
Dans les apps à onglets, la recherche débute souvent dans un onglet dédié.
Ce modèle est utilisé dans des apps sur toutes les plateformes d’Apple, comme l’app Santé, Majo l’a évoqué.
Pour intégrer cela à votre app, ajoutez un onglet avec le rôle search et placez le modificateur searchable sur votre TabView. Si vous sélectionnez cet onglet, un champ de recherche le remplace et le contenu de l’onglet s’affiche. Vous pouvez interagir avec les suggestions de navigation ou toucher le champ pour afficher le clavier et rechercher des termes.
Sur Mac et iPad, la sélection de l’onglet de recherche affiche le champ de recherche, centré au-dessus des suggestions de navigation.
Ces modèles de recherche offrent davantage de souplesse et de contrôle sur l’expérience de recherche de votre app.
Quelle que soit la plateforme, le nouveau design actualise l’aspect des commandes comme les boutons, les curseurs, les menus, etc. Outre l’effet Liquid Glass, il harmonise leur apparence entre les plateformes Apple, offrant une expérience commune d’un appareil à un autre.
Les boutons avec bordure ont par défaut une forme de capsule reprenant les angles incurvés du nouveau design. Il y a une exception. Sous macOS, de nombreuses commandes gardent une forme rectangulaire arrondie qui préserve la densité horizontale.
Utilisez le modificateur buttonBorderShape pour ajuster la forme des commandes.
Le nouveau design harmonise la taille des commandes entre les plateformes.
La plupart des commandes sous macOS sont légèrement plus hautes, ce qui laisse plus d’espace autour de leur libellé et agrandit la surface de la zone de clic. Pour une disposition déjà assez dense, comme un inspecteur complexe, utilisez le modificateur controlSize pour définir une taille plus petite.
En plus des nouvelles tailles et formes qui uniformisent les commandes entre les plateformes Apple, vous pouvez intégrer Liquid Glass à n’importe quel bouton avec les nouveaux styles glass et glassProminent.
Le nouveau design harmonise aussi l’aspect des curseurs sous macOS, iOS et iPadOS. Sur toutes ces plateformes, les curseurs prennent en charge les valeurs discrètes avec des graduations. Vous pouvez en outre définir un point de départ arbitraire, pour les valeurs que l’on peut augmenter ou diminuer à partir d’une valeur centrale par défaut, comme la vitesse de lecture dans une app de podcasts.
Les menus d’iOS et de macOS arborent également un nouveau design. Sous macOS, des icônes apparaissent le long du bord gauche des menus. Comme toujours, utilisez un libellé ou un autre initialiseur de commande standard pour la création d’un menu. La même API produit désormais le même résultat sous iOS et macOS.
Outre les nouveautés pour les commandes, de nouvelles API permettent d’adapter les vôtres au nouveau design.
Les angles des commandes système sont alignés à l’intérieur de leurs conteneurs, que ce soit la fenêtre parente sous macOS ou le contour de l’iPhone.
Comme Majo l’a indiqué, on parle d’angles concentriques. J’adore cette animation.
Afin que les vues restent concentriques par rapport à leur conteneur, utilisez la forme rectangle concentrique. Transmettez la configuration containerConcentric au paramètre corner d’un rectangle. La forme s’adaptera automatiquement à son conteneur en fonction de l’écran et de la forme de la fenêtre.
Pour bien utiliser le nouveau design, utilisez des commandes, structures, emplacements de recherche et barres d’outils standard.
Mais une app peut parfois nécessiter une personnalisation plus poussée. Voici comment créer des éléments Liquid Glass personnalisés pour votre app. L’app Plans est un exemple parfait, avec ses commandes personnalisées qui flottent au-dessus des cartes. Ajoutons des badges personnalisés en Liquid Glass à l’app Landmarks pour chaque lieu d’intérêt. Commençons par créer une vue personnalisée pour les badges avec l’effet Liquid Glass.
Pour ajouter l’effet Liquid Glass, utilisez le modificateur glassEffect. Le modificateur glassEffect par défaut place le contenu dans une capsule avec le matériau Liquid Glass en dessous et les effets d’éclairage au-dessus.
Le contenu textuel d’un effet de verre apparaît dans une couleur vive qui s’adapte pour qu’il reste lisible devant un arrière-plan coloré.
Personnalisez la forme de l’effet de verre en la définissant avec le modificateur.
Pour les vues les plus importantes, appliquez une teinte au verre. Comme pour les barres d’outils, la couleur doit avoir un sens, et non être un simple effet visuel ou du branding.
À l’instar du texte avec effet de verre, « tint » applique une couleur vive qui s’adapte au contenu sous-jacent.
Sous iOS, ajoutez le modificateur interactive pour les commandes personnalisées ou les conteneurs avec des éléments interactifs.
Ainsi, Liquid Glass réagira aux interactions en se mettant à l’échelle, en rebondissant et en scintillant en symbiose avec l’effet des boutons de la barre d’outils et des curseurs.
Maintenant que j’ai un badge personnalisé, ajoutons-en plusieurs qui interagiront et fusionneront les uns avec les autres.
Pour combiner des éléments Liquid Glass, utilisez un GlassEffectContainer. Ce groupement est essentiel pour la précision visuelle et les performances. Le matériau Liquid Glass réfléchit et réfracte la lumière, en prélevant les couleurs à proximité. Pour cela, il échantillonne le contenu qui l’entoure.
L’utilisation d’un GlassEffectContainer permet aux éléments adjacents de partager une zone d’échantillonnage, ce qui évite les interférences. En outre, le partage de ces zones est essentiel pour les performances, il limite les passes d’échantillonnage.
En plus de contrôler l’échantillonnage, les GlassEffectContainers permettent les effets de morphing. Dans l’app Landmarks, j’utilise le GlassEffectContainer pour regrouper les badges. À l’intérieur du conteneur, j’affiche une pile de libellés lorsque les badges sont affichés. BadgeToggle permet de basculer entre les états désactivé et activé. Quand je touche ce bouton pour afficher les badges, j’obtiens une animation de morphing remarquablement fluide.
Une fois le GlassEffectContainer défini, trois étapes suffisent pour créer cette animation. J’applique un rendu Liquid Glass aux libellés et au bouton.
Je définis un espace de noms local. Enfin, j’attribue les libellés et le bouton à cet espace de noms à l’aide du modificateur glassEffectID pour indiquer au système qu’ils sont associés.
Lorsque je touche le bouton, les badges se replient avec ce superbe effet.
L’effet Liquid Glass est un excellent moyen de mettre en valeur ce qui rend votre app unique. Après ce récapitulatif des fonctionnalités intégrées au nouveau design et des options de personnalisation, voici plusieurs autres modifications à venir sous iPadOS 26.
iPadOS 26 apporte des modifications qui rendent l’iPad plus puissant et polyvalent dont un nouveau système de gestion des fenêtres offrant une méthode inédite de redimensionnement. Toutes les apps prenant en charge le redimensionnement affichent une poignée dans l’angle inférieur droit, comme sous visionOS. Faites-la glisser pour redimensionner l’app dans une fenêtre qui flotte au-dessus du fond d’écran.
Auparavant, il était possible d’empêcher le redimensionnement des fenêtres. C’est peut-être le cas de vos apps iPad. Ce ne sera plus possible sous iPadOS 26. À partir de la version majeure suivant iPadOS 26, elles devront gérer le redimensionnement.
Outre le redimensionnement, iPadOS 26 introduit une approche inédite du multitâche. Concernant le multitâche, gardez à l’esprit un point important. Les scènes sont au cœur du multitâche. Une scène représente une instance de l’interface de votre app. Par exemple, Mail permet d’ouvrir une fenêtre pour chaque boîte aux lettres, ce qui facilite l’organisation.
Chaque boîte aux lettres ouverte s’affiche dans sa propre scène.
Les apps basées sur SwiftUI prennent automatiquement en charge les scènes. Dans les apps basées sur UIKit, les scènes sont facultatives depuis leur introduction sous iOS 13. À l’avenir, elles seront indispensables. Cela vaut pour iPadOS, ainsi que pour l’iPhone et Mac Catalyst. À partir de la version majeure suivant iOS 26, seules les apps qui les prennent en charge s’exécuteront.
Une précision importante. Si la prise en charge de plusieurs scènes est conseillée, l’adoption du cycle de vie basé sur les scènes est le seul impératif.
Un guide sur l’ajout de la prise en charge des scènes est disponible en ligne.
La prise en charge du redimensionnement et du multitâche sont d’excellents moyens d’offrir une plus grande souplesse d’interaction avec votre app. C’est le moment idéal d’améliorer vos apps iPad pour qu’elles gagnent en souplesse et se démarquent sur la plateforme.
Majo, nos collègues et moi-même avons à cœur de partager avec vous ce nouveau chapitre du design Apple et nous avons hâte de découvrir vos conceptions en Liquid Glass.
Accueillons mon collègue Shashank qui vous présentera les nouveautés apportées à Apple Intelligence. Shashank.
Merci.
Bonjour. Je m’appelle Shashank. Je suis AIML Technical Evangelist chez Apple. Je vais vous présenter les dernières nouveautés concernant l’apprentissage automatique et Apple Intelligence, annoncées lors de la WWDC 25. Je vous expliquerai comment en tirer parti pour rendre vos propres apps plus intelligentes.
Nous aborderons trois thèmes. Tout d’abord, je donnerai un aperçu des fonctionnalités d’intelligence intégrées au système d’exploitation et de leur utilisation à l’aide des frameworks système. Ensuite, j’expliquerai comment intégrer plus étroitement vos apps au système. Enfin, nous verrons comment les API et outils Apple peuvent aider à optimiser et déployer des modèles ML personnalisés pour une exécution sur l’appareil.
Commençons par une vue d’ensemble. L’apprentissage automatique et Apple Intelligence alimentent de nombreuses apps et fonctionnalités intégrées du système d’exploitation Apple. L’année dernière, nous avons intégré l’intelligence générative au cœur des systèmes d’exploitation Apple avec des modèles fondateurs sur lesquels s’appuie Apple Intelligence. Les Outils d’écriture, Genmoji et Image Playground ont été intégrés au système, et vous pouvez les exploiter directement depuis vos propres apps. Par exemple, si votre app met en œuvre des commandes de texte système, Genmoji est pris en charge. De nouvelles API permettent également d’ajouter des Genmoji où vous le souhaitez dans un texte.
Image Playground permet de générer des images avec ChatGPT et d’explorer de nouveaux styles comme la peinture à l’huile ou l’art vectoriel. Le framework Image Playground permet d’afficher une feuille Image Playground directement dans votre app ou de créer des images par programmation avec l’API Image Creator.
Si votre app utilise des frameworks d’UI standard pour afficher des vues de texte, les Outils d’écriture sont pris en charge. Les Outils d’écriture aident à peaufiner ce que vous rédigez en réécrivant, en révisant ou en résumant le texte dans votre document. Et ces outils offrent désormais encore plus de possibilités. Sous iOS, iPadOS et macOS 26, il est possible d’adapter les suggestions des Outils d’écriture. Une fois le texte réécrit, vous pouvez demander que le ton soit plus chaleureux, conversationnel ou encourageant.
Même si les Outils d’écriture apparaissent au niveau du texte sélectionné, si votre app comprend beaucoup de texte, vous pouvez faciliter leur accès en ajoutant un bouton à la barre d’outils.
De même, dans le menu contextuel, les options des outils d’écriture sont automatiquement ajoutées. Si vous utilisez un menu personnalisé ou souhaitez les organiser différemment, les API permettent d’obtenir les options standard et de les placer à votre gré. Lors de la WWDC 25, le nombre de langues prises en charge par Apple Intelligence a été étendu.
Beaucoup d’entre vous ont souhaité pouvoir accéder aux modèles de langage utilisés par les fonctionnalités d’Apple Intelligence. Vous pouvez désormais y accéder directement à l’aide du framework Foundation Models. Le framework Foundation Models offre un accès direct au grand modèle de langage embarqué utilisé par Apple Intelligence, par l’intermédiaire d’une API Swift pratique et puissante. Ainsi, vous pouvez intégrer de nouvelles fonctionnalités avancées dans vos apps. Cela vous permet, par exemple, d’améliorer des fonctionnalités en proposant des suggestions de recherche personnalisées.
Vous pouvez aussi créer des expériences totalement inédites, comme générer un itinéraire personnalisé à la volée dans une app de voyage.
Ou encore générer des dialogues entre les personnages d’un jeu, tout cela entièrement sur l’appareil.
Je trouve ça génial.
Le framework s’exécutant entièrement sur l’appareil, les données restent privées et ne sont envoyées nulle part.
Ces fonctionnalités d’IA sont facilement disponibles et fonctionnent hors ligne. Aucun compte à configurer ni aucune clé API à gérer. Tout est prêt à l’emploi.
Mieux encore, c’est gratuit, pour vous et vos utilisateurs et utilisatrices, quel que soit le nombre de requêtes.
Et surtout, tout est intégré au système, sans impact sur la taille de votre app.
Ces fonctionnalités sont disponibles sous macOS, iOS, iPadOS et visionOS sur tous les appareils et dans les langues compatibles avec Apple Intelligence. Intéressons-nous de plus près au framework et à son fonctionnement. Le framework Foundation Models vous donne accès à un modèle de trois milliards de paramètres, dimensionné pour l’appareil. Il est optimisé pour les usages comme la génération de contenu, la création de résumés, la classification, les conversations multitours, etc. Il n’est pas conçu pour les tâches de raisonnement avancé, pour lesquelles on utilisera généralement un LLM dimensionné pour un serveur. Voyons comment cela fonctionne.
Le framework Foundation Models peut transmettre un prompt au grand modèle de langage embarqué, ou « LLM ». Le modèle peut ensuite analyser le prompt et générer du texte.
Supposons qu’on lui demande de créer une histoire sur un renard. Le modèle répond en générant une histoire originale et détaillée. Il s’agit du même modèle généraliste utilisé par les fonctionnalités comme les Outils d’écriture. Revenons à notre exemple de recherche personnalisée pour voir comment mettre cela en œuvre avec le framework Foundation Models.
Pour utiliser le modèle, 3 lignes de code.
Tout d’abord, importez le framework. Créez une session de modèle de langage, puis envoyez le prompt au modèle. Le prompt peut provenir de vous ou de la personne qui utilise l’app. Vous pouvez même générer des prompts de façon dynamique à partir d’une saisie. Une fois le prompt transmis, vous obtenez une réponse. Par défaut, un modèle de langage produit un langage naturel non structuré, comme vous le voyez ici. Il est facile à lire pour les humains, mais difficile à mapper sur les vues personnalisées d’une app. Pour y remédier, le framework Foundation Models propose une génération guidée. Voici comment cela fonctionne.
Tout d’abord, une structure spécifie le format de sortie.
SearchSuggestions est une structure qui stocke une liste de chaînes de recherche. Cette liste est bien plus facile à mapper sur une vue, mais elle n’est pas encore prête.
Appliquons la macro Generable à cette structure. Generable est un moyen simple d’indiquer au modèle de générer des données structurées à l’aide de types Swift. Ensuite, nous spécifions des guides,
qui permettent de fournir des descriptions et de contrôler les valeurs du type associé. Ici, nous voulons générer quatre termes de recherche dans une liste de chaînes. Vous pouvez ensuite le transmettre au modèle avec l’argument generating. Le résultat est une liste de chaînes de suggestions facile à mapper sur une vue.
La génération guidée permet de contrôler le modèle, ce qu’il doit générer, qu’il s’agisse de chaînes, de nombres, de tableaux ou de structures personnalisées. La génération guidée garantit l’exactitude structurelle grâce à une technique appelée le décodage contraint. Avec la génération guidée, les prompts peuvent être plus simples et axés sur le comportement souhaité, sans contenir d’instructions sur le format. Elle tend à améliorer la précision et les performances du modèle.
En plus des informations fournies dans le prompt, le modèle intègre les connaissances acquises lors de son entraînement. N’oubliez pas que le modèle est intégré au système d’exploitation et que ses connaissances sont figées. Si je lui demande le temps qu’il fait en ce moment à Cupertino, il n’a aucun moyen de le savoir. Si des données en temps réel ou dynamiques sont nécessaires, le framework gère l’appel d’outils.
Cela peut permettre
d’aller au-delà de la génération de texte et d’effectuer des actions. Des outils permettent au modèle d’accéder à des données en direct ou personnelles, comme la météo ou les évènements du calendrier. Vous pouvez même citer des sources pour la vérification des résultats et les outils peuvent exécuter des actions concrètes dans votre app, le système ou le monde réel. Voyons comment ces modèles fondateurs peuvent doter vos apps de capacités totalement inédites.
Prenons l’exemple d’une app de journal. Au lieu de fournir des suggestions génériques, ces modèles peuvent générer des suggestions basées sur les entrées passées et les évènements du calendrier. Le traitement étant embarqué, les données sensibles comme les données de santé restent privées.
Prenez une app de gestion des dépenses. Fini la saisie manuelle fastidieuse. Grâce aux modèles fondateurs, l’app peut directement extraire les données pertinentes du texte. Vous pouvez aller plus loin en les associant à un framework Vision pour extraire les données d’un reçu ou d’une capture d’écran, ou les traiter directement sur l’appareil.
Dans les apps de productivité, vous pouvez instantanément réécrire des notes denses pour plus de clarté ou résumer la transcription d’une réunion sous forme de liste à puces exploitable. Cela offre un gain de temps considérable et permet d’aller à l’essentiel.
L’association de la reconnaissance vocale et des modèles fondateurs permet la prise en charge de la recherche en langage naturel. Par exemple : montre-moi une maison à 3 chambres où les animaux sont acceptés. L’app extrait les informations de la demande et utilise l’appel d’outils pour une recherche simple, naturelle et rapide.
Et ce n’est qu’un début. Ces capacités permettent de créer tant d’autres choses.
Les modèles peuvent traiter des tâches linguistiques courantes comme la génération de contenu, le résumé, l’analyse de données saisies, etc.
Si vous êtes spécialiste de l’apprentissage automatique et avez un cas d’usage spécial à gérer, vous pouvez entraîner vos propres adaptateurs à l’aide d’un toolkit dédié. Cela implique toutefois de lourdes responsabilités, car vous devrez l’entraîner à nouveau chaque fois qu’Apple améliore le modèle. Pour en savoir plus, consultez le site web Apple Developer.
Pour l’expérimentation, la nouvelle fonctionnalité Playground de Xcode est la solution idéale.
Utilisez la macro #Playground dans n’importe quel fichier de code de votre projet et rédigez des prompts. La réponse du modèle s’affiche immédiatement dans le canevas à droite, comme les aperçus SwiftUI. Ici, le canevas affiche à la fois la réponse non structurée et la réponse avec génération guidée. Playground est idéal pour tester le framework Foundation Models. Nous vous conseillons de tester différents types de prompts pour trouver le mieux adapté à votre cas d’utilisation. Playground accélère également l’itération.
Pour résumer, Apple Foundation Models est un modèle embarqué, optimisé et compressé pour tenir dans la poche. Du fait de sa petite taille, le modèle a des connaissances limitées. L’appel d’outils permet d’importer des données réelles. La fonctionnalité Playground facilite l’évaluation et le test des prompts, comme notre exemple l’a montré. Si vous concevez une app à l’aide de Foundation Models, faites part de votre feedback via l’Assistant d’évaluation pour nous aider à améliorer le modèle et les API.
Voilà pour le framework Foundation Models. Nous avons hâte de découvrir les prouesses que vous réaliserez avec.
Parallèlement à Foundation Models, vous avez accès à d’autres puissantes API d’apprentissage automatique,
chacune dédiée à un domaine particulier. Vision pour l’analyse des images et des vidéos. Natural Language pour le texte. Translation pour le texte multilingue, Sound Analysis pour la reconnaissance de catégories de sons et Speech pour la transcription d’une saisie vocale.
Commençons par Vision. Vision offre plus de 30 API pour différentes analyses d’images. Deux nouvelles ont été ajoutées. L’API RecognizeDocumentsRequest pour la compréhension de documents structurés et l’API DetectCameraLensSmudgeRequest pour l’identification des photos prises avec un objectif maculé. Entrons un peu plus dans les détails.
Cette année, Vision améliore la reconnaissance de texte. Au lieu de lire des lignes de texte, Vision gère la reconnaissance de documents en regroupant leurs éléments structurels pour faciliter leur traitement et leur compréhension. Prenez l’exemple d’un formulaire d’inscription manuscrit. Au lieu de saisir manuellement les noms et les coordonnées, Vision transmet directement le tableau. Les lignes et les cellules étant regroupées automatiquement, vous passez moins de temps à analyser les données. Très pratique.
Autre nouveauté de Vision, il est possible de détecter les traces sur l’objectif d’un appareil photo pour obtenir des images nettes et de qualité.
Lorsqu’une personne scanne un document, elle peut par mégarde laisser une trace de doigt sur l’objectif.
Les images seront floues et difficiles à traiter.
L’API détecte ces imperfections. En invitant la personne à nettoyer l’objectif ou à reprendre la photo, les images seront toujours de qualité. Voilà pour le framework Vision. Venons-en au framework Speech.
Cette année, nous avons lancé la nouvelle API Speech Analyzer, une API de transcription embarquée utilisable avec quelques lignes de code. Le nouveau modèle est plus rapide et plus souple que jamais. Le modèle SpeechAnalyzer est déjà utilisé par des fonctionnalités des apps Notes, Dictaphone, Journal et d’autres encore. Outre SpeechAnalyzer, SpeechTranscriber a aussi été mis à jour avec un nouveau modèle prenant en charge un large éventail de cas d’utilisation. Nous voulions un modèle capable de prendre en charge les conversations longues avec des personnes éloignées du micro, comme l’enregistrement d’une réunion.
Nous voulions aussi permettre la transcription en direct, qui nécessite une latence faible, sans perte de précision ni de lisibilité, tout en préservant la confidentialité. Notre nouveau modèle embarqué répond à tous ces objectifs.
Vos apps peuvent désormais prendre en charge ces cas d’utilisation.
L’avantage, c’est que vous n’avez pas à acheter ni à gérer le modèle vous-même. Les ressources sont téléchargées et stockées sur le système, sans impacter la taille de votre app ou la mémoire. Elles sont mises à jour automatiquement à mesure qu’Apple les améliore. Actuellement, SpeechTranscriber peut transcrire ces langues, et d’autres seront ajoutées.
Nous en avons fini avec l’intelligence de la plateforme.
Examinons d’autres façons d’intégrer des fonctionnalités système à votre app.
App Intents permet d’intégrer les principales fonctionnalités d’une app sur tous les appareils.
Le framework App Intents permet d’exploiter les capacités d’une app, même lorsqu’elle n’est pas active. Il relie étroitement ses actions et son contenu aux expériences du système. Vos fonctionnalités peuvent ainsi s’afficher dans l’intelligence visuelle, Raccourcis ou Spotlight. Bien plus qu’un simple framework, App Intents étend la portée de votre app à l’échelle du système. Commençons par l’intelligence visuelle. L’intelligence visuelle s’appuie sur Apple Intelligence et nous aide à explorer notre environnement. Introduite dans iOS 18, elle permet d’en savoir plus sur un café ou une paire de sneakers juste en pointant la caméra. Sous iOS 26, elle fonctionne aussi avec les captures d’écran de l’iPhone pour effectuer une recherche ou des actions directement à partir du contenu affiché à l’écran.
Par exemple, une personne peut effectuer une capture d’écran d’un lieu, puis lancer une recherche d’images. Le système affiche un volet de recherche.
La personne choisit une app pour consulter les résultats,
puis la touche pour l’ouvrir sur la page correspondante.
Si elle ne trouve pas ce qu’elle souhaite, elle peut toucher Plus de résultats pour
ouvrir la vue de recherche de votre app. Si votre app gère la recherche d’images, l’intégration avec l’intelligence visuelle constitue un moyen inédit et performant de faciliter la découverte et l’interaction avec votre contenu, y compris en dehors de votre app. Cette intégration étend la fonction de recherche de votre app au système et permet à partir d’un objet réel ou d’une image d’accéder à des informations et des actions pertinentes dans votre app.
Prenons l’exemple d’une app de shopping. Jusqu’ici, vous ouvriez l’app, vous accédiez à la recherche d’images, puis vous lanciez une recherche. L’intelligence visuelle permet de prendre une capture d’un article sur un réseau social et de lancer instantanément la recherche dans l’app. Le processus est plus fluide et les interactions plus naturelles.
Ensuite, l’app Raccourcis. Raccourcis permet d’automatiser les tâches répétitives et de relier entre elles les fonctionnalités de plusieurs apps. Cette année, nous intégrons la puissance d’Apple Intelligence à Raccourcis avec de nouvelles actions intelligentes. App Intents permet d’associer les actions de votre app aux raccourcis afin d’élaborer de puissants workflows personnalisés. Prenons l’action Utiliser un modèle. Elle permet de tirer parti des modèles Apple Intelligence pour transmettre des réponses à un raccourci. Passer du texte ou formater des données est aussi simple que d’écrire des mots. Vous pouvez choisir un grand modèle basé sur serveur sur Private Cloud Compute pour traiter les requêtes complexes, tout en protégeant la confidentialité. Ou le modèle embarqué pour traiter les requêtes sans connexion réseau.
Ou encore ChatGPT, pour exploiter ses vastes connaissances et son expertise.
Utiliser un modèle est l’une des nouvelles actions intelligentes accompagnant Image Playground, les Outils d’écriture et plus sous iOS 26.
Voici d’autres cas d’utilisation. Par exemple, un modèle peut filtrer les évènements liés à un voyage.
Ou résumer du contenu web, par exemple pour récupérer le mot du jour.
Pour exploiter Utiliser un modèle, exposez la fonctionnalité de votre app via App Intents. Cela permettra de l’intégrer directement dans un raccourci basé sur un modèle. Raccourcis permet de spécifier le type de sortie du modèle, comme du texte enrichi, une liste ou un dictionnaire. Côté développement, vous devez préparer vos App Intents à recevoir ces types de sortie. Les gens peuvent transmettre du contenu de votre app au modèle. Définissez ce contenu en tant qu’entités d’app avec le framework App Intents. Cela permet au modèle d’analyser les données de votre app. Grâce à ces intégrations, les actions Utiliser un modèle sont idéales pour étendre la portée de votre app.
En résumé, les App Intents permettent d’intégrer votre app au système. Utilisez-les pour appliquer l’intelligence visuelle à la recherche d’images, pour exposer le contenu de votre app dans Raccourcis et permettre l’exécution directe d’actions de votre app depuis Spotlight sur Mac.
Nous avons parlé de l’utilisation des fonctionnalités de ML et d’IA intégrées au système.
À présent, voyons comment importer n’importe quel modèle sur un appareil et les considérations à prendre en compte. Cela peut sembler complexe, mais Core ML facilite ce processus. Il vous suffit d’un modèle de ML au format Core ML. Ces ressources contiennent une description des entrées du modèle, de ses sorties et de son architecture, ainsi que les paramètres appris, ou poids.
De nombreux modèles divers et variés sont disponibles publiquement. Citons par exemple les modèles Whisper pour l’audio, Stable Diffusion pour les images ou Mistral pour le traitement du langage. Tous ces modèles sont disponibles et optimisés pour les appareils Apple.
Où les récupérer ? Vous pouvez les télécharger depuis la page Apple sur Hugging Face ou le site developer.apple.com. Ces modèles sont spécialement optimisés pour les puces Apple et disponibles au format package ML pour faciliter leur intégration dans votre projet Xcode. Voici comment les utiliser.
Une fois le modèle téléchargé, il suffit de le faire glisser dans Xcode pour commencer. Xcode reconnaît le modèle et génère du code Swift pour interagir avec lui en fonction du type d’entrées et de sorties. Xcode présente toutes les métadonnées juste après l’importation du modèle, ce qui donne des informations sur sa structure et ses fonctionnalités.
Si le modèle exige une grande puissance de calcul, veillez à ce que ses performances de prédiction n’excèdent pas la latence souhaitée pour ne pas nuire à l’expérience. En quelques clics, Xcode peut générer un rapport de performances indiquant le temps de chargement,
le temps de complétion sur l’appareil
et la latence de prédiction, soit le temps nécessaire pour obtenir une réponse du modèle.
Vous pouvez aussi voir si le modèle est pris en charge par le Neural Engine, ce qui améliore les performances et la latence. Que faire si les modèles souhaités ne sont pas disponibles au format Core ML ?
Supposons que vous utilisiez un framework comme PyTorch pour entraîner et affiner des modèles selon vos besoins. Une fois qu’un modèle est assez performant, vous devez l’intégrer à votre app. C’est là qu’intervient Core ML Tools. Ce package Python open source fournit des API pour optimiser et convertir vos modèles à partir de frameworks open source comme PyTorch dans un format compatible Core ML.
Enfin, si vous êtes à l’avant-garde de la recherche en matière d’IA, vous pouvez tirer parti de la puissance des puces Apple pour le prototypage de solutions utilisant les derniers modèles de recherche. Pour rester à la frontière de la recherche, vous devez pouvoir exécuter de grands modèles, jouer avec des architectures uniques, apprendre et collaborer avec la communauté OpenML. Des ressources et des outils avancés vous aideront à explorer cette frontière.
MLX est un framework ML open source spécialement conçu pour les puces Apple. Cet outil peut gérer diverses tâches, de l’exécution de calculs numériques simples à celle de modèles de ML de pointe à grande échelle sur les appareils Apple. MLX peut générer du texte avec de grands modèles de langage, générer des images, de l’audio et même des vidéos avec les derniers modèles. Il peut également entraîner, affiner et personnaliser des modèles de ML directement sur vos Mac.
MLX peut exécuter une inférence en ML de pointe sur des LLM comme Mistral avec une seule ligne de commande directement sur votre Mac. Ici, par exemple, il génère le code Swift d’un algorithme de tri utilisant un LLM.
MLX vous permet de rester à l’avant-garde de la recherche grâce à la communauté open source qui œuvre à la publication des modèles disponibles sous MLX.
Tous les logiciels MLX sont open source sous licence MIT permissive. GitHub propose le logiciel de base, ainsi que des exemples et packages conçus à l’aide d’API Python et Swift. Hugging Face héberge une communauté active de personnes créant des modèles. La plupart des derniers modèles sont déjà disponibles via la communauté MLX sur Hugging Face, et de nouveaux sont chargés presque tous les jours.
Outre MLX, d’autres frameworks comme PyTorch ou JAX bénéficient également de l’accélération des puces Apple grâce à l’API Metal. Vous pouvez donc continuer à utiliser vos outils actuels pour développer les modèles. Dès qu’ils sont prêts à être utilisés dans vos apps, vous pouvez les déployer avec Core ML.
Voilà pour l’apprentissage automatique et Apple Intelligence. Selon vos besoins et votre expérience en matière d’apprentissage automatique, choisissez les frameworks et outils les mieux adaptés à votre projet, que ce soit pour affiner un LLM, optimiser la vision pour le Vision Pro ou exploiter des API basées sur le ML. Nous avons ce qu’il vous faut.
Tout est optimisé pour les puces Apple, pour une exécution efficace de vos tâches de ML et d’IA.
C’est le moment idéal d’intégrer le ML et l’IA à vos apps sur les plateformes Apple. Testez les modèles fondateurs. Commencez avec les Playgrounds Xcode. Combinez la recherche d’images et l’intelligence visuelle. Je suis impatient de découvrir ce que vous concevrez. Merci. Merci beaucoup pour votre présence. Bien.
Leah, c’est à toi.
Génial ! J’ai déjà des idées sur la façon d’utiliser les modèles fondateurs. J’invite Allan à me rejoindre sur scène pour vous parler des dernières mises à jour de visionOS.
Merci.
Bonjour. Comment allez-vous ? Super. Merci à vous qui êtes ici, ainsi qu’à celles et ceux qui nous ont rejoint en ligne. Je m’appelle Allan Schaffer. Je suis Technology Evangelist au sein de l’équipe Developer Relations. Je suis ravi de vous parler de visionOS 26 et des nouveautés annoncées à la WWDC. La WWDC a eu lieu le mois dernier et a fait la part belle aux nouveautés du côté de visionOS. Cette année, 14 vidéos sont dédiées à visionOS. Toutes ces vidéos sont destinées à vous présenter les dernières nouveautés en informatique spatiale, de l’utilisation de Metal avec Compositor Services aux nouveautés de SwiftUI, des améliorations de RealityKit aux accessoires tiers et aux nouvelles technologies vidéo, et bien d’autres. Les thèmes sont bien trop nombreux pour tous les traiter dans la prochaine demi-heure. J’irai donc à l’essentiel, en me concentrant sur les principales nouveautés. Sachant cela, plongeons-nous dans visionOS 26 et jetons un coup d’œil au programme. Je commencerai par les fonctionnalités volumétriques de SwiftUI grâce auxquelles vos apps seront bien plus immersives. Ensuite, les nouveautés côté système, comme Apple Intelligence. Il existe de nouvelles façons de rendre le contenu de votre app persistant dans une pièce, de nouvelles interactions et la prise en charge d’accessoires pour un contrôle plus fin des boutons et du retour haptique. Je parlerai ensuite de nouveautés pour les médias immersifs, ainsi que des nouveaux formats vidéo conçus exclusivement pour le Vision Pro.
De nombreuses fonctionnalités de partage et de collaboration ont vu le jour. Enfin, j’évoquerai les nouveautés des API pour les entreprises pour celles et ceux qui développent des apps pros. Parfait ! Commençons par les fonctionnalités volumétriques ajoutées dans SwiftUI.
Je suis sûr que vous le savez déjà, mais cela vaut la peine de le répéter. Le meilleur moyen de concevoir des apps de qualité pour le Vision Pro et de tirer parti de nos outils et technologies natifs consiste à utiliser SwiftUI. Désormais, SwiftUI offre de nouvelles méthodes pour créer des apps en 3D et les rendre encore plus immersives. L’une des nouveautés majeures de SwiftUI et visionOS 26 concerne la disposition du contenu. Nombre d’outils de disposition et de modificateurs de vue courants de SwiftUI ont été déclinés en version 3D pour agir sur la profondeur et la position Z des vues. Si vous savez développer des apps 2D en SwiftUI, vous pouvez désormais créer des dispositions 3D très riches de la même manière que vous le faisiez jusqu’ici.
Intéressons-nous de plus près à deux nouveautés, depthAlignment et rotation3DLayout. Commençons par depthAlignment, un moyen simple de gérer la composition de dispositions 3D courantes. Ici, nous utilisons l’alignement de profondeur « front » pour placer automatiquement la carte du nom devant le volume qui contient le modèle 3D. C’est très simple.
Autre nouveauté, ce 3D… excusez-moi, ce modificateur rotation3DLayout. Ici, voyez comme le modèle de l’avion du haut laisse la place à celui du milieu pour qu’il pivote. En réalité, rotation3DLayout permet d’appliquer des rotations à la géométrie au sein de la disposition et communique ces rotations aux vues pour que l’app réagisse en conséquence.
Quelques autres nouveautés, très rapidement. Pour les présentations, le contenu provisoire comme cette carte d’info sur le sentier peut être présenté dans un volume ou sous forme de volume d’ornement. C’est possible avec les menus, infobulles, alertes, feuilles, pop-overs. Les présentations peuvent franchir un contenu 3D et rester visibles lorsqu’elles sont masquées, pour un rendu impeccable quel que soit le contexte.
Voici une autre fonctionnalité. Normalement, les fenêtres et volumes agissent comme des conteneurs pour l’UI de votre app et le contenu de l’espace partagé. Grâce à la nouvelle fonctionnalité Dynamic Bounds Restrictions, les objets du contenu d’une app, tels que ces nuages, peuvent franchir les limites de la fenêtre ou de leur volume pour que le contenu soit encore plus immersif.
Autre sujet. Ce ne sont pas mes mains ! Pour changer de sujet, les gestes et la manipulation d’objets sont plus faciles à gérer. Il est essentiel que les interactions avec le contenu virtuel soient naturelles et réalistes. Désormais, les objets peuvent être manipulés avec de simples mouvements de la main, orientés avec une ou deux mains, redimensionnés en les pinçant et déplaçant avec deux mains, vous pouvez même passer un objet d’une main à l’autre. Tout est intégré, inutile de mettre en œuvre des gestionnaires de gestes complexes.
Vous pouvez appliquer ce comportement aux objets de votre app avec SwiftUI ou RealityKit, selon que l’objet est une vue personnalisée ou une entité RealityKit. Utilisez le modificateur de vue « manipulable » en SwiftUI ou ajoutez un ManipulationComponent dans RealityKit. Si vous utilisez une vue QuickLook3D, c’est déjà intégré. Vous n’avez rien à faire.
À propos de RealityKit, vous bénéficiez d’un bien meilleur alignement entre SwiftUI, RealityKit et ARKit. De nombreuses améliorations simplifient les interactions avec RealityKit à partir du code SwiftUI. Par exemple, les entités RealityKit et leurs animations sont désormais observables. Il est bien plus facile de voir les modifications dans les vues SwiftUI. L’API de conversion des coordonnées a été améliorée. Vous pouvez écrire des gestionnaires de gestes en SwiftUI et associer directement les gestes aux entités RealityKit. Model3D offre bien plus de capacités, comme la lecture d’animations, le chargement de variantes USD ou l’alternance entre différentes configurations de modèles.
Au passage, l’exemple que j’ai choisi pour vous montrer ces nouvelles API est disponible au téléchargement. Il s’appelle Canyon Crosser et est disponible sur developer.apple.com.
Passons au sujet suivant, les fonctionnalités système. Tout à l’heure, Shashank vous a parlé des nombreux perfectionnements d’Apple Intelligence et de l’apprentissage automatique sur tous nos systèmes d’exploitation. Ces capacités font aussi partie intégrante de visionOS.
Parmi les changements majeurs pour l’apprentissage automatique sous visionOS, les API ont désormais accès au Neural Engine sans nécessiter de droits spéciaux. C’est une révolution. L’exécution de vos modèles pourra être prise en charge directement sur l’appareil via le Neural Engine et plus seulement par le CPU ou le GPU.
En parallèle, nous avons intégré le nouveau framework Foundation Models à visionOS pour permettre un accès direct au grand modèle de langage sur lequel reposent toutes les fonctionnalités d’Apple Intelligence. C’est le même framework que sur nos autres plateformes. Vous pouvez envoyer des prompts au LLM embarqué, mais aussi créer des sorties structurées avec la génération guidée. L’appel d’outils permet au modèle de récupérer des données ou d’effectuer des actions qui sont définies dans votre code, etc.
Nous avons également introduit une nouvelle API de transcription pour iOS, macOS, mais aussi visionOS, qui s’appelle SpeechAnalyzer. Elle est déjà utilisée dans le système, pour les sous-titres en direct dans FaceTime, la transcription audio dans l’app Notes, et désormais, vous pouvez également l’utiliser dans vos apps. En parallèle, un nouveau modèle de transcription a été ajouté. Il s’appelle SpeechTranscriber, Shashank l’a évoqué. Plus rapide et plus souple, il est idéal pour des tâches comme le sous-titrage. Bien sûr, tout cela s’exécute entièrement sur l’appareil.
Venons-en à présent aux widgets. Ces extensions d’app légères permettent d’obtenir des informations en un coup d’œil, comme les prévisions météo ou un évènement de calendrier. La fonction principale des widgets est d’afficher des informations succinctes, pertinentes et personnalisées, d’obtenir des informations contextuelles sans avoir besoin d’ouvrir une app. Et en tant que plateforme spatiale, visionOS permet de les présenter sous une forme inédite. Ils deviennent des objets tridimensionnels parfaitement intégrés à votre environnement. De nombreux aspects de leur apparence peuvent être personnalisés pour les adapter à votre espace.
Ils peuvent être placés sur une surface horizontale ou verticale comme un mur, une étagère, un bureau, un plan de travail, etc. Ils restent ancrés au même endroit et persistent d’une session à l’autre. Si vous quittez la pièce et y revenez plus tard ou si vous enlevez l’appareil et le remettez, ils seront toujours là, ils font partie de votre espace.
Les modèles de widget sont disponibles en plusieurs tailles, mais sous visionOS, ces tailles correspondent à des dimensions réelles, ce qui leur confère une véritable présence physique dans la pièce. Si vous développez des widgets, réfléchissez à l’endroit où ils pourront être placés. Seront-ils fixés à un mur, posés sur un bureau, etc. Choisissez ensuite une taille adaptée au contexte.
La détection de la proximité est une autre fonctionnalité propre à visionOS. Les widgets peuvent changer, adapter leur apparence et leur disposition selon l’éloignement de la personne. Par exemple, si je me rapproche de ce widget de sport, des informations détaillées s’affichent.
La bonne nouvelle, c’est que si votre app pour iPhone ou iPad comprend déjà des widgets, c’est un bon point de départ. Si votre app fonctionne en mode compatibilité, vos widgets seront transposés vers visionOS et s’adapteront automatiquement aux nouvelles caractéristiques spatiales.
Après ces nouvelles fonctionnalités système de visionOS, passons aux interactions. Les mains et le regard sont les méthodes de saisie privilégiées du Vision Pro. visionOS est conçu pour naviguer dans les interfaces à l’aide de votre regard et de mouvements intuitifs des mains. À ce propos, le suivi des mains a été amélioré sous visionOS 26. Il est trois fois plus rapide qu’avant, à 90 Hz. Vos apps et vos jeux peuvent être encore plus réactifs, sans code supplémentaire. Vous bénéficiez de cette vitesse nativement.
Une nouvelle méthode permet de naviguer dans le contenu web et vos apps uniquement à l’aide du regard, « Regarder pour faire défiler ». Cette amélioration est une interaction légère qui fonctionne en parallèle du défilement avec les mains. Vous pouvez la mettre en œuvre dans vos apps à l’aide d’API dans SwiftUI et UIKit.
visionOS prend aussi en charge les claviers et trackpads Bluetooth, si vous avez besoin de ces modes de saisie, ainsi que les manettes de jeu, qui peuvent permettre d’utiliser des joysticks, des boutons ou un D-pad, ou de porter un jeu à partir d’une autre plateforme, dont le gameplay est basé sur l’utilisation d’une manette.
visionOS 26 offre désormais une autre possibilité, les accessoires spatiaux. Ils offrent un contrôle plus fin dans six degrés de liberté, des boutons et un retour haptiques. Deux nouveaux accessoires spatiaux sont pris en charge via le framework Game Controller.
Le premier est la manette PlayStation VR2 Sense de Sony. Elle est idéale pour le gaming haute performance et d’autres expériences immersives. Elle a des boutons, un joystick, une gâchette, mais surtout, elle suit sa position et son orientation dans l’espace dans six degrés de liberté.
L’autre nouvel accessoire est le Logitech Muse, idéal pour les tâches de précision comme le dessin et la sculpture. Ses quatre capteurs permettent une saisie variable avec la pointe et le bouton latéral, avec retour haptique. Voici un exemple, Spatial Analog de Spatial Inc., un outil de design collaboratif fonctionnant avec des modèles USD et d’autres ressources 3D. Ici, Muse est utilisé pour annoter les dimensions d’une chaise virtuelle.
L’app tire parti de la richesse des données provenant de l’accessoire. La position et la rotation sont suivies par plusieurs caméras embarquées du Vision Pro, et par les capteurs intégrés aux accessoires. ARKit donne également accès à d’autres données comme la main qui tient l’accessoire, la vitesse de déplacement de l’accessoire dans l’espace et ses mouvements de rotation.
Un accessoire spatial peut aussi émettre des vibrations, ce qui constitue un excellent mécanisme de retour haptique grâce auquel les interactions sont plus réalistes.
J’attire aussi votre attention sur la possibilité d’ancrer du contenu virtuel aux accessoires eux-mêmes avec une entité d’ancrage dans RealityKit. Dans un jeu, par exemple, un élément peut être ancré à la poignée d’une manette lors d’un déplacement d’un endroit à un autre. En voici une très bonne illustration. Il s’agit de Pickleball Pro ou Pickle Pro, pardon, de Resolution Games. Lorsque la personne joue, une raquette virtuelle est ancrée directement sur la poignée de la manette, avec la balle. Ça fonctionne incroyablement bien et le suivi de la position est très précis.
Voilà pour ces accessoires spatiaux. Vous pouvez intégrer leur prise en charge pour un contrôle plus précis de la saisie. C’est aussi un très bon moyen d’ajouter un retour haptique pour permettre un ressenti physique des interactions virtuelles. Tout cela est pris en charge par le framework Game Controller ainsi que RealityKit et ARKit.
Parlons maintenant des médias immersifs, en commençant par les photos. visionOS peut présenter les photos et autres images 2D de façon inédite. Nous appelons ça des scènes spatiales. Les scènes spatiales sont des images 3D avec une profondeur. Elles sont générés à partir d’image 2D comme celle-ci. Une version diorama de la photo avec une parallaxe de mouvement accentue la profondeur lorsque vous bougez la tête par rapport à la scène spatiale.
En voici un exemple concret, de Zillow. Ce sont des photos ordinaires d’une agence immobilière. Cet effet peut être appliqué à n’importe quelle image. Des photos, des images provenant du Web, de vieux Polaroïds, etc. Il donne l’impression que les images ont une profondeur stéréoscopique. Voilà pour les scènes spatiales.
Passons à la vidéo. Le Vision Pro prend en charge un large éventail de formats multimédias. Il gère les vidéos 2D, les films stéréoscopiques 3D, les vidéos les vidéos et Apple Immersive Video. visionOS 26 ajoute la prise en charge de trois autres formats pour les vidéos 180, 360 et avec large champ de vision. Vous bénéficiez ainsi de cette suite complète d’options pour les médias immersifs, mais cela signifie également que vous devez envisager de nombreux formats et types d’expériences pour vos apps.
Pour faciliter cela et pour vous aider, nous avons créé un nouveau profil de séquence QuickTime, Apple Projected Media Profile, ou APMP. APMP utilise les métadonnées d’un fichier vidéo pour identifier le type de média dont il s’agit, puis pour indiquer une projection du contenu au lecteur vidéo. Voici un exemple qui illustrera ce concept. Ici à gauche, ce média à champ de vision large a été capturé avec une caméra d’action.
On peut voir que cette image fixe présente des déformations prononcées dues à l’objectif fisheye utilisé pour élargir le champ de vision. Lançons la lecture des vidéos.
À droite, le profil APMP permet à nos frameworks média de projeter la vidéo sur une surface incurvée, les yeux de la personne étant au centre de l’action. Comme la courbure correspond au profil de l’objectif de la caméra, l’effet fisheye est annulé. Dans le Vision Pro, les lignes droites apparaîtront parfaitement droites, y compris sur les côtés de l’image.
Bien. APMP offre plein de possibilités. La conversion automatique vers APMP est gérée à partir de plusieurs caméras capturant des vidéos 180, 360 et à champ de vision large de Canon, les GoPro, les Insta360, etc.
Pour les nombreux contenus 180 et 360 existants, nous avons mis à jour notre outil de ligne de commande avconvert sous macOS pour la conversion du contenu 180 et 360 en APMP.
Revenons un instant en arrière pour parler d’Apple Immersive Video. Apple Immersive Video est un format conçu pour l’Apple Vision Pro. Il utilise des vidéos 3D 8K à 180° avec audio spatial pour créer des expériences extrêmement immersives. Avec visionOS 26, nous ouvrons ce format pour le développement et la création de contenu.
Voici un aperçu du pipeline pour la création de contenu. La capture Apple Immersive Video peut s’effectuer avec la caméra URSA Cine Immersive de Blackmagic, une très bonne caméra, le montage et l’étalonnage étant ensuite gérés dans DaVinci Resolve. Pour la prévisualisation et la validation, le nouvel utilitaire Apple Immersive Video est disponible sur l’App Store. La suite dépend de la destination. Prenons l’exemple du streaming. Vous pouvez créer des segments dans Compressor, par exemple, pour une distribution via HTTP Live Streaming.
Si vous développez des apps pro et souhaitez créer vos propres outils pour le format Apple Immersive Video, le framework Immersive Media Support est disponible sous macOS et visionOS. Il permet de lire et d’écrire du contenu Apple immersif par programmation. Des exemples de code, « Authoring Apple Immersive Video » peuvent vous aider à démarrer.
J’espère que cela vous aidera à intégrer la lecture de ce format à vos apps. Apple Immersive Video peut être lu sous visionOS 26 par tous nos frameworks média comme RealityKit, AVKit, Quick Look, WebKit, etc. Vous pouvez donc l’intégrer à toutes les expériences que vous concevez.
Voilà pour ces médias immersifs. Les scènes spatiales confèrent aux photos 2D une vraie profondeur et une parallaxe. J’ai parlé du nouveau profil APMP et de ses outils de conversion automatique. Pour la création de contenu et le développement d’apps pro, exploitez le format Apple Immersive Video pour proposer le nec plus ultra en matière d’expérience cinématographique.
Thème suivant : découvrons les nouveautés en matière de partage et de collaboration. L’un des piliers de l’informatique spatiale est sa capacité à connecter les personnes entre elles. Pour cela, nous utilisons notamment les Personas spatiales. Les Personas spatiales sont votre représentation spatiale authentique lorsque vous portez un Vision Pro. Les autres personnes peuvent voir vos expressions faciales et mouvements de tête en temps réel. Sous visionOS 26, les Personas spatiales sortent de bêta et plusieurs améliorations ont été apportées aux cheveux, au teint, aux expressions, à votre représentation, etc.
Sous visionOS 26, nous avons aussi doté SharePlay et FaceTime d’une nouveauté, le partage de fenêtre à proximité. Le partage de fenêtre à proximité permet aux personnes situées dans le même espace physique de partager une app et d’interagir ensemble. Cette app s’appelle Defenderella, de Rock Paper Reality. C’est un tower defense multijoueur qui prend vie à l’intérieur de votre espace. C’est très amusant d’y jouer avec d’autres personnes à proximité.
Tout commence par une nouvelle façon de partager les apps. Un bouton de partage situé à côté de la barre de chaque fenêtre ouvre cette fenêtre de partage. En le touchant, les personnes à proximité s’affichent pour vous permettre de débuter le partage.
Dès que quelqu’un lance le partage, le système affiche l’app au même endroit pour tout le monde, dans la même taille. Puisque l’app est devant vous, dans votre espace, vous pouvez vous parler, pointer du doigt certaines choses, interagir avec l’app comme avec un objet physique de la pièce, et même vous passer un contenu de main en main.
Toutes les personnes peuvent interagir avec la fenêtre partagée, la déplacer, la redimensionner et même la saisir et l’accrocher à un mur ou à une autre surface de l’environnement partagé, dans le monde réel. Si vous appuyez sur la Digital Crown pour recentrer la vue, l’app revient à un endroit convenant à tout le monde. Si une personne avance vers quelque chose et vient à masquer la fenêtre virtuelle, le contenu s’estompe pour que tout le monde puisse voir la personne en question.
Il est même possible, par exemple pour une app de mobilier, de positionner un contenu tout en conservant le contexte partagé. Pour cela, nous utilisons des ancres mondiales partagées. Par exemple, dans une app où vous placez un meuble virtuel dans la pièce, celui-ci apparaît au même endroit pour toutes les personnes à proximité.
Notez que le contexte partagé n’est pas limité aux personnes qui sont dans la même pièce. Vous pouvez inviter des personnes à distance via FaceTime. Si elles ont un Vision Pro, vous verrez leurs Personas spatiales.
J’ajoute que puisque l’Apple Vision Pro fait partie de l’écosystème Apple, il est facile de concevoir des expériences collaboratives entre les appareils. Je vais vous en montrer un exemple. Voici Demeo, un jeu d’exploration de donjon coopératif de Resolution Games, particulièrement amusant à jouer en groupe. Cette personne vit une expérience immersive avec son Vision Pro et sa main, pardon, des proches ont rejoint la partie sur un iPad et un Mac.
C’est une expérience géniale. Bien. Très rapidement, quelques mots sur SharePlay et le partage de fenêtre à proximité. Si vous intégrez SharePlay à votre app, voici quelques conseils. Tout d’abord, concevez l’expérience à la fois pour les personnes proches et à distance. Développez votre app en pensant aux Personas spatiales et imaginez des expériences qui permettent de communiquer entre les plateformes Apple.
Venons-en à la dernière partie. L’an dernier, nous avons lancé le premier ensemble d’API d’entreprise pour visionOS. Elles concernent notamment l’accès à la caméra principale, la lecture de codes-barres, le gain de performances, etc. Depuis, cette équipe a déployé des efforts considérables pour créer encore plus de fonctionnalités pour les apps d’entreprise. Voici plusieurs nouveautés de visionOS 26 pour celles et ceux qui œuvrent dans ce secteur. Je tiens à préciser que puisque ces fonctionnalités offrent un accès bien plus complet aux appareils, l’accès aux API est géré par le biais d’un droit et d’une licence liée à votre compte de développement. Passons-les en revue, en commençant par un accès amélioré aux caméras. Auparavant, une app d’entreprise autorisée pouvait accéder au flux vidéo de la caméra principale gauche, celle de l’œil gauche. Nous avons étendu l’accès à la caméra gauche, à celle de droite ou aux deux, pour un traitement et une analyse stéréo. Pour celles et ceux qui connaissent, il s’agit du fournisseur d’image de caméra d’une API d’ARKit. Je vous ai dit tout à l’heure que les apps ont désormais accès au Neural Engine. Ainsi, il est possible de combiner tout cela et d’envoyer le flux de la caméra à votre propre modèle de ML, qui est ensuite pris en charge par le Neural Engine.
Autre nouveauté de visionOS 26, une fonctionnalité permet de sélectionner une zone spécifique de sa vue en réalité augmentée et d’obtenir un flux vidéo dédié de cette zone dans sa propre fenêtre. Il s’agit d’une nouvelle vue SwiftUI, appelée vue région de la caméra. En voici un exemple. Je vais placer une fenêtre sur une zone à capturer en bas à gauche, sur ce manomètre. Je peux ainsi garder un œil dessus pendant que je fais autre chose, ou même partager ce flux vidéo avec une personne à distance.
À propos de partage, je vous ai parlé des expériences de proximité avec SharePlay, mais certaines entreprises ne se servent pas de FaceTime ni de SharePlay, en raison de contraintes de réseau ou autres. Nous leur proposons de nouvelles API dans ARKit pour établir un espace de coordonnées partagé pour les personnes situées dans le même espace physique. Ce fournisseur d’espace de coordonnées partagé permet désormais à plusieurs personnes d’aligner leurs systèmes de coordonnées, d’échanger des données de collaboration et d’échanger des ancres mondiales sur leur réseau local. C’est un excellent moyen de collaborer sur des projets.
Ensuite, le mode de suivi des fenêtres. Certaines tâches nécessitent parfois de se déplacer, mais tout en gardant un œil sur un tableau de bord, par exemple, ou en se référant à des instructions de réparation ou à toute autre information, comme des instructions de formation.
C’est possible avec le mode de suivi. Une personne peut désigner une fenêtre qui la suivra lors de ses déplacements. Cela fonctionne aussi même si vous ne marchez pas. Si vous vous tournez, la fenêtre vous suit également.
Le dernier point concerne la confidentialité des données. Une app d’entreprise traite des données sensibles comme des données financières, des dossiers médicaux ou d’autres données propriétaires. Il ne faut pas que ces informations puissent être enregistrées ou soient visibles lors d’un partage d’écran. Désormais, une app peut masquer le contenu d’une vue dans une capture d’écran ou lors d’une recopie d’écran, etc., à l’aide du contenu, pardon, de la vue contentCaptureProtected. C’est un modificateur de vue pour SwiftUI. Le contenu reste entièrement visible pour la personne qui porte l’appareil, mais il est exclu des captures d’écran, des enregistrements, des vues recopiées ou partagées.
Toutes ces fonctionnalités viennent s’ajouter à notre ensemble d’API d’entreprise pour vous permettre de créer des solutions et des expériences spatiales encore plus puissantes pour vos apps internes.
Nous en arrivons à la conclusion. Il s’agit d’une partie des nouvelles fonctionnalités disponibles avec visionOS 26. J’ai abordé de nombreux sujets, mais sans entrer dans les détails. Il reste beaucoup, beaucoup d’autres fonctionnalités et API à explorer. Les vidéos en couvrent la plupart. Je vous invite à regarder les vidéos des sessions de la WWDC. Nous avons aussi publié de nombreux nouveaux exemples de code pour visionOS. Vous pouvez les télécharger sur le site developer.apple.com. Sur ce, je redonne la parole à Leah. Merci.
Merci.
Il y a tant de nouveautés géniales pour visionOS ! Merci du temps que vous avez consacré à ce récapitulatif des principales nouveautés de la WWDC. De nombreux sujets ont été abordés. Nous avons commencé par un aperçu du nouveau système de design et de la manière de bien utiliser Liquid Glass dans vos apps afin de les adapter à iOS 26 et macOS Tahoe. Nous avons vu que l’utilisation des frameworks d’UI natifs comme SwiftUI, UIKit et AppKit facilitait l’intégration du nouveau design et de son interface épurée et commune à toutes les plateformes.
Nous avons exploré les nouveautés d’Apple Intelligence. Lancez-vous avec les fonctionnalités d’IA comme les Outils d’écriture ou Image Playground, exploitez les modèles embarqués, étendez la portée de votre app avec App Intents ou tirez parti de la puissance des puces Apple avec vos propres modèles.
Enfin, nous avons exploré visionOS 26. Grâce aux fonctionnalités volumétriques de SwiftUI, les apps sont plus immersives. Vous pouvez créer des expériences collaboratives inédites avec SharePlay, d’incroyables expériences visuelles avec les formats média immersifs et contrôler l’Apple Vision Pro avec des accessoires spatiaux. Je l’ai dit en préambule, ce n’est que la partie émergée de l’iceberg. Si vous souhaitez approfondir les thèmes dont nous avons parlé ou explorer ceux que nous n’avons pas eu le temps d’aborder, le site web Apple Developer propose une documentation complète, des vidéos et des exemples de code.
Nous vous enverrons un e-mail avec des liens vers des ressources concernant tous les thèmes que nous avons traités afin que vous puissiez aller plus loin. L’équipe Worldwide Developer Relations a hâte de collaborer avec vous au cours de l’été et de l’automne pour vous aider à intégrer ces nouveaux systèmes et technologies dans vos apps. Pour en savoir plus sur les prochains évènements, consultez les newsletters Meet with Apple et Hello Developer ainsi que l’app et le site web Apple Developer. Merci aux personnes qui se sont connectées en ligne. Nous espérons vous rencontrer à nouveau, que ce soit dans un Developer Center ou en ligne. J’invite toutes les personnes présentes avec nous à Cupertino à nous rejoindre dans le hall pour se restaurer et échanger avec les équipes Apple. Merci de votre présence, j’ai hâte de découvrir vos futurs projets.
-