Labo de groupe Apple Intelligence

Plongez au cœur de la WWDC26 en compagnie des équipes d'ingénierie et de design Apple. Rejoignez-nous en ligne pour poser des questions, obtenir des conseils et suivre la discussion sur les principales annonces de la semaine concernant Apple Intelligence. Séance présentée en anglais.

Chapitres

• 0:00:00 - Introduction
• 0:01:43 - Quelles sont les ressources Apple les plus utiles pour découvrir les nouvelles API et les évolutions de conception de la version 27, puis les mettre en œuvre : exemples de projets, guides de migration, kits de conception ou documentation ?
• 0:03:09 - Mon app ne correspond à aucun des types de schéma prédéfinis. Dois-je choisir le type qui s’en rapproche le plus ou attendre avant de prendre en charge les schémas ? Mon app de suivi du temps propose des fonctionnalités de chronomètre et de calendrier qui ne sont pas tout à fait adaptées.
• 0:07:08 - Les principales entités et actions de mon app ne correspondent à aucun des domaines de schémas prédéfinis. Quelle est la meilleure façon de les intégrer dès aujourd’hui à Siri agentique, tout en préparant mon app aux évolutions futures de la plateforme ?
• 0:08:18 - Il n’existe aucune API permettant à une app tierce d’invoquer directement les intents d’une autre app : Siri/Raccourcis joue le rôle d’orchestrateur. Une app peut-elle jouer son propre rôle d’orchestrateur ou les actions entre plusieurs apps doivent-elles obligatoirement passer par Siri/Raccourcis ?
• 0:10:23 - Avec la nouvelle version de Siri dans iOS 27, mon app tierce peut-elle participer à une conversation à plusieurs tours, ou est-elle limitée aux actions et aux entités distinctes que j’expose via App Intents ?
• 0:12:08 - Est-il acceptable de combiner des App Entities/Intents sans schéma avec d’autres qui correspondent à différents schémas de différents domaines, tous dans la même app ?
• 0:13:26 - Existe-t-il une limite pratique de temps d’exécution ou de charge de travail pour les Foundation Models pendant une même activation en arrière-plan ? À défaut de limite fixe, comment une app doit-elle découper ses traitements pour les exécuter en toute sécurité ?
• 0:14:47 - Quels types ou codes d’erreur indiquent une limitation des Foundation Models, une surcharge du système, une pression thermique, un quota épuisé ou un modèle indisponible ? Lesquels permettent une nouvelle tentative et lesquels sont définitifs ?
• 0:16:01 - Comment éviter l’erreur LanguageModelSession.GenerationError.guardrailViolation ? J’obtiens fréquemment des erreurs guardrail-violation avec des prompts qui ne semblent pourtant poser aucun problème.
• 0:17:38 - Dans iOS 27, les Foundation Models peuvent-ils raisonner sur des vidéos ou utiliser un modèle vidéo, ou les entrées multimodales sont-elles limitées aux images fixes ?
• 0:21:47 - Les schémas App Intent donnent-ils un « avantage » à vos intents avec Siri, ou n’importe quel intent ou toute App Entity peuvent-ils être découverts de la même manière ? (Il est à noter, par exemple, qu’il n’existe aucun schéma pour le domaine de la finance.)
• 0:26:00 - Puis-je utiliser Image Playground pour générer des images photoréalistes dans mon app ?
• 0:27:24 - J’ai du mal à comprendre la différence entre IndexedEntity et les entités prédéfinies, comme AppSchema.BooksEntity. IndexedEntity doit-il être utilisé pour tout ce qui n’est ni un livre, ni un évènement de calendrier, etc. ?
• 0:30:15 - Apple envisage-t-il que le framework Evaluations soit utilisé dans le cadre de la recherche universitaire — pour collecter des métriques et produire des éléments de preuve destinés à des études évaluées par les pairs — en plus de l’évaluation de produits ?
• 0:33:11 - Siri peut-il comprendre le contexte affiché sur l’écran CarPlay lorsqu’il est connecté et effectuer des actions à l’écran (par exemple « Lance la chanson située à la ligne 2, colonne 1 ») dans CarPlay ?
• 0:35:40 - Pourrons-nous utiliser les App Intents avec HomePod/audioOS ? Il n’existe actuellement aucune version bêta à ce sujet.
• 0:36:14 - Peut-on s’attendre à ce que les réponses aux App Intents dans watchOS correspondent exactement à celles d’iOS ?
• 0:38:31 - Image Playground nécessite-t-il désormais une connexion Internet via PCC, ou revient-il de manière fluide au modèle exécuté sur l’appareil ?
• 0:38:59 - Qu’est-ce qui vous enthousiasme le plus dans les nouveautés apportées à Apple Intelligence ?
• 0:45:38 - Pourquoi avoir choisi des schémas codés en dur plutôt qu’une approche dynamique, comme celles de GPT ou Claude, par exemple des compétences décrites en Markdown faisant référence à des App Entities ? Cette approche ne serait-elle pas plus flexible ?
• 0:49:22 - Le framework Evaluations permet-il de vérifier si mes outils sont appelés ?
• 0:51:01 - Comment le framework Apple Intelligence limite-t-il l’entropie sémantique lors du transfert de contexte entre les modèles exécutés sur l’appareil et les modèles plus puissants exécutés sur serveur ?
• 0:52:54 - Dois-je utiliser le framework Evaluations avec Foundation Models ?
• 0:53:53 - Une session Foundation Models d’une de mes apps peut-elle récupérer, via SpotlightSearchTool, le contenu IndexedEntity d’une autre de mes apps (même développeur, même groupe d’apps partagé), ou cette récupération est-elle limitée à l’app qui a effectué la transmission ?
• 0:55:33 - Les entités liées à un schéma sont-elles interchangeables ? Par exemple, une FileEntity peut-elle devenir une PhotoEntity, et inversement, grâce à Transferable ?
• 0:58:01 - Je gère une liste de contacts, le schéma .messages.messagePerson est proche de mon cas d’usage, sans toutefois y correspondre parfaitement. Est-ce acceptable pour participer au nouveau Siri ?
• 1:00:09 - Maintenant que Foundation Models prend en charge les images en entrée, la limite reste fixée à 4 096 jetons. Existe-t-il des contraintes concernant les autres entrées, comme le prompt ou les instructions, pour obtenir les meilleurs résultats ?

Ressources

• • Vidéo HD
  • Vidéo SD