Labo de groupe Apprentissage automatique et IA

Plongez au cœur de la WWDC26 en compagnie des équipes d'ingénierie et de design Apple. Rejoignez-nous en ligne pour poser des questions, obtenir des conseils et suivre la discussion sur les principales annonces de la semaine en matière d'apprentissage automatique et d'IA. Séance présentée en anglais.

Chapitres

• 0:00:00 - Introduction
• 0:04:44 - Comment les développeurs doivent-ils décider si une tâche est mieux gérée par les Foundation Models sur l’appareil ou par Private Cloud Compute ?
• 0:09:25 - J’ai configuré le mode Agent dans Xcode avec un LLM local via opencode ACP, mais les réponses sont lentes et affichent une balise <|im_end|>. Que dois-je encore configurer ? Est-ce que j’ai mal paramétré le modèle de chat ?
• 0:12:24 - Est-ce qu’un LLM local (via MLX-LM ou un modèle que nous aurions entraîné nous-mêmes avec Core AI) peut servir d’agent de codage capable de modifier directement le projet Xcode, pas juste discuter. Et si oui, comment ?
• 0:15:07 - Apple met à jour discrètement les modèles sur l’appareil et PCC, ce qui fait régresser les prompts ajustés. Ma suite d’évaluations peut-elle détecter les changements de version du modèle pour mieux contrôler vos déploiements en production ?
• 0:18:58 - Les Foundation Models peuvent-ils s’exécuter depuis des widgets, des App Intents ou des tâches en arrière-plan pour classifier les données au moment de leur capture, même lorsque l’app n’est pas active au premier plan ? Quelles sont les limites de débit et thermiques ?
• 0:21:25 - Comment les développeurs peuvent-ils créer ou adapter des modèles selon les données et le domaine de leur app, comme des images de profil stylisées ou un assistant pratique qui s’adapte au contexte ? Quelles sont les meilleures ressources ?
• 0:28:50 - Quels sont les cas d’utilisation actuellement les mieux adaptés au framework Foundation Models, et quels sont ceux que les développeurs doivent éviter ?
• 0:32:27 - Par où un débutant doit-il commencer pour apprendre l’IA/ML, et quelles ressources recommandez-vous ?
• 0:37:15 - Ce que nous pouvons faire dans PyTorch est-il compatible avec Core AI et l’écosystème Apple ? Qu’est-ce qui est possible et qu’est-ce qui ne l’est pas ?
• 0:42:56 - Quelle est la meilleure expérience utilisateur lorsque les Foundation Models ne sont pas disponibles (appareil plus ancien, Apple Intelligence désactivé, batterie faible) ? Pouvons-nous détecter la disponibilité en amont et préchauffer le système pour réduire la latence de la première requête ?
• 0:46:58 - Comment migrer de Core ML vers Core AI ? Devons-nous attendre un an ou deux que l’adoption des appareils progresse, ou existe-t-il une solution plus rapide ?
• 0:49:03 - Quelle est la taille maximale du modèle local sur l’appareil que nous pouvons intégrer à notre app avant d’envisager Private Cloud Compute ?
• 0:53:32 - Comment décider quand l’IA doit aider l’utilisateur et quand elle doit rester en retrait ?
• 0:58:52 - Pour les iPhone plus anciens dépourvus d’Apple Intelligence, nous utilisons un backend LLM auto-hébergé. Sous iOS 27, est-il conseillé d’avoir un fournisseur LanguageModel personnalisé pour qu’une seule instance LanguageModelSession puisse servir tous les appareils ? Y a-t-il des pièges à éviter ?

Ressources

• • Vidéo HD
  • Vidéo SD