Labo de groupe Codage d’intelligence, apprentissage automatique et IA

Plongez au cœur de la WWDC26 en compagnie des équipes d'ingénierie et de design Apple. Rejoignez-nous en ligne pour poser des questions, obtenir des conseils et suivre la discussion sur les principales annonces de la semaine en matière d'intelligence de codage, d'apprentissage automatique et d'IA. Séance présentée en anglais.

Chapitres

• 0:00:00 - Introduction
• 0:04:13 - Pourriez-vous expliquer simplement les rôles de Core AI, Core ML et MLX, et comment un débutant doit choisir ce qu’il doit apprendre ou utiliser ?
• 0:08:11 - Quelle est la taille de la fenêtre de contexte des Foundation Models s’exécutant sur l’appareil dans iOS 27, et est-ce que les jetons d’entrée et de sortie sont comptabilisés dans un budget partagé ?
• 0:11:22 - Les appels aux Foundation Models peuvent-ils s’exécuter dans une tâche BGAppRefreshTask ou BGProcessingTask, en particulier lorsque le téléphone est verrouillé, en veille ou en arrière-plan prolongé ?
• 0:13:02 - Concernant Apple Intelligence sur macOS 27, que signifie la « liste d’attente » sachant que les modèles locaux de Siri et les modèles du PCC fonctionnent déjà, et est-ce que la version bêta inclut le grand modèle avancé ?
• 0:14:24 - Enfin, le framework Foundation Models prend désormais en charge l’intégration de votre propre fournisseur de LLM aux côtés des modèles sur appareil et du PCC. Est-il possible de combiner ces trois approches dans un même flux agentique, et quelles sont les limites en matière de confidentialité des données et d’attribution lors de l’utilisation d’un fournisseur tiers ?
• 0:20:05 - Par ailleurs, mon app utilise la reconnaissance vocale locale sur l’appareil et doit être capable de reconnaître des noms propres, ainsi que des identités spécifiques. Est-ce que iOS personnalise la reconnaissance vocale pour chaque utilisateur au fil du temps, ou dois-je gérer cette liste moi-même ?
• 0:23:02 - Comment puis-je entraîner l’agent de codage à mieux comprendre mon style de programmation ou un domaine spécifique ? Un LLM local qui tente d’assimiler ma base de code complexe basée sur visionOS, Metal et des moteurs de physique affiche de mauvaises performances et plante.
• 0:32:36 - En matière de tests d’UI, quelles étapes concrètes les équipes peuvent-elles suivre pour intégrer des approches automatisées dans leurs workflows sur les plateformes Apple ?
• 0:35:41 - Y a-t-il des nouveautés concernant les frameworks Natural Language et Vision ? Étant donné que Foundation Models prend désormais en charge les images jointes, quelle est la méthode recommandée pour extraire les images ?
• 0:39:42 - Enfin, rappelez-vous que les modèles de langage locaux exécutés sur l’appareil possèdent une capacité de jetons limitée. Quelles sont les bonnes pratiques pour gérer la taille des prompts, la définition des outils et le contexte afin de ne pas dépasser les limites tout en maintenant un niveau de qualité élevé ?
• 0:51:39 - Notez par ailleurs que les garde-fous de Foundation Models rejettent parfois certaines entrées de journal intime pourtant légitimes, mais dont l’intensité émotionnelle est jugée trop élevée. Est-il possible d’éviter les refus sur les écrits personnels à forte charge émotionnelle, et comment puis-je détecter un refus lié aux garde-fous par rapport à d’autres types d’erreurs ?
• 0:54:22 - Historiquement, Apple a toujours apporté une vision singulière dans des domaines clés, comme le design et la confidentialité. Quelle est votre philosophie ou votre approche directrice concernant l’évaluation de l’IA ?
• 0:57:21 - Est-il possible que des modèles utilisés par différentes apps sur iPhone soient partagés entre les apps afin d’économiser de l’espace de stockage ?

Ressources

• • Vidéo HD
  • Vidéo SD