Code-along : Intégrez l’IA contenue sur l’appareil à votre app à l’aide du framework de Foundation Models

Découvrez comment utiliser le framework Foundation Models d’Apple pour créer une app exploitant l’intelligence embarquée afin de planifier des voyages. Ce framework vous aide à créer des fonctionnalités puissantes, privées et performantes pour macOS, iPadOS, iOS et visionOS. L’app génère des itinéraires pour des sites sélectionnés, en choisissant de manière autonome des points d’intérêt grâce à l’appel d’outils. Le processus inclut l’ingénierie de prompt, l’utilisation du playground Xcode, la diffusion en continu des résultats et le profilage de l’app pour optimiser ses performances.

La nouvelle fonctionnalité Playground de Xcode simplifie le processus d’itération du code pour les développeurs Swift. Elle offre un retour en direct, similaire aux aperçus SwiftUI, vous permettant d’écrire et de tester du code en temps réel. Avec le framework Foundation Models, vous pouvez interagir avec un modèle via des prompts. Le Playground exécute automatiquement le code à mesure que vous saisissez les prompts, offrant ainsi un retour immédiat sur les résultats. Pour améliorer la structure des résultats, la fonctionnalité de génération guidée permet d’annoter les structures de données avec le label « Generable », ce qui permet au modèle de les créer et de les remplir automatiquement. Affinez davantage la sortie du modèle à l’aide de la macro « Guide », qui fournit des contraintes et des descriptions aux propriétés. Cela offre un contrôle renforcé sur les données générées et garantit qu’elles correspondent précisément aux exigences définies. Le framework offre également un protocole d’outil flexible qui permet au modèle d’inclure des informations externes dans ses réponses. En tirant parti de ces fonctionnalités, vous pouvez créer une app de planification d’itinéraires qui génère des parcours structurés en fonction des saisies et des préférences des utilisateurs. L’interface utilisateur de l’app se met à jour de façon dynamique au fur et à mesure de la génération de l’itinéraire, offrant une expérience utilisateur fluide et intuitive.

L’exemple illustre la création d’une app de planification spécialisée qui utilise un modèle Foundation embarqué pour améliorer ses fonctionnalités. Pour cela, l’exemple définit des outils personnalisés conformes à un protocole spécifique. Ces outils possèdent des noms, des descriptions et des fonctions d’appel uniques. Un outil récupère les points d’intérêt depuis MapKit en fonction d’un site sélectionné par l’utilisateur. Cet outil peut recevoir des informations de l’utilisateur et générer une liste de catégories de points d’intérêt (comme les restaurants, les musées ou les marinas) en s’appuyant sur les connaissances du modèle pour identifier les catégories les plus pertinentes pour un lieu donné. Vous implémentez la méthode d’appel de cet outil, qui interagit avec MapKit en utilisant une requête en langage naturel générée par le modèle et la catégorie sélectionnée. L’outil filtre ensuite les points d’intérêt pertinents dans une zone définie et les renvoie. Pour intégrer l’outil à l’app de planification, créez une instance de cet outil avec le site sélectionné par l’utilisateur, puis transmettez-la à l’initialiseur de session du modèle. Le modèle peut alors décider de manière autonome quand et à quelle fréquence appeler l’outil. L’exemple montre également comment gérer les situations où le modèle Foundation embarqué n’est pas disponible, par exemple lorsque l’appareil n’est pas éligible à Apple Intelligence, que l’utilisateur ne s’est pas inscrit ou que le modèle n’est pas encore prêt. L’exemple met en œuvre les mises à jour d’interface appropriées ainsi que les messages d’erreur pour guider l’utilisateur dans ces situations. L’exemple explore également la possibilité de diffuser l’itinéraire au fur et à mesure que le modèle le génère, permettant ainsi à l’utilisateur de commencer à consulter les recommandations immédiatement, sans attendre la création complète de l’itinéraire.

Le code utilise une structure de données « PartiallyGenerated » (une version facultative de la structure « Generable ») pour gérer un itinéraire mis à jour de manière incrémentielle. Au fur et à mesure que de nouvelles données arrivent, l’interface utilisateur est mise à jour à chaque version partielle, affichant en premier les propriétés disponibles (par exemple, le titre, puis la description, puis les plans journaliers). La fonction forEach de SwiftUI affiche les plans journaliers générés partiellement. Des animations et des transitions de contenu sont ajoutées pour faciliter les mises à jour. L’optimisation des performances est possible à l’aide de l’instrument Foundation Models pour réduire le délai initial.

Pour optimiser les performances de l’app, l’exemple effectue un profilage sur un iPhone réel à l’aide de l’app Instruments sur Mac. L’instrument Foundation Models est ajouté et le temps nécessaire au chargement des modèles ainsi qu’à la génération de l’itinéraire est analysé. Les deux principales optimisations sont les suivantes : Préchauffage de la session. charger le modèle de langage embarqué avant que l’utilisateur ne fasse une demande (par exemple lorsqu’il sélectionne un site) permet de réduire la latence initiale. Définition du paramètre IncludeSchemaInPrompt sur false : cette optimisation évite d’insérer les schémas de génération dans les prompts, ce qui réduit le nombre de tokens et la latence, notamment lors des requêtes suivantes ou lorsque les instructions contiennent des exemples complets du schéma. Après la mise en œuvre de ces optimisations, l’app d’exemple affiche une réduction significative du nombre de tokens d’entrée et du temps total de réponse, améliorant ainsi considérablement son efficacité.