Voici le framework Foundation Models

Bonjour, je m’appelle Erik. Et moi Yifei. Aujourd’hui, nous avons le privilège de vous présenter le nouveau framework de Foundation Models ! Le framework de Foundation Models vous permet d’accéder sur votre appareil au grand modèle de langage qui alimente Apple Intelligence, grâce à une API Swift puissante. Il est disponible sur macOS, iOS, iPadOS et visionOS ! Vous pouvez l’utiliser pour améliorer des fonctionnalités de vos apps, comme la fourniture de suggestions de recherche personnalisées. Vous pouvez créer de toutes nouvelles fonctionnalités, comme un itinéraire dans une app de voyage, tout cela sur l’appareil. Vous pouvez l’utiliser pour créer des dialogues instantanés pour les personnages d’un jeu.

Il est optimisé pour générer du contenu, synthétiser du texte, analyser les entrées utilisateur et bien plus encore. Tout cela s’exécute sur l’appareil, de sorte que toutes les données entrantes et sortantes du modèle restent confidentielles. Il peut donc fonctionner hors ligne ! Et comme il est intégré au système d’exploitation, la taille de votre app n’augmente pas. Pour vous aider à tirer le meilleur parti du framework de Foundation Models, nous avons préparé une série de vidéos. Dans cette première vidéo, nous vous fournirons une vue d’ensemble de l’intégralité du framework. Nous commencerons par les détails du modèle. Nous présenterons ensuite la génération guidée, qui permet d’obtenir une sortie structurée dans Swift, ainsi que les API de streaming haute performance qui transforment la latence en une expérience satisfaisante. Nous parlerons de l’appel d’outils, grâce auquel le modèle exécute de manière autonome le code que vous définissez dans votre app. Nous expliquerons comment nous prenons en charge les sessions multi-tours avec état et comment nous intégrons de manière transparente le framework dans l’écosystème Apple Developer. Bien sûr, la partie la plus importante du framework est le modèle qui l’alimente. Et pour commencer à utiliser ce modèle, la meilleure méthode est de se lancer dans Xcode. Le test d’un large éventail d’invites pour trouver la plus efficace constitue une étape importante du processus de création à l’aide de grands modèles de langage. À cet égard, la nouvelle fonctionnalité Playgrounds de Xcode est ce qu’il y a de mieux. Avec seulement quelques lignes de code, vous pouvez immédiatement solliciter le modèle sur l’appareil. Je lui demande de générer un billet pour un voyage au Japon, et la sortie du modèle s’affichera dans le canevas à droite. Je veux vérifier si cette invite fonctionne aussi bien pour d’autres destinations. Dans un #Playground, vous pouvez accéder aux types définis dans votre app. Je crée une boucle for sur les points de repère présents dans la mienne. Xcode va me montrer la réponse du modèle pour tous les points de repère.

Le modèle sur l’appareil est un grand modèle de langage comportant 3 milliards de paramètres, chacun quantifié à 2 bits. Il dépasse de plusieurs ordres de grandeur tous les autres modèles faisant partie du système d’exploitation.

Il est important de garder à l’esprit que le modèle sur l’appareil reste dimensionné pour ce dernier. Il est optimisé pour des cas d’utilisation tels que la synthèse, l’extraction, la classification etc. Il n’est pas conçu pour des raisonnements avancés, des tâches pour lesquelles on pourra utiliser des LLM dimensionnés pour des serveurs.

Les modèles pour appareils nécessitent de décomposer les tâches en éléments plus petits. En travaillant avec le modèle, vous développerez une connaissance intuitive de ses forces et faiblesses.

Pour certains cas d’utilisation courants, tels que le balisage de contenu, nous fournissons des adaptateurs spécialisés qui optimisent les capacités du modèle dans des domaines précis.

Nous continuerons à améliorer nos modèles au fil du temps. Plus loin dans cette vidéo, nous vous expliquerons comment nous faire part de vos retours sur l’utilisation de nos modèles, ce qui nous aidera à les adapter à vos besoins.

Après nous être intéressés au modèle, la première étape de notre voyage sera la génération guidée. La génération guidée est ce qui permet de créer des fonctionnalités comme celles que vous venez de voir. C’est le cœur battant du framework de Foundation Models. Examinons un problème courant et voyons comment la génération guidée le résout. Par défaut, les modèles de langage produisent en sortie un langage naturel non structuré. Il est facile à lire pour les humains, mais difficile à transférer sur les vues de votre app.

Une solution consiste à demander au modèle de produire quelque chose de facile à analyser, comme des objets JSON ou CSV.

Cela peut vite s’apparenter au jeu du chat et de la souris. Vous devez ajouter des instructions de plus en plus précises sur quoi faire ou ne pas faire... Sans trop de succès... Et vous finissez par écrire des hacks pour extraire et corriger le contenu. Ce n’est pas fiable. En effet, le modèle est probabiliste. Il y a donc un risque non nul d’erreurs structurelles. La génération guidée offre une solution fondamentale à ce problème.

Lorsque vous importez Foundation Models, vous avez accès à deux nouvelles macros, @Generable et @Guide. Generable vous permet de décrire un type dont vous souhaitez que le modèle génère une instance. Guide vous permet de fournir des descriptions en langage naturel de propriétés et de contrôler par programmation les valeurs qui peuvent être générées pour ces propriétés.

Une fois un type Generable défini, vous pouvez faire en sorte que le modèle réponde aux invites en générant une instance de ce type. C’est très efficace. Comme vous le voyez, notre invite n’a plus besoin de spécifier le format de sortie. Le framework s’en charge pour vous.

Le plus important bien sûr, c’est que nous obtenons maintenant un objet Swift riche et facile à transférer sur une vue attrayante.

Les types Generable peuvent être élaborés à l’aide de primitives, comme Strings, Integers, Doubles, Floats, et Decimals, Booleans. Il est également possible de générer des tableaux, et de composer des types Generable. Generable prend même en charge les types récursifs, qui offrent des applications performantes dans des domaines tels que les interfaces utilisateur génératives. La chose la plus importante à comprendre concernant la génération guidée est qu’elle garantit l’exactitude structurelle grâce à une technique appelée le décodage contraint. Lorsque vous utilisez la génération guidée, vos invites peuvent être axées sur le comportement souhaité plutôt que sur le format. La génération guidée tend à améliorer la précision du modèle. Elle nous permet aussi d’effectuer des optimisations qui accélèrent l’inférence. Tout cela est possible par l’intégration coordonnée des systèmes d’exploitation et des outils de développement Apple, ainsi que par l’entraînement de nos modèles de base. Il y a beaucoup à dire sur la génération guidée, notamment sur la façon de créer des schémas dynamiques lors de l’exécution. Pour en savoir plus, consultez notre vidéo d’approfondissement. Nous avons vu comment le puissant système de types de Swift augmente les invites en langage naturel afin de garantir une sortie structurée fiable. Notre prochain sujet est le streaming, et il s’appuie sur la macro @Generable que vous connaissez déjà. Si vous avez déjà travaillé avec de grands modèles de langage, vous savez qu’ils génèrent du texte sous forme de courts groupes de caractères appelés jetons. Lors de l’envoi d’une sortie en streaming, les jetons sont fournis dans ce que l’on appelle un delta, mais le framework de Foundation Models offre une approche différente.

Au fur et à mesure de la production des deltas, c’est généralement le développeur qui est responsable de leur accumulation. Il ajoute chaque delta au fur et à mesure. Et la réponse augmente au fil du temps. Les choses se compliquent lorsque le résultat est structuré. Si vous voulez afficher la chaîne de salutation après chaque delta, vous devez l’analyser à partir de l’accumulation, et ce n’est pas simple, surtout pour les structures compliquées. Le streaming basé sur des deltas n’est pas la bonne option pour des sorties structurées. Les sorties structurées sont au cœur même du framework de Foundation Models. C’est pourquoi nous avons développé une approche différente. Au lieu de deltas bruts, nous diffusons des instantanés.

À mesure que le modèle produit des deltas, le framework les transforme en instantanés. Les instantanés représentent des réponses partiellement générées. Leurs propriétés sont toutes facultatives. Ils se remplissent à mesure que le modèle produit une plus grande partie de la réponse. Les instantanés offrent un moyen pratique de diffuser des sorties structurées en streaming.

Vous connaissez déjà la macro @Generable. Il s’avère qu’elle sert également à définir les types partiellement générés. Si vous développez la macro, vous découvrirez qu’elle produit un type nommé « PartiallyGenerated ». Il s’agit en fait d’un miroir de la structure extérieure, sauf que chaque propriété est facultative.

Le type partiellement généré entre en jeu quand vous appelez la méthode « streamResponse » lors de votre session.

La réponse en streaming renvoie une séquence asynchrone. Et les éléments de cette séquence sont des instances d’un type partiellement généré. Chaque élément de la séquence contiendra un instantané mis à jour.

Ces instantanés fonctionnent parfaitement avec les frameworks déclaratifs comme SwiftUI. Vous devez tout d’abord créer un état contenant un type partiellement généré. Il vous suffit ensuite d’itérer sur un streaming de réponses, de sauvegarder ses éléments et de regarder votre UI prendre vie.

Examinons quelques bonnes pratiques en matière de streaming.

Soyez créatif avec les animations et les transitions SwiftUI pour masquer la latence. Vous pouvez transformer un moment d’attente en un moment de plaisir. Ensuite, réfléchissez bien à l’identité de vue dans SwiftUI, en particulier lors de la génération de tableaux. Gardez à l’esprit que les propriétés sont générées dans l’ordre de leur déclaration dans votre structure Swift. C’est un point important, tant pour les animations que pour la qualité de la sortie du modèle. Par exemple, vous pouvez constater que le modèle produit de meilleures synthèses lorsqu’elles constituent la dernière propriété de la structure.

Pour en savoir plus, n’oubliez pas de regarder notre vidéo sur l’intégration des Foundation Models dans votre app. C’est ainsi que se termine le streaming avec les Foundation Models. Yifei va tout vous dire sur l’appel d’outils ! Merci Erik ! L’appel d’outils est une de nos fonctionnalités essentielles. Il permet au modèle d’exécuter le code que vous définissez dans votre app. L’appel d’outils est important pour tirer le meilleur parti de notre modèle, car il lui confère de nombreuses capacités supplémentaires. Il permet au modèle de savoir si une tâche nécessite des informations ou des actions supplémentaires, et de décider de manière autonome de l’outil à utiliser et du moment opportun, lorsque la programmation se prête difficilement à une prise de décision. Les infos que vous fournissez au modèle peuvent être des données publiques ou personnelles, des événements récents. Dans notre app de voyage, l’appel d’outils fournit des informations sur divers lieux à partir de MapKit. Cela permet au modèle de citer des sources de vérité, lesquelles pourront supprimer les hallucinations et vérifier les sorties du modèle. Enfin, il permet au modèle de prendre des mesures, que ce soit dans votre app, le système ou le monde réel. L’intégration de diverses sources d’informations est une stratégie gagnante pour créer des expériences attrayantes. Maintenant que vous connaissez l’utilité de l’appel d’outils, voyons son fonctionnement. Sur la gauche, nous avons une transcription qui enregistre tout ce qui s’est passé jusqu’à présent. Si vous avez fourni des outils à la session, celle-ci les présentera au modèle accompagnés des instructions. Vient ensuite l’invite, où nous indiquons au modèle la destination à visiter. Si le modèle estime que l’appel d’un outil peut améliorer la réponse, il déclenchera un ou plusieurs appels d’outils. Ici, le modèle produit deux appels d’outils, interroger les restaurants et les hôtels. À ce stade, le framework de Foundation Models appelle automatiquement le code que vous avez écrit pour ces outils. Le framework insère ensuite automatiquement les sorties des outils dans la transcription. Pour terminer, le modèle intègre ces sorties, ainsi que tout le reste, dans la transcription pour fournir la réponse finale.

Maintenant que nous avons une connaissance précise de l’appel d’outils, définissons ce qu’est un outil.

Nous définissons ici un outil météo simple, conforme au protocole relatif aux outils. L’outil météo s’est en quelque sorte imposé comme le « hello world » de l’appel d’outils, et c’est un excellent point de départ.

Le protocole vous demande de spécifier le nom et une description en langage naturel de l’outil.

Le framework les fournira automatiquement au modèle pour l’aider à comprendre quand appeler votre outil.

Lorsque le modèle appelle votre outil, il exécute la méthode d’appel définie par vos soins.

L’argument de la méthode d’appel peut être n’importe quel type Generable.

Vos arguments doivent être générables, car l’appel d’outils s’appuie sur la génération guidée pour garantir le fait que le modèle ne produira jamais de noms d’outils ou d’arguments non valides. Après avoir défini votre type d’arguments, vous pouvez écrire ce que vous voulez dans le corps de votre méthode. Nous utilisons ici CoreLocation et WeatherKit pour trouver la température d’une ville donnée. La sortie est représentée à l’aide du type ToolOutput, qui peut être créé à partir de GeneratedContent pour représenter des données structurées. Ou à partir d’une chaîne de caractères si la sortie de votre outil est en langage naturel. Maintenant que nous avons défini un outil, nous devons nous assurer que le modèle y a accès. Pour ce faire, passez votre outil dans l’initialiseur de votre session. Les outils doivent être connectés à l’initialisation de la session et seront accessibles au modèle pendant toute la durée de la session.

Après avoir créé une session avec des outils, il ne vous reste qu’à inviter le modèle comme à votre habitude. Les appels d’outils se dérouleront de manière autonome, et le modèle intégrera les résultats obtenus dans sa réponse finale. Les exemples montrent comment définir des outils sécurisés lors de la compilation, ce qui convient à la grande majorité des cas d’utilisation. Mais les outils sont aussi dynamiques ! Vous pouvez définir les arguments et les comportements d’un outil lors de l’exécution, en utilisant des schémas de génération dynamiques. Si ce sujet vous intéresse, n’hésitez pas à regarder notre vidéo d’approfondissement. Voilà pour l’appel d’outils. Nous avons appris comment mettre en œuvre des outils pour étendre les capacités du modèle. Parlons maintenant des sessions avec état. Vous avez déjà vu le mot session apparaître à plusieurs reprises dans cette vidéo. Le framework de Foundation Models s’articule autour de la notion de session avec état. Par défaut, lorsque vous créez une session, vous sollicitez le modèle à usage général de l’appareil. Vous pouvez lui fournir des instructions personnalisées. Les instructions sont pour vous l’occasion d’expliquer au modèle son rôle et de fournir des conseils sur la façon dont il doit répondre. Vous pouvez spécifier des éléments tels que le style et la verbosité. Sachez que des instructions personnalisées sont facultatives et qu’en leur absence, des instructions par défaut raisonnables seront utilisées.

Si vous choisissez de fournir des instructions personnalisées, il est important de comprendre la différence entre les instructions et les invites. Les instructions doivent provenir de vous, le développeur, tandis que les invites peuvent provenir de l’utilisateur. Le modèle est entraîné à obéir à des instructions plutôt qu’à des invites. Cela protège contre les attaques par injection d’invites, mais sans garantie. En règle générale, les instructions sont surtout statiques et il est préférable de ne pas interpoler des données utilisateur non fiables dans les instructions. Il s’agit donc d’une introduction sur la meilleure façon de formuler vos instructions et vos invites. Pour découvrir plus de bonnes pratiques, regardez notre vidéo sur la conception et la sécurité des invites. Maintenant que vous avez initialisé une session, parlons des interactions multi-tours ! Lors de l’utilisation des méthodes respond ou streamResponse dont nous avons parlé précédemment, chaque interaction avec le modèle est conservée sous forme de contexte dans une transcription, de sorte que le modèle pourra se référer à des interactions multi-tours antérieures et les comprendre au cours d’une même session. Ici, le modèle est capable de comprendre le message « fais-en un autre » lorsque nous faisons référence à l’écriture d’un haïku.

La propriété « transcript » sur l’objet de session vous permettra d’inspecter les interactions précédentes ou de dessiner des vues d’UI pour les représenter.

Il y a une chose importante à savoir. Pendant que le modèle produit une sortie, sa propriété « isResponding » devient « true ». Vous devrez peut-être surveiller cette propriété et veiller à ne pas soumettre d’autres invites tant que le modèle n’aura pas fini de répondre. Au-delà du modèle par défaut, nous proposons également des cas d’utilisation spécialisés intégrés, soutenus par des adaptateurs. Si vous trouvez un cas d’utilisation intégré qui correspond à vos besoins, vous pouvez le transmettre à l’initialiseur de SystemLanguageModel. Pour savoir quels sont les cas d’utilisation intégrés disponibles et comment les utiliser, consultez notre documentation sur le site des développeurs. Un adaptateur spécialisé dont je souhaite parler plus en détail est l’adaptateur de balisage de contenu. Il offre des supports de premier ordre pour la génération de balises, l’extraction d’entités et la détection de rubriques. L’adaptateur est entraîné à produire des balises de rubrique et conçu pour s’intégrer dès le départ à la génération guidée. Vous pouvez donc définir une structure avec notre macro Generable, et transmettre les données de l’utilisateur pour en extraire des rubriques.

Mais ce n’est pas tout ! En lui fournissant des instructions et un type de sortie Generable personnalisés, vous pouvez l’utiliser pour détecter des actions et des émotions. Avant de créer une session, vérifiez la disponibilité du modèle, car il ne peut s’exécuter que sur les appareils compatibles avec Apple Intelligence dans les zones géographiques prises en charge. Pour vérifier si le modèle est disponible, vous pouvez accéder à la propriété Availability sur SystemLanguageModel.

Cette propriété fait partie d’une énumération à deux options, à savoir disponible ou indisponible. En cas d’indisponibilité, vous recevez un motif pour ajuster votre interface utilisateur en conséquence.

Pour finir, vous pouvez rencontrer des erreurs lorsque vous appelez le modèle. Il peut s’agir d’une violation de la barrière de sécurité, une langue non prise en charge ou un dépassement de la fenêtre de contexte. Pour offrir la meilleure expérience, vous devez les gérer de manière appropriée. La vidéo d’approfondissement vous informera davantage. C’est tout pour les sessions multi-tours avec état ! Nous avons appris à créer une session et à l’utiliser, ainsi qu’à comprendre comment un modèle garde une trace de votre contexte. Maintenant, parlons des outils et de l’expérience des développeurs. Vous pouvez accéder à n’importe quel fichier Swift de votre projet et utiliser la nouvelle macro playground pour lancer le modèle.

Les playgrounds sont efficaces, car ils vous permettent d’effectuer des itérations rapides avec vos invites, sans avoir à concevoir et exécuter de nouveau votre app. Dans un playground, votre code peut accéder à tous les types de votre projet, par exemple, les types Generable qui alimentent déjà votre UI.

Ensuite, nous savons que pour créer des expériences applicatives alimentées par de grands modèles de langage, il est important de comprendre la latence interne au système, car les grands modèles de langage s’exécutent plus lentement que les modèles ML traditionnels. Comprendre la latence peut vous aider à ajuster la verbosité de vos invites ou à déterminer quand faire appel à des API utiles comme le préchauffage.

Et notre nouveau modèle de profilage d’app Instruments est conçu pour cela. Vous pouvez établir le profil de latence d’une demande de modèle, observer les zones d’amélioration et quantifier les améliorations.

Vous pouvez soumettre des commentaires qui peuvent nous aider à améliorer nos modèles et nos API.

Nous vous encourageons à envoyer vos avis par le biais de l’Assistant d’évaluation. Nous fournissons même une structure de données encodable pour les commentaires que vous pouvez joindre sous forme de fichier.

Enfin, si vous êtes un adepte de l’apprentissage automatique, avec des cas d’utilisation hautement spécialisés et un ensemble de données personnalisé, vous pouvez former des adaptateurs personnalisés à l’aide de notre kit de formation pour adaptateurs. Gardez à l’esprit que cela suppose des responsabilités importantes, car vous devrez les réentraîner à mesure qu’Apple perfectionne le modèle. Pour en savoir plus, consultez le site web des développeurs. Maintenant que vous connaissez plusieurs des fonctionnalités intéressantes du nouveau framework de Foundation Models, nous avons hâte de découvrir toutes vos créations incroyables ! Pour en savoir plus sur l’intégration de l’IA générative dans votre app, sur le fonctionnement interne des technologies telles que la génération guidée et sur la façon de créer les meilleures invites, nous vous proposons toute une série de vidéos et d’articles passionnants. Merci beaucoup pour votre présence aujourd’hui ! Bonne génération !