Explorez la conception rapide et la sécurité pour les modèles de fondation sur l’appareil

Bonjour, je m’appelle Mary Beth. Je suis chercheuse en IA centrée sur l’humain. Et moi je m’appelle Sprite. Je suis ingénieure en sécurité de l’IA. Nous avons facilité comme jamais la conception d’expériences d’IA générative pour votre app à l’aide du nouveau framework Foundation Models. L’IA générative est une technologie passionnante. Le principal défi consiste à créer une expérience robuste qui fonctionne pour les personnes qui utilisent votre app dans différentes situations réelles. Mary Beth et moi avons des conseils pour vous aider. Tout à fait. Que vous soyez designer ou ingénieur, cette session est faite pour vous. Avant de commencer, prenons un moment pour définir ce que sont une invite et un LLM. Dans un modèle d’IA générative, une invite est une entrée de texte servant à guider la réponse, écrite dans un langage humain naturel, comme un message envoyé à un collègue.

J’ai écrit une invite sous forme de variable chaîne qui dit : « Génère une histoire de renard pour endormir un enfant ». Cette invite est écrite en anglais, mais vous pouvez utiliser n’importe quelle langue prise en charge par Apple Intelligence. Voyons maintenant le code pour exécuter mon invite dans une séance de modèle de langage. Lorsque je l’exécute, le modèle répond avec une histoire détaillée et imaginative. Incroyable ! Regardons de plus près ce qu’il se passe. Avec le nouveau framework Foundation Models, votre invite est envoyée à un grand modèle de langage (LLM) embarqué. Les LLM peuvent raisonner et générer du texte. Ce modèle, à usage général, est intégré aux systèmes d’exploitation iOS, iPadOS, macOS et visionOS. Ce même modèle de langage est utilisé par Apple Intelligence pour les Outils d’écriture, par exemple. En y regardant de plus près, Apple Intelligence utilise également des invites pour instruire le modèle. Maintenant que les concepts d’invites et de LLM sont clairs, voyons les sujets que nous allons aborder. J’aborderai d’abord des stratégies de conception spécifiques au modèle de langage embarqué que vous utiliserez, puis je parlerai des bonnes pratiques en matière d’invite. Ensuite, Sprite expliquera comment concevoir des systèmes IA sûrs, et proposera des stratégies d’évaluation et de test pour garantir la qualité et la sécurité de vos invites. Allons-y. Tout d’abord, examinons la conception du LLM embarqué. Ce modèle est intégré à vos appareils et peut être utilisé pour de nombreuses tâches linguistiques courantes : résumé, classification, conversations interactives, composition textuelle, révision de texte et génération de mots-clés. Mais gardez à l’esprit que ce grand modèle de langage est optimisé et compressé pour tenir dans votre poche. Le modèle embarqué compte environ 3 milliards de paramètres. Bon, 3 milliards, c’est déjà un énorme modèle d’apprentissage automatique. Pour mettre les choses en perspective, imaginez que ce cercle est un LLM populaire, comme ChatGPT. Les LLM comme celui-ci utilisent des centaines de milliards de paramètres et fonctionnent sur des serveurs colossaux. Cette différence de taille signifie que le LLM embarqué ne sera pas en mesure de faire autant qu’un gros LLM basé sur un serveur. Premièrement, les tâches qui fonctionnent avec un LLM à grande échelle peuvent ne pas fonctionner telles quelles sur un modèle plus petit. Si vous n’obtenez pas de bons résultats avec un modèle système pour une tâche de raisonnement complexe, décomposez l’invite de la tâche en étapes plus simples. Pour les tâches mathématiques, évitez d’utiliser ce petit modèle comme une calculatrice. Le code non-IA est beaucoup plus fiable pour les mathématiques. Le modèle n’étant pas optimisé pour le code, ne l’utilisez pas non plus pour générer du code.

Comme il est plus petit, le modèle du système a une connaissance limitée du monde. Par exemple, le modèle ne connaîtra pas les évènements récents survenus après la date de son apprentissage. Ne vous reposez pas sur le modèle du système pour des faits sans avoir bien vérifié que le modèle connaît un sujet spécifique, comme les bagels. Je vais demander au modèle d’énumérer 10 saveurs de bagels populaires.

Voici la réponse du modèle à mon invite. Le modèle connaît clairement les bagels, mais il décrit le bagel nature comme ayant plein de garnitures, ce qui est incorrect. Ce modèle ne devrait pas être utilisé comme une encyclopédie du bagel, car il n’est pas tout à fait exact. Mais ce niveau de connaissance peut convenir à certains contextes, comme un jeu de boulangerie. Par exemple, vous pouvez utiliser le modèle pour générer un dialogue avec des clients qui commandent des bagels. En cas d’erreur du modèle, un bagel bizarre peut être amusant dans le cadre d’un jeu sans présenter de risque. Ensuite, il est essentiel de comprendre les conséquences des hallucinations. Quand le modèle ne connaît pas un sujet, il peut « halluciner », un terme technique qui désigne une réponse inventée de toute pièce. En matière d’instructions, où l’exactitude est essentielle, ne prenez pas le risque que des hallucinations induisent les utilisateurs en erreur. Évitez de vous fier au modèle de langage système pour les faits. Si vous souhaitez générer des faits, fournissez au modèle des informations vérifiées que vous écrivez dans votre invite. Et vérifiez minutieusement les résultats du modèle pour toutes les nouvelles invites que vous écrivez. Vous pouvez améliorer la fiabilité dans de nombreuses situations grâce à une particularité de ce modèle : la génération guidée. Avec le framework Foundation Models, la génération guidée vous permet de contrôler ce que le modèle doit générer, qu’il s’agisse de chaînes, de chiffres, de tableaux ou d’une structure de données personnalisée que vous définissez. Pour en savoir plus sur le fonctionnement de la génération guidée, regardez la vidéo « Meet Foundation Models Framework ». Parlons maintenant des bonnes pratiques en matière d’invite. L’ingénierie de l’invite est un sujet important. Je vous encourage à explorer davantage le sujet. Voici toutefois quelques bonnes pratiques pour vous aider à démarrer. Vous pouvez contrôler la quantité de contenu générée par le modèle du système simplement en le lui indiquant. Mon invite dit : « Génère une histoire de renard pour endormir un enfant ». Je vais la modifier pour limiter la réponse à un paragraphe.

Et ça marche ! Voilà une histoire bien plus courte. Utilisez des expressions telles que « en trois phrases » ou « en quelques mots » pour raccourcir le résultat. Utilisez des expressions telles que « en détail » pour générer un résultat plus long. Vous pouvez également contrôler le style et le ton du texte généré en spécifiant un rôle dans votre invite. Je vais dire au modèle que le renard parle un anglais shakespearien.

Et ça marche aussi ! Le modèle a endossé le rôle d’un renard shakespearien et a écrit une page de son journal intime en se mettant dans sa peau. Le modèle peut jouer de nombreux rôles en fonction de votre invite. J’ai d’autres conseils à vous donner en fonction de la façon dont ce modèle a été entraîné. Tout d’abord, vos invites doivent donner un ordre clair. Le modèle fonctionne mieux lorsqu’on lui donne une seule tâche spécifique détaillée. Vous pouvez améliorer les performances en fournissant au modèle moins de cinq exemples du type de résultat que vous attendez, indiqués directement dans votre invite. Enfin, si vous obtenez un résultat dont vous ne voulez pas, le modèle répond bien à une commande en majuscules : « NE… PAS », comme si vous lui parliez sèchement.

Lorsque vous êtes prêt à vous lancer, la nouvelle fonctionnalité Playgrounds dans Xcode est l’endroit idéal pour tester des invites. Il vous suffit d’ajouter #Playground à n’importe quel fichier de code de votre projet et d’écrire votre invite avec une séance de modèle de langage. La réponse du modèle s’affichera dans le panneau droit, comme un aperçu de l’interface utilisateur Swift. C’est un excellent moyen pour trouver l’invite qui convient le mieux à votre app. Nos bonnes pratiques d’ingénierie de l’invite s’appliquent aux invites comme aux instructions. Les instructions sont un deuxième type d’invite du framework Foundation Models, dont l’objet est légèrement différent. Lorsque vous créez une séance de modèle de langage, vous pouvez passer des instructions comme argument. Les instructions sont un type spécial d’invite qui indiquent au modèle comment se comporter et répondre à toutes les invites ultérieures. Ici, j’ai écrit les instructions : « Tu es un assistant pratique qui génère des histoires effrayantes pour des adolescents ». Voyons le résultat.

La génération d’origine d’une histoire pour s’endormir avec une invite simple ressemblait à ça. Lorsque nous ajoutons des instructions, le modèle reçoit nos instructions avant toute autre invite. Désormais, quand nous envoyons notre invite pour générer une histoire, le ton de l’histoire change radicalement en réponse à notre instruction que l’histoire soit effrayante.

Notez que lors des invites suivantes envoyées au modèle, les instructions sont maintenues. Maintenant, je vais envoyer l’invite : « Écris un poème sur les bagels ». Comme prévu, le modèle produit un poème effrayant sur les bagels. Pour conclure notre discussion sur les invites, parlons d’interactivité. Les invites ne doivent pas seulement venir de vous en tant que concepteur de l’app. En combinant les instructions et les invites, vous pouvez créer une séance de modèle interactive où les invites proviennent des utilisateurs de votre app. Voyons cela. Imaginons que je construise une app de journal intime. Tout d’abord, je vais donner ces instructions au modèle de langage. « Tu es un assistant pratique qui aide les utilisateurs à écrire leur journal intime en leur posant des questions sur leur journée ». Je veux que quelqu’un qui utilise mon app puisse commencer à écrire directement dans son journal, comme une invite pour mon modèle. Il dit : « La journée a été difficile ». Le modèle répond par une invite de journal. « Qu’est-ce qui a rendu la journée difficile ? ». Dans ce scénario, si vous utilisez ce que l’utilisateur saisit comme invite pour votre modèle, vous ne savez pas ce qui va être saisi. Les invites ont une incidence sur la sécurité. Accidentellement ou volontairement, une personne peut saisir quelque chose qui amène le modèle à réagir de manière inutile, voire nuisible. Pour en savoir plus sur la sécurité de l’IA, je passe la parole à Sprite. Merci, Mary Beth. Vous savez maintenant comment écrire de bonnes invites pour tirer parti au mieux de notre modèle embarqué. La création d’invite est le premier outil de votre boîte à outils de sécurité. Découvrez comment concevoir votre app en faisant de la sécurité une priorité. Nous avons créé un ensemble de principes pour les fonctionnalités d’Apple Intelligence qui reflètent nos valeurs essentielles. Ces mêmes principes ont guidé la conception du framework Foundation Models afin de vous aider à créer une expérience magique et sûre pour votre app. Nous voulons que vous puissiez créer des apps qui favorisent l’autonomie. Qu’il s’agisse de générer des histoires pour endormir les enfants ou de planifier vos prochaines vacances. L’IA générative peut être utilisée à mauvais escient ou causer des dommages. Bien que le framework Foundation Models comporte des garde-fous pour créer une expérience d’app sûre, je vous encourage à réfléchir à ce qui pourrait mal tourner avec l’utilisation de votre app. Nous avons conçu notre modèle et le framework dans un souci de confidentialité, et nous les améliorons continuellement pour éviter de perpétuer des stéréotypes et des préjugés systémiques. Maintenant, parlons des garde-fous. Le framework Foundation Models intègre des garde-fous entraînés par Apple pour que vous n’ayez pas à vous soucier du pire. Les garde-fous sont appliqués à l’entrée et à la sortie du modèle. Vos instructions, invites et appels d’outils sont tous considérés comme des entrées pour le modèle. Nous avons conçu nos garde-fous pour bloquer les entrées contenant du contenu nuisible. Les résultats du modèle sont également protégés par les garde-fous. Cela garantit le blocage de résultats nuisibles du modèle, même si les invites ont été conçues pour contourner les garde-fous d’entrée.

Voici comment détecter les erreurs de sécurité dans Swift. Lorsqu’une erreur se produit, vous devez réfléchir à la manière de la communiquer aux personnes qui utilisent votre app. Si votre fonctionnalité est proactive, c’est-à-dire non déclenchée par l’action de l’utilisateur, vous pouvez ignorer l’erreur et ne pas interrompre l’interface utilisateur avec des informations imprévues.

Pour une fonctionnalité initiée par l’utilisateur, en particulier si l’utilisateur doit patienter, n’oubliez pas de fournir un feedback d’interface utilisateur approprié pour expliquer que l’app ne peut pas traiter la demande. Il peut s’agir d’une simple alerte, ou vous pouvez profiter de cette occasion pour proposer un choix d’actions alternatives. Par exemple, Image Playground permet d’annuler facilement l’invite à l’origine d’une erreur de sécurité. Le framework Foundation Models offre un excellent point de départ, mais vous restez responsable de l’expérience offerte par votre app. Ainsi les utilisateurs peuvent lui faire confiance pour générer un contenu adapté à leurs attentes.

Voici trois éléments pour instaurer la confiance avec les personnes qui utilisent votre app. Assurez-vous que votre app ne génère pas de contenu inapproprié. Les garde-fous du framework Foundation Models les bloqueront. Vous devrez également traiter les entrées des utilisateurs avec soin. Pour ce faire, rédigez soigneusement vos instructions et vos invites.

Prenez également en compte les réactions des utilisateurs aux réponses de votre app, et l’incidence que cela peut avoir sur eux. Je vous donnerai quelques exemples plus tard pour vous aider à réfléchir à ce que vous pouvez faire. Reprenons l’exemple de journal intime que Mary Beth a utilisé précédemment. Notre modèle est entraîné à privilégier les instructions par rapport aux invites. Les instructions sont donc un excellent moyen d’améliorer la sécurité des réponses.

Ici, j’ajoute une phrase pour dire au modèle de répondre aux invites négatives de manière empathique et éthique. Vous pouvez voir comment les nouvelles instructions orientent le résultat du modèle. Même si elles ne sont pas à toute épreuve, des instructions soigneusement rédigées améliorent la qualité des réponses dans votre app. Les instructions ne doivent provenir que de vous et ne jamais inclure de contenu non fiable ni d’entrée utilisateur. Vous pouvez inclure l’entrée utilisateur dans vos invites. Voyons cela. Un schéma très courant consiste à considérer toute entrée utilisateur comme une invite. Pensez à un chatbot qui prend en compte toute contribution des personnes utilisant votre app. S’il est très flexible, ce schéma comporte également des risques pour la sécurité. Lorsque vous avez besoin de ce schéma, assurez-vous que le modèle a pour instruction de gérer un large éventail d’entrées utilisateur avec précaution. Un bon moyen de réduire les risques sans sacrifier la flexibilité consiste à combiner votre propre invite à l’entrée de l’utilisateur. Mieux encore : votre app peut fournir une liste d’invites intégrées que les utilisateurs peuvent sélectionner, afin que vous ayez un contrôle total sur les invites. S’il est moins flexible, ce schéma vous permet de créer un ensemble d’invites vraiment performantes pour votre app et pour que le modèle génère d’excellentes réponses. Même avec de bonnes instructions et une gestion minutieuse des saisies utilisateur, votre app peut toujours présenter des risques pour la sécurité. Vous devez anticiper l’impact et les conséquences des actions des utilisateurs pour générer du contenu dans votre app. Voyons quelques exemples.

Voici l’invite pour générer des saveurs de bagel que Mary Beth vous a montrée plus tôt.

L’un des risques potentiels liés à l’utilisation de votre app est que certaines saveurs proposées peuvent contenir des allergènes tels que des arachides ou de l’ail. Pour limiter les risques, vous pouvez afficher un avertissement sur les allergies dans l’interface utilisateur. Vous pouvez aussi ajouter des réglages pour que l’utilisateur puisse définir ses restrictions alimentaires et que votre app filtre les recettes du modèle.

Prenons un autre exemple : vous créez une app de génération de quiz et vous voulez éviter de générer des questions sur des sujets controversés ou hors contexte qui ne sont pas adaptés à votre public. Vous pouvez ajouter des instructions ou proposer une liste de mots-clés refusés. Si vous pratiquez l’apprentissage automatique, vous pouvez également entraîner un classificateur pour une solution plus solide. Au final, c’est à vous de mettre en œuvre des mesures préventives dans votre cas d’utilisation. Comme pour d’autres systèmes de sécurité, nous avons évoqué jusqu’à présent une approche par couches pour s’assurer qu’un problème de sécurité ne peut survenir que s’il n’est détecté par aucune couche. Voyez ces couches comme des tranches de gruyère empilées. Même si chaque tranche a des trous, rien ne pourra traverser à moins que les trous de toute la pile ne soient alignés. Maintenant, dévoilons notre boîte à outils de sécurité. La couche fondamentale de notre pile est constituée par les garde-fous intégrés au framework Foundation Models. Vous ajouterez au modèle des instructions sur la sécurité. Ces instructions seront prioritaires par rapport aux invites. Vous concevrez également votre app pour contrôler la façon d’inclure les entrées utilisateur dans les invites de votre modèle. Enfin, la dernière couche consiste à implémenter des mesures d’atténuation propres à votre cas d’utilisation. Une autre étape cruciale de la création d’une app qui utilise l’IA générative est l’évaluation et les tests.

Vous pouvez commencer par sélectionner des ensembles de données en fonction de leur qualité et de leur sécurité. Veillez à collecter les invites qui couvrent les principaux cas d’utilisation de votre app, mais aussi celles qui peuvent déclencher des problèmes de sécurité.

À l’aide d’un jeu de données, vous créerez un système automatisé pour tester votre fonctionnalité de bout en bout. Vous pouvez créer un outil de ligne de commande dédié ou une app de test d’interface utilisateur à cette fin.

Avec un petit jeu de données, vous pouvez examiner chaque réponse manuellement pour voir s’il y a des problèmes. Pour passer à un plus gros jeu de données, envisagez d’utiliser un autre grand modèle de langage pour évaluer automatiquement les réponses à votre place. Et n’oubliez pas de tester les cas d’échec dans votre app, pour vous assurer que son comportement est conforme à ce que vous attendez en cas d’erreur de sécurité.

Investir dans l’évaluation et les tests peut vous aider à suivre les améliorations ou les régressions, à mesure que vous mettez à jour vos invites et que nous mettons à jour notre modèle. Cela vous permet d’avoir confiance dans la qualité et la sécurité de la fonctionnalité intelligente de votre app. Nous continuerons à mettre à jour notre modèle et notre système de sécurité pour appliquer les dernières bonnes pratiques et résoudre les problèmes de sécurité. Si vous rencontrez des problèmes de sécurité lors du développement de votre app, vous pouvez les signaler à l’aide de l’assistant d’évaluation. Vous pouvez également créer votre propre UI pour recueillir le feedback des utilisateurs sur les fonctionnalités de votre app. Assurez-vous que les personnes comprennent quelles données sont collectées via votre app et comment elles sont utilisées. Vous pouvez en savoir plus sur la collecte de données et la confidentialité de votre app sur notre site web dédié aux développeurs. Nous avons abordé beaucoup de points dans cette vidéo. Concluons le sujet de la sécurité avec une liste de contrôle. Votre app doit gérer les erreurs de garde-fous lors de l’invite du modèle. La sécurité doit faire partie de vos instructions. Lorsque vous incluez les entrées utilisateur dans vos invites, recherchez un équilibre judicieux entre flexibilité et sécurité. Anticipez l’effet de l’utilisation de vos fonctionnalités intelligentes et appliquez des mesures d’atténuation propres aux cas d’utilisation. Investissez dans l’évaluation et les tests afin d’avoir confiance dans la qualité et la sécurité de la fonctionnalité intelligente de votre app. Enfin, signalez les problèmes de sécurité à l’aide de l’assistant d’évaluation. C’est tout en ce qui concerne la sécurité de l’IA. Nous avons hâte de voir ce que vous allez créer avec l’IA générative dans votre app. Je vous laisse des ressources et des outils supplémentaires pour vous aider. N’oubliez pas d’essayer la nouvelle fonctionnalité Playgrounds en ligne Xcode pour votre ingénierie d’invites. Bien que nous ayons partagé un tas de recommandations pour la sécurité dans votre app, vous pouvez en savoir plus sur l’approche d’Apple en matière d’IA responsable, y compris les mesures de sécurité intégrées à nos Foundation Models, dans un article détaillé sur machinelearning.apple.com. Enfin, consultez nos nouvelles directives de conception d’IA générative et les Directives d’interface humaine. Voilà pour la création d’invites et la sécurité. Faites de bonnes invites ! Mais n’oubliez pas : la sécurité d’abord !