Explore a criação de prompts e a segurança de IA para modelos no dispositivo

Olá. Meu nome é Mary Beth. Sou researcher of human-centered AI. Meu nome é Sprite. Sou AI safety engineer. Com o novo framework Foundation Models, ficou ainda mais fácil criar experiências de IA generativa para seu app. A IA generativa é uma tecnologia empolgante. O principal desafio é criar uma experiência robusta que funcione para quem usa seu app em diferentes situações do mundo real. A notícia boa é que Mary Beth e eu temos dicas para ajudar você. Com certeza. Se você é designer ou engenheiro, este vídeo é para você. Mas primeiro, vamos nos familiarizar com prompts e LLMs. Como você deve saber, um prompt é uma entrada de texto para um modelo de IA generativa orientar sua resposta. É escrito em linguagem humana natural, como se você estivesse enviando mensagens para um colega de trabalho. Aqui, escrevi um prompt como uma variável de string que diz: "Crie uma história sobre uma raposa." Escrevi esse prompt em inglês, mas você pode escrever em qualquer idioma compatível com a Apple Intelligence. Agora vamos conferir o código para executar meu prompt em uma LanguageModelSession. Quando executo, o modelo responde com uma história detalhada e criativa. Incrível! Vamos analisar melhor o que está acontecendo aqui. Com o novo framework Foundation Models, o prompt é enviado a um grande modelo de linguagem, ou LLM, no dispositivo. Os LLMs podem raciocinar e gerar texto. Esse modelo é de uso geral e está integrado aos sistemas operacionais no iOS, iPadOS, macOS e visionOS. Esse mesmo modelo de linguagem é usado pela Apple Intelligence em recursos como Ferramentas de Escrita. Nos bastidores, a Apple Intelligence também usa prompts para instruir o modelo. Agora que sabemos o que são prompts e LLMs, vamos conferir o que abordaremos neste vídeo. Vou falar de estratégias de design específicas para o modelo de linguagem no dispositivo que você usará e abordarei as melhores práticas para prompts. Sprite vai falar sobre o processo de design com foco na segurança de IA, terminando com estratégias para avaliar e testar a qualidade e segurança dos prompts. Vamos começar. Primeiro, vamos falar da criação para o LLM no dispositivo. Esse modelo é executado no dispositivo e pode ser usado em tarefas de linguagem, como sumarização, classificação, conversas com várias interações, escrita e revisão de texto e geração de tags a partir de texto. Mas lembre-se de que esse grande modelo de linguagem é otimizado e compactado para caber no seu bolso. O modelo no dispositivo tem cerca de 3 bilhões de parâmetros. De qualquer forma, um modelo de aprendizado de máquina com 3 bilhões de parâmetros é enorme. Para fins de comparação, imagine que este círculo represente um LLM popular que você conhece, como o ChatGPT. Atualmente, LLMs como esse têm centenas de bilhões de parâmetros e são executados em servidores enormes. Hoje, essa diferença de tamanho significa que o LLM no dispositivo não será capaz de fazer tudo o que um LLM em servidor grande pode fazer. Primeiro, as tarefas executadas em um LLM de grande escala talvez não funcionem como em um modelo menor. Se os resultados do modelo do sistema não estiverem satisfatórios para uma tarefa de raciocínio complexo, tente dividir seu prompt em etapas mais simples. Para tarefas relacionadas à matemática, evite pedir que esse modelo pequeno aja como uma calculadora. Um código sem IA é muito mais confiável para matemática. O modelo do sistema não é otimizado para código, então evite tarefas de geração de código.

Devido ao seu tamanho menor, o modelo do sistema também tem conhecimento de mundo limitado. Por exemplo, ele não saberá sobre eventos que ocorreram após a data em que foi treinado. Não confie no modelo do sistema quanto a fatos, a menos que você confirme que ele foi treinado em um assunto específico, como bagels. Vou pedir para o modelo listar 10 sabores populares de bagel.

É isso que o modelo produz para o meu prompt. É claro que o modelo conhece bagels, mas ele diz que um bagel simples tem várias coberturas, o que é incorreto. Este modelo não deve ser usado como uma enciclopédia sobre bagels porque não é totalmente preciso. Esse nível de conhecimento pode ser adequado para algumas coisas, como um jogo de padaria. Por exemplo, você pode usar o modelo para gerar falas de clientes que pedem bagels. Se o modelo cometer um erro, um sabor estranho de bagel pode ser engraçado em um jogo, em vez de causar confusão. Agora, é importante entender os impactos das alucinações. Quando o modelo não conhece algo, ele pode alucinar, que é a palavra técnica para inventar uma resposta. Em cenários como instruções, onde os fatos são essenciais, não corra o risco de as alucinações confundirem as pessoas. Evite confiar no modelo de linguagem do sistema para fatos. Se você quiser gerar fatos, uma opção é fornecer ao modelo informações verificadas no seu prompt. Verifique os fatos nos resultados do modelo sempre que escrever um prompt novo. Por enquanto, você pode melhorar a confiabilidade em muitas situações com um recurso especial desse modelo: geração guiada. Com o framework Foundation Models, a geração guiada oferece controle sobre o que o modelo deve gerar, sejam strings, números, vetores ou uma estrutura de dados personalizada definida. Para saber como a geração guiada funciona, confira a sessão "Conhecer o framework Foundation Models". Agora, vamos falar sobre as melhores práticas para prompts. A engenharia de prompts é um assunto extenso. Recomendo que você se aprofunde além do que veremos aqui. Aqui vão algumas melhores práticas para você começar. Primeiro, você pode controlar a quantidade de conteúdo que o modelo do sistema gera simplesmente dando a instrução. Meu prompt diz: "Gere uma história sobre uma raposa". Vou fazer mudanças para pedir apenas um parágrafo.

E funciona! Uma história muito mais curta. Use instruções como "em três frases" ou "em poucas palavras" para encurtar o resultado. Use termos como "em detalhes" para gerar um resultado mais longo. Você também pode controlar o estilo e o tom do texto que o modelo produz especificando um papel no prompt. Vou dizer ao modelo que essa raposa fala inglês shakespeariano.

E funciona também. O modelo assumiu o papel de uma raposa shakespeariana e escreveu uma breve e adorável entrada de diário como essa personagem. O modelo pode assumir muitos papéis com base no seu prompt. Tenho mais algumas dicas para você com base na forma como este modelo foi treinado. Primeiro, escreva os prompts como um comando claro. Em geral, o modelo se sai melhor quando recebe uma tarefa única e específica com detalhes. Você pode melhorar a qualidade da tarefa dando ao modelo menos de cinco exemplos dos tipos de resultado desejados. Basta escrevê-los diretamente no prompt. Por fim, para deixar claro que tipo de resultado você não quer, use comandos em letras maiúsculas, do tipo "NÃO FAÇA", como se estivesse falando sério com ele.

Quando quiser experimentar, um ótimo lugar para testar prompts é o novo recurso Playgrounds no Xcode. Adicione #Playground a qualquer arquivo de código no seu projeto e escreva seu prompt em uma LanguageModelSession. A resposta do modelo aparecerá imediatamente na tela à direita, como uma prévia da SwiftUI. Essa é uma ótima maneira de testar e descobrir qual prompt funciona melhor para o seu app. Nossas melhores práticas de engenharia de prompt podem ser aplicadas a prompts e instruções. As instruções são um segundo tipo de prompt que o framework Foundation Models oferece com um propósito diferente. Ao criar uma LanguageModelSession, você pode incluir instruções como um argumento. As instruções são um tipo especial de prompt que dizem como o modelo deve se comportar e responder a todos os prompts subsequentes. Aqui eu escrevi as instruções: "Você é um assistente útil que gera histórias assustadoras apropriadas para adolescentes". Vamos ver o efeito.

Nossa história original, gerada com um prompt simples, ficou assim. O modelo recebe as instruções adicionadas antes de qualquer outro prompt. Agora, quando enviamos o prompt para gerar uma história, o tom dela muda drasticamente para seguir a instrução e criar uma história assustadora.

Podemos continuar enviando prompts, e as instruções serão as mesmas. Agora vou mandar um prompt: Escreva um poema sobre bagels. Como esperado, o modelo produz um poema assustador sobre bagels. Vamos encerrar nossa conversa sobre prompts com uma observação sobre interatividade. Os prompts não precisam vir apenas de você, o designer do app. Usando instruções e prompts juntos, você pode criar uma sessão de modelo interativa em que os prompts vêm das pessoas que usam seu app. Vamos conferir. Vamos imaginar que estou criando um app de diário. Primeiro, darei estas instruções ao modelo de linguagem: "Você é um assistente útil que ajuda as pessoas a escreverem entradas no diário fazendo perguntas sobre o dia delas." Agora, quero que um usuário possa iniciar uma entrada de diário diretamente como um prompt para o modelo. Ele diz "Foi um dia difícil". Agora, o modelo responde com um prompt de diário. "O que tornou seu dia difícil?" Nesse cenário, se você receber a entrada das pessoas como um prompt para o modelo, não saberá o que elas vão inseri-lo. Os prompts afetam a segurança. Por acidente ou de propósito, alguém pode inserir algo que faça o modelo responder de forma inútil ou até nociva. Para falar mais sobre segurança de IA, aqui está Sprite. Obrigada, Mary Beth. Ela mostrou como escrever ótimos prompts para tirar o melhor proveito do nosso modelo no dispositivo. O design de prompts é o primeiro item na sua caixa de ferramentas de segurança. Vamos saber mais sobre como projetar seu app com foco na segurança. Criamos um conjunto de princípios para que os recursos da Apple Intelligence reflitam nossos valores fundamentais. Seguimos os mesmos princípios ao desenvolver o framework Foundation Models para ajudar você a criar uma experiência mágica e segura para seu app. Queremos que você consiga criar apps que capacitem as pessoas, seja gerando histórias infantis ou planejando as próximas férias dos sonhos. A IA generativa pode ser mal utilizada ou causar danos. Embora o framework Foundation Models tenha medidas de proteção para que a experiência no app seja segura, é importante considerar o que pode dar errado no caso de uso do seu app. Criamos o modelo e o framework com foco na privacidade e sempre aprimoramos nosso modelo para evitar a perpetuação de estereótipos e preconceitos sistêmicos. Agora, vamos explorar as proteções. O framework Foundation Models vem com proteções treinadas pela Apple para que você não precise se preocupar com o pior. As medidas de proteção são aplicadas nas entradas e resultados do modelo. Suas instruções, prompts e chamadas de ferramentas são consideradas entradas para o modelo. Criamos nossas proteções para bloquear entradas que contenham conteúdo nocivo. Os resultados do modelo também são protegidos. Isso garante o bloqueio de resultados nocivos, mesmo que os prompts tenham sido criados para burlar as proteções de entrada.

É assim que podemos detectar erros de segurança no Swift. Quando ocorre um erro, você precisa pensar em como comunicar isso às pessoas que usam seu app. Se o recurso for proativo, ou seja, não for controlado pela ação do usuário, você poderá ignorar o erro e não exibir informações inesperadas na interface.

Em um recurso iniciado pelo usuário, especialmente um que envolva espera, explique na interface por que o app não pode processar a solicitação. Pode ser um simples alerta ou você pode aproveitar e oferecer ações alternativas para as pessoas escolherem. Por exemplo, o Image Playground tem uma forma fácil de desfazer o prompt que causou o erro de segurança. O framework Foundation Models oferece um ótimo ponto de partida, mas você ainda é responsável pela experiência no seu app para que as pessoas possam confiar nele para gerar conteúdo adequado e atender às expectativas delas.

Estes são três elementos que ajudam a gerar confiança entre os usuários do seu app. Garanta que seu app não gere conteúdo impróprio. As proteções no framework Foundation Models vão bloqueá-lo. Você também precisa tratar a entrada do usuário com cuidado. Para isso, escreva com atenção suas instruções e prompts.

Pense também no que acontece quando as pessoas agem com base nas respostas do seu app e como isso pode impactá-las. Vou dar alguns exemplos mais adiante para ajudar você a pensar no que fazer. Vamos voltar ao exemplo do diário que Mary Beth usou. Nosso modelo é treinado para priorizar instruções em relação aos prompts. Portanto, use as instruções para melhorar a segurança das respostas.

Aqui, estou anexando uma frase para instruir o modelo a responder a prompts negativos de forma empática e construtiva. Com isso, é possível ver como as novas instruções direcionam os resultados do modelo. Isso não é infalível, mas boas instruções de segurança melhoram a qualidade das respostas no seu app. É importante garantir que as instruções venham apenas de você e nunca incluam conteúdo não confiável ou entradas do usuário. Você pode incluir entradas do usuário nos seus prompts. Vamos conferir. Um padrão muito comum é usar a entrada do usuário como um prompt. Pense em um chatbot que recebe qualquer entrada dos usuários do seu app. Esse padrão é flexível, mas também traz riscos de segurança. Quando precisar dele, garanta que instruiu o modelo a lidar com cuidado com as diversas entradas dos usuários. Um bom modo de reduzir os riscos sem sacrificar a flexibilidade é combinar seu próprio prompt com a entrada do usuário. Melhor ainda: seu app pode fornecer uma lista de prompts integrados para as pessoas escolherem. Assim, você tem controle total dos prompts. Embora não seja tão flexível, esse padrão permite selecionar um conjunto de prompts que funcionam bem para seu app e permitem que o modelo gere ótimas respostas. Mesmo com ótimas instruções e processamento cuidadoso das entradas do usuário, seu app ainda pode ter riscos de segurança. É preciso prever o impacto e as consequências quando as pessoas geram conteúdo no seu app. Vamos ver alguns exemplos.

Este é o prompt para gerar sabores de bagel que Mary Beth mostrou anteriormente.

Um possível risco quando as pessoas usam seu app é que alguns dos sabores de bagel do modelo podem conter alérgenos, como nozes ou alho. Para diminuir esse risco, mostre um aviso sobre alergias na interface. Você também pode incluir ajustes para que as pessoas definam restrições alimentares e o app filtre as receitas do modelo.

Outro exemplo: se você está criando um app de curiosidades e quer evitar perguntas sobre temas polêmicos ou culturais que não são apropriados para o público. Considere incluir instruções adicionais ou criar uma lista de palavras-chave proibidas. Se você é um profissional de ML, também pode treinar um classificador para uma solução mais robusta No fim das contas, você é responsável por aplicar as medidas de mitigação para seu caso de uso. Como em outros sistemas de segurança, temos uma abordagem em camadas para garantir que um problema de segurança só ocorra se todas as camadas falharem em detectá-lo. Você pode imaginar as camadas como uma pilha de fatias de queijo suíço. Mesmo que cada fatia tenha furos, os buracos em toda a pilha têm que se alinhar para que algo passe por eles. Vamos revisar nossa caixa de ferramentas de segurança. A camada fundamental da nossa pilha são as proteções integradas no framework Foundation Models. Você adiciona mais segurança dando instruções para o modelo. Essas instruções têm prioridade sobre os prompts. Você também cria seu app para controlar como incluir entradas do usuário nos prompts do modelo. Por fim, a última camada: você implementa medidas de mitigação para seu caso de uso. Outro passo crucial na criação de um app que usa IA generativa são a avaliação e os testes.

Comece selecionando conjuntos de dados com foco em qualidade e segurança. Colete prompts que abordem todos os principais casos de uso do seu app e faça um levantamento daqueles que podem causar problemas de segurança.

Com um conjunto de dados, você projeta uma automação para executá-los de ponta a ponta no seu recurso. Vale a pena criar uma ferramenta de linha de comando dedicada ou um app de testes de interface para essa finalidade.

Em um pequeno conjunto de dados, você pode inspecionar cada resposta manualmente para verificar se há problemas. Se o conjunto de dados for maior, uma opção é usar outro modelo de linguagem grande para classificar automaticamente as respostas para você. E não se esqueça de testar os cenários de falha no seu app para garantir que o comportamento dele seja o esperado quando há erros de segurança.

Investir em avaliações e testes pode ajudar a monitorar melhorias ou retrocessos com o tempo, conforme você atualiza seus prompts e nós atualizamos o modelo. Isso ajuda você a ter confiança na qualidade e segurança do recurso inteligente no seu app. Vamos continuar atualizando nosso modelo e sistema de segurança para seguir as recomendações mais recentes e resolver problemas de segurança. Se encontrar problemas de segurança ao desenvolver seu app, poderá denunciá-los usando o Assistente de Feedback. Você também pode criar uma interface para pedir feedback sobre os recursos do app aos usuários. Ao fazer isso, garanta que as pessoas entendam quais dados são coletados do seu app e como eles são usados. Saiba mais sobre coleta de dados e privacidade para seu app no nosso site para desenvolvedores. Abordamos muitas coisas neste vídeo. Para encerrar o tópico de segurança, temos uma lista de verificação para você considerar. Seu app precisa lidar com erros de proteção ao enviar prompts para o modelo. A segurança deve fazer parte das suas instruções. Ao incluir entradas do usuário nos seus prompts, pense em como equilibrar flexibilidade e segurança. Pense no impacto do uso de seus recursos de inteligência e aplique medidas de mitigação para seu caso de uso. Invista em avaliações e testes para ter confiança na qualidade e segurança do recurso de inteligência do seu app. Por fim, relate problemas de segurança usando o Assistente de Feedback. Isso é tudo sobre segurança da IA. Mal podemos esperar para saber o que você vai criar com a IA generativa no seu app. Vou indicar alguns recursos e ferramentas extras para ajudar. Lembre-se de testar o novo recurso Playground integrado ao Xcode para engenharia de prompts. Demos várias recomendações sobre segurança no app. Saiba mais sobre a abordagem da Apple em relação à IA responsável, incluindo as mitigações de problemas de segurança integradas do Foundation Models, em um artigo em machinelearning.apple.com. Por fim, confira as novas diretrizes de design da IA generativa e as Human Interface Guidelines. Chegamos ao fim da sessão sobre prompts e segurança. Divirta-se com seus prompts! Mas lembre-se: segurança em primeiro lugar!