Apple Intelligence — Laboratório em grupo

Junte-se a nós online para uma conversa aprofundada sobre a WWDC26 com as equipes de engenharia e design da Apple. Será uma oportunidade para tirar dúvidas, receber orientações e acompanhar de perto as discussões sobre os principais anúncios da semana relacionados à Apple Intelligence. Sessão em inglês.

Capítulos

• 0:00:00 - Introdução
• 0:01:43 - Quais são os recursos mais valiosos da Apple para aprender e aplicar as novas APIs e mudanças de design da versão 27, como projetos de exemplo, guias de migração, kits de design ou documentação?
• 0:03:09 - Meu app não se encaixa em nenhum esquema predefinido. Devo usar os tipos mais próximos ou é melhor não oferecer suporte aos App Schemas por enquanto? Meu app de controle de tempo tem recursos de timer e calendário que não se encaixam bem.
• 0:07:08 - As entidades e ações principais do meu app não correspondem a nenhum domínio de esquema predefinido. Qual é a melhor forma de integrá-las à Siri agêntica agora e se preparar para a evolução da plataforma?
• 0:08:18 - Não há uma API para que um app de terceiros invoque diretamente as intents de outro app. A Siri ou o app Atalhos atua como orquestrador. Um app pode atuar como seu próprio orquestrador ou as ações entre apps precisam passar pela Siri ou pelo app Atalhos?
• 0:10:23 - Com a nova Siri no iOS 27, meu app de terceiros pode participar de uma conversa em vários turnos ou estou limitado a ações específicas e entidades expostas por meio do App Intents?
• 0:12:08 - É permitido misturar App Entities e App Intents que não seguem esquemas com outros que correspondem a esquemas de diferentes domínios, tudo no mesmo app?
• 0:13:26 - Existe um limite prático de tempo ou de processamento para o Foundation Models durante um único período de execução em segundo plano? Se não houver um limite fixo, como os apps devem dividir o trabalho com segurança?
• 0:14:47 - Quais tipos ou códigos de erro indicam limitação de taxa do Foundation Models, sistema ocupado, pressão térmica, esgotamento da cota ou indisponibilidade do modelo? Quais permitem nova tentativa e quais são definitivos?
• 0:16:01 - Como posso evitar LanguageModelSession.GenerationError.guardrailViolation? Recebo erros de violação das proteções com frequência em prompts sem nenhum problema aparente.
• 0:17:38 - No iOS 27, o Foundation Models consegue raciocinar sobre vídeos ou usar um modelo de vídeo, ou a entrada multimodal está limitada a imagens estáticas?
• 0:21:47 - Os esquemas de App Intents dão alguma “vantagem” aos intents na Siri ou qualquer intent e entidade podem ser descobertos da mesma forma? (Não há esquema de finanças.)
• 0:26:00 - Posso usar o Image Playground para gerar imagens fotorrealistas dentro do meu app?
• 0:27:24 - Não entendo a diferença entre IndexedEntity e entidades definidas como AppSchema.BooksEntity. O IndexedEntity deve ser usado para tudo que não seja livro, evento de calendário etc.?
• 0:30:15 - A Apple criou o framework Evaluations pensando também em pesquisa acadêmica, para coletar métricas e gerar evidências para estudos revisados por pares, além da avaliação de produtos?
• 0:33:11 - Quando conectada, a Siri consegue entender o contexto da tela do CarPlay e realizar ações nela (como “tocar a música na linha 2, coluna 1”)?
• 0:35:40 - Vamos poder usar App Intents com o HomePod/audioOS? Não há versão beta disponível.
• 0:36:14 - Podemos esperar que as respostas aos App Intents no watchOS correspondam exatamente às do iOS?
• 0:38:31 - O Image Playground agora exige conexão com a internet para usar o PCC ou faz fallback para o modelo anterior executado no dispositivo?
• 0:38:59 - Quais atualizações da Apple Intelligence mais empolgaram vocês?
• 0:45:38 - Por que optar por esquemas fixos em vez de uma abordagem dinâmica como GPT ou Claude, por exemplo, habilidades descritas em Markdown que fazem referência a App Entities? Isso não seria mais flexível?
• 0:49:22 - O framework Evaluations tem como verificar se minhas ferramentas estão sendo chamadas?
• 0:51:01 - Como o framework Apple Intelligence mitiga a entropia semântica ao passar contexto entre modelos no dispositivo e modelos maiores baseados em servidor?
• 0:52:54 - Preciso usar o framework Evaluations com o Foundation Models?
• 0:53:53 - Uma sessão do Foundation Models de um dos meus apps pode recuperar conteúdo IndexedEntity de outro app meu via SpotlightSearchTool (mesmo desenvolvedor, grupo de apps compartilhado) ou a recuperação está limitada ao app que doou esse conteúdo?
• 0:55:33 - Entidades vinculadas a esquemas são intercambiáveis? Um FileEntity do app pode se tornar um PhotoEntity e vice-versa, por exemplo, usando Transferable?
• 0:58:01 - Gerencio uma lista de contatos. Um esquema próximo, mas não perfeito, é o App Schema .messages.messagePerson. Isso é aceitável para participar da nova Siri?
• 1:00:09 - Com a adição de entrada de imagem ao Foundation Models, o limite de tokens continua sendo 4096. Há restrições para outras entradas, como prompts ou instruções, para que o modelo funcione melhor?

Recursos

• • Vídeo HD
  • Vídeo SD