-
Utilize o Core AI para integrar modelos de IA no próprio dispositivo ao seu app
Descubra uma coleção selecionada de modelos populares de código aberto, incluindo Qwen, Mistral, SAM3 e muito mais, otimizados para Apple Silicon com o novo framework Core AI. Aprenda a baixar, executar e fazer benchmarking de modelos no seu Mac, e depois integre-os ao seu app com apenas algumas linhas de código. Confira um novo fluxo de trabalho para compilação de modelos e especialização no próprio dispositivo com o objetivo de acelerar o primeiro carregamento do modelo. Descubra como analisar e otimizar o desempenho em tempo de execução com as ferramentas do Core AI no Xcode.
Capítulos
- 0:00 - Introdução
- 1:16 - Conceito do app: aprendizado de vocabulário baseado em câmera
- 2:52 - Descoberta de modelos
- 7:40 - Obtendo modelos com o repositório coreai-models
- 8:37 - Integração
- 10:55 - Como escrever o código de integração em Swift
- 13:05 - Diagnosticando a latência de especialização do modelo
- 14:40 - Implantação
- 17:00 - Compilação antecipada (AOT)
- 18:03 - Demonstração no iOS
- 19:57 - Multiplataforma
- 23:06 - Próximas etapas
Recursos
- Core AI PyTorch Extensions
- Core AI Python
- Core AI Optimization
- Core AI
- Compiling Core AI models ahead of time
Vídeos relacionados
WWDC26
-
Buscar neste vídeo...
-
-
11:01 - Load and run SAM3 image segmentation
import CoreAIImageSegmenter // Load let segmenter = try await ImageSegmenter(resourcesAt: sam3ModelURL) // Use let response = try await segmenter.segment(image: inputImage, prompt: "flower") let mask = response.segments.first?.mask -
11:28 - Load a language model and create a session
import FoundationModels import CoreAILanguageModels // Create model instance let model = try await CoreAILanguageModel(resourcesAt: qwen3ModelURL) // Create session using the model let session = LanguageModelSession(model: model) // Generate response let response = try await session.respond(to: "...") -
12:29 - Generate structured output with @Generable
import FoundationModels import CoreAILanguageModels @Generable struct VocabCard { let chineseWord: String let englishMeaning: String let exampleSentence: String } let model = try await CoreAILanguageModel(resourcesAt: modelURL) let session = LanguageModelSession(model: model) let response = try await session.respond( to: "Create a vocab card for flower", generating: VocabCard.self ) let card: VocabCard = response.content -
17:22 - Compile a Core AI model ahead of time
$ xcrun coreai-build compile MyModel.aimodel --platform iOS
-