Apple Intelligence 的新功能

Foundation Models 框架是一套原生 Swift API，可让你直接访问驱动 Apple 智能的同款设备端模型。现在，你可以使用任何语言模型，包括 Apple Foundation Models、Claude 和 Gemini 等云端模型，或任何其他符合 Language Model 协议的供应商提供的模型。

多模态提示词让你能够同时传递图像和文本，使你的 App 可以对视觉内容进行推理；OCR 和条形码读取器等 Vision 框架工具也可供你的模型直接调用，全部在设备端完成。Dynamic Profiles 让你能够动态切换模型、工具和指令，使你的 App 行为可在连续会话中灵活调整。

如果你已加入 App Store Small Business Program，且你的 App 在 App Store 的首次下载总量少于 200 万次，你就可以免费访问在私有云计算上运行的下一代 Apple Foundation Models。借助 Evaluations 框架，你可以在各种动态条件下验证 AI 功能是否正常运行，弥补单元测试难以覆盖的场景。

通过 App Intents 框架，你可以将 App 连接到 Apple 智能以及 Siri AI 等功能。采用 App Intents 架构（即 Siri 深度理解的通用结构，由多年语言模型训练构建而成），只需编写更少的代码，即可让 App 内容变得可被发现，并通过自然语言使用 App 的各项功能。

实体架构将你 App 的内容添加到 Spotlight 语义索引，支持个人上下文理解并将来源归因到你的 App；意图架构让用户能够自然地对该内容采取行动——无需定义特定短语，当 Siri 的语言理解能力扩展或延伸到新语言和地区方言时，也无需更改代码。架构涵盖任务管理、照片编辑和通信等常见 App 类别，由于这些架构由系统定义，你的意图可自动从未来的改进中受益。

全新 View Annotations API 在此基础上增加了对屏幕内容的感知能力，让你能够将视图映射到实体，使用户可以通过对话引用并操控眼前的内容。而全新的 App Intents Testing 框架则让你能够通过真实的系统路径验证整个集成方案（包括 Siri、快捷指令和 Spotlight），无需 UI 自动化，从而及早发现问题并自信地发布。

图乐园体验在全新生成式模型的助力下焕发新生。得益于这个基于专用云计算运行的强大模型，用户能直接在你的 App 中随心创作几乎各种风格的高质量图像，就连写实风格也能轻松拿捏。用户可基于照片或描述开始创作，然后通过自然语言或触控操作来优化图像，并选择横向或纵向模式，将自己的创意作品带到更多地方。借助 Image Playground API，就能将所有这些新功能融入你的 App。

深入了解视觉智能如何改变你 App 的内容发现。你将探索如何有效定义实体、处理图像并处理多种结果类型。还将了解优化速度和相关性的最佳做法，并探索意图如何实现各类直接操作，比如轻点一下就能打开或播放内容。