Apple 智能

Apple 智能是由新一代 Apple Foundation Models 驱动的个人智能系统,可在 iPhone、iPad、Mac、Apple Watch 和 Apple Vision Pro 上实现个人情境理解、App 操作和屏幕感知功能。你可以通过 App Intents 将 App 的内容和操作集成到 Siri AI 以及整个系统中,从而使用户能够更自然地发现和使用 App 的功能。你还可以通过 Foundation Models 框架将智能功能直接集成到你的 App 中,该框架支持多模态提示和任何语言模型,包括 Apple Foundation Models 或任何符合 Language Model 协议的提供程序。

了解 Apple 智能

Foundation Models 框架

Foundation Models 框架 是原生 Swift API,可让你直接访问设备端和专用云计算* 中的 Apple Foundation Models,以及任何包含符合 Language Model 协议的 Swift 软件包的模型提供程序。

随后,多模态提示和设备端 Vision 框架工具让你的 App 能够对图文混合内容进行推断;而借助 Dynamic Profiles,你可以在连续会话中交换模型、工具和指令,使 App 智能能够实时调整。然后,你可以使用 Evaluations 框架来确保 AI 功能在动态条件下可靠地运行。

App Intents

App Intents 框架 通过架构将你的 App 连接到 Apple 智能和 Siri AI (架构是基于多年语言模型训练构建的可识别结构),从而以更少的代码,实现通过自然语言发现 App 的内容和使用其功能的目的。

实体架构将你的内容提供给“聚焦”语义索引,以用于个人情境理解,而意图架构则让用户能够自然地对这些内容进行操作。Siri 的语言理解能力会不断进化,因此你无需定义特定短语,也无需更改代码。View Annotations API 通过屏幕感知功能进一步扩展了这一能力,让你可以将视图映射到实体,以便用户能够通过对话提及和操作眼前的内容。

图乐园

图乐园 可让用户生成几乎任何风格 (包括照片级写实风格) 的高质量图像,使用自然语言描述转换自己的照片,以及通过描述或触控操作修改图像。图像在专用云计算上生成,因此照片绝不会被存储或共享。借助 Image Playground API,你可以直接让自己的 App 也支持这些新的图像创作功能。

快捷指令

快捷指令使用 Apple 智能,根据自然语言描述来组合自动化操作,因此用户只需描述想要完成的操作,就能将 App 功能融入强大的多步骤工作流中。快捷指令 App 让用户通过连接系统和 App 操作来实现任务自动化。当你采用 App Intents 时,你的 App 的操作和实体会成为该生态系统的一部分,与“使用模型”等功能一同提供给用户。

视觉智能

视觉智能 让用户能够通过 iPhone 上的相机 App、Mac 和 iPad 上的屏幕内容以及 Apple Vision Pro 中的对象搜索信息并对眼前的内容执行操作。集成你的 App 后,用户可以即时查看你的匹配内容,并直接进入你的 App 查看更详细的信息或更多结果,让你的 App 能够更自然地在系统的更多地方出现。

通过 Siri 写作

你可以在系统各处通过 Siri 写作和编辑,帮助用户起草、改写、校对和总结文本。如果你使用任何标准 UI 框架来呈现文本字段,你的 App 将自动兼容该功能。或者,如果你的 App 具有自定文本控件,你可以采用 API 将该功能集成到 App 中。

智绘表情

你可以进一步优化 App,让用户在使用你的 App 时就能创作出最应景的表情符号,即时传递当下心情。如果你使用的是系统文本控件,你的 App 将自动支持智绘表情贴纸。此外,借助相关的 API,你还可使用自定文本引擎进行渲染。