Apple Intelligence

Foundation ModelフレームワークはネイティブのSwift APIであり、Apple Foundation Model（デバイス上およびプライベートクラウドコンピューティング内*）や、Language Modelプロトコル準拠のSwiftパッケージに対応するモデルプロバイダへの直接のアクセスを可能にします。

この環境でマルチモーダルのプロンプトやオンデバイスのVisionフレームワークのツールを利用することで、アプリでテキストに加え画像に関する推論も行えます。また、Dynamic Profileを使ってモデル、ツール、指示を切り替え、アプリのインテリジェンスを継続的なセッションの中でリアルタイムに適応させることもできます。さらに、Evaluationsフレームワークを使えば、変化する条件のもとでもAI機能が想定通り正しく動作することを確認できます。

App Intentフレームワークでは、アプリをApple IntelligenceやSiri AIと連係させるために、これらによって認識できるよう長年にわたる言語モデルのトレーニングを通じて構築された構造であるスキーマを利用します。この連係により、アプリのコンテンツが見つけやすくなり、より少ないコードで自然言語を使ってアプリの機能を利用できるようになります。

エンティティスキーマによってアプリのコンテンツをSpotlightのセマンティックインデックスに関連付けることで、パーソナルコンテキストの理解を活用できます。また、インテントスキーマを使うことで、ユーザーはそのコンテンツに対するアクションを自然な方法で行えるようになります。Siriの言語理解は進化するので、特定のフレーズを定義したりコードを変更したりする必要はありません。View Annotations APIを使えば、これらのメリットをオンスクリーン認識機能によってさらに拡張し、ビューをエンティティにマッピングできるので、ユーザーは画面上のアイテムを音声で参照したり、操作したりできます。

Image Playgroundでは、写真のようにリアルな画像など、高品質な画像をあらゆるスタイルで生成できます。自然言語で説明を入力して自分の写真を変換したり、説明やタッチ操作で画像を加工したりといったことも可能です。画像はプライベートクラウドコンピューティング上で生成されるので、写真が保存されたり共有されたりすることはありません。Image Playground APIを使用すると、これらの新しい画像生成機能をアプリからサポートできます。

ショートカットは、Apple Intelligenceを活用して自然言語の説明から自動化されたプロセスを組み立ててくれるので、ユーザーはやりたいことを説明するだけで、複数の手順を実行する強力なワークフローにアプリの機能を組み込むことができます。ショートカットアプリでは、システムやアプリのアクションを連係させてタスクを自動化できます。App Intentを導入すると、アプリのアクションやエンティティがそのエコシステムの一部となり、「モデルを使用」などの機能とあわせて利用できるようになります。

ビジュアルインテリジェンスを利用することで、iPhoneのカメラアプリの被写体、MacやiPadの画面上のコンテンツ、Apple Vision Proで見ている現実世界のオブジェクトを対象として、目の前にある情報を検索したり、アクションを実行したりできます。アプリにビジュアルインテリジェンスを統合すれば、ユーザーは関連するコンテンツをその場で確認し、アプリを直接起動してより詳細な情報や追加の結果を得られるようになるので、システム全体でアプリが自然に利用されやすくなります。

システム全体にわたって、Siriがテキストの作成と編集をサポート。文章作り、書き直し、校正、要約を手助けします。標準のUIフレームワークを使用してテキストフィールドをレンダリングしている場合は、アプリで自動的にこの機能が使えるようになります。独自のテキストコントロールを使用している場合は、この機能をアプリで利用できるようにするためのAPIも用意されています。

アプリの使用中、あらゆるシーンや状況で自分の気持ちにぴったりの絵文字を作成できるようにして、アプリをパワーアップしましょう。システムのテキストコントロールを使用すると、アプリ内でジェン文字が自動的にステッカーとしてサポートされます。また、カスタムテキストエンジンでジェン文字をレンダリングするためのAPIも用意されています。