Apple Intelligenceの最新情報
主な最新のテクノロジーと機能について詳しく解説します。
Foundation Modelフレームワーク
Foundation ModelフレームワークはネイティブのSwift APIで、Apple Intelligenceを動かすのと同じオンデバイスモデルに直接アクセスできます。 Apple Foundation Modelのほか、ClaudeやGeminiといったクラウドモデル、またはLanguage Modelプロトコルに準拠したその他のプロバイダなど、あらゆる言語モデルを利用できるようになりました。
マルチモーダルプロンプトによりテキストと画像を組み合わせて渡せるため、アプリがビジュアルコンテンツを推論できます。また、OCRやバーコードリーダーなどVisionフレームワークのツールをモデルから直接呼び出すことも可能で、すべてオンデバイスで処理されます。 Dynamic Profilesによりモデル、ツール、インストラクションをその場で切り替えられるため、継続セッション内でアプリの動作を柔軟に変更できます。
App Store Small Business Programに登録していて、アプリのApp Store累計初回ダウンロード数が200万件未満の場合、プライベートクラウドコンピューティング上で動作する次世代Apple Foundation ModelにクラウドAPIコストなしでアクセスできます。 また、Evaluationsフレームワークを使用すると、AI機能が動的な条件下で正しく動作することを検証でき、ユニットテストだけでは捉えられない問題にも対応できます。
Foundation Modelフレームワークの新機能
Foundation Modelフレームワークによる、エージェントを活用したアプリ体験の構築
プライベートクラウドコンピューティングによるApple Foundation Modelの活用
Foundation ModelフレームワークへのLLMプロバイダーの導入
Instrumentsによる、エージェントを活用したアプリ体験のデバッグとプロファイリング
fm CLIとPython SDKによるAI活用型スクリプトの作成
Evaluationsを活用した山登り法によるプロンプトの改善
Evaluationsフレームワークについて
エージェント型アプリに対する信頼性の高い評価プロセスの確立
画像理解の新機能
Core Spotlightを利用したLLM検索
App Intentフレームワーク
App Intentフレームワークは、アプリをApple IntelligenceやSiri AIなどの機能と連係させるためのフレームワークです。 Siriが深く理解できる認識しやすい構造を持ち、長年にわたる言語モデルトレーニングの成果を反映したApp Intentのスキーマを導入することで、少ないコードでアプリのコンテンツを見つけやすくし、機能を自然言語で利用できるようにします。
エンティティスキーマはアプリのコンテンツをSpotlightのセマンティックインデックスに提供し、アプリへの帰属情報とともにパーソナルコンテキストの理解を可能にします。インテントスキーマにより、ユーザーはそのコンテンツに対して自然な方法でアクションを実行できます。定義すべき特定のフレーズもなく、Siriの言語理解が進化した場合や、新しい言語や地域の方言に対応した場合でも、コードの変更は不要です。 スキーマはタスク管理、写真編集、コミュニケーションなどのアプリの一般的なカテゴリをカバーしており、システム定義のため、将来の改善が自動的にインテントに反映されます。
さらに、新しいView Annotations APIによりオンスクリーン認識が追加され、ビューをエンティティにマッピングすることで、ユーザーが目の前のコンテンツを会話形式で参照したり操作したりできるようになります。 また、新しいApp Intents Testingフレームワークでは、UI自動化を使わずに、実際のシステム経路を通じてSiri、ショートカット、Spotlightとの連係全体を検証できるため、問題を早期に発見してアプリを不安なくリリースできます。
Image Playground
Image Playgroundは、パワフルな新しい生成モデルをプライベートクラウドコンピューティング上で実行できるように再設計されました。ユーザーはアプリ内で、写真のようにリアルなスタイルを含め、ほぼあらゆるスタイルで高品質な画像を生成できます。 起点として写真や説明文から生成を始め、自然言語やタッチで画像を調整して、さらに縦または横の画面の向きを選んで、より多くのシーンで生成画像を利用することができます。 これらの新機能はすべて、Image Playground APIを介してアプリ内で利用できます。
ビジュアルインテリジェンス
アプリ内でのコンテンツ検索を変革する、ビジュアルインテリジェンスのパワーをご紹介します。 エンティティの定義や画像の処理の方法、複数の結果タイプを効果的に扱う方法を確認しましょう。 スピードと関連性を最適化するためのベストプラクティスや、Intentを利用してワンタップでコンテンツを開くまたは再生するといった直接のアクションを実行する方法も学べます。
