AIと機械学習の最新情報
主な最新のテクノロジーと機能について詳しく解説します。
Foundation Modelフレームワーク
Foundation ModelフレームワークはネイティブのSwift APIで、Apple Intelligenceを動かすのと同じオンデバイスモデルに直接アクセスできます。 Apple Foundation Modelのほか、ClaudeやGeminiといったクラウドモデル、またはLanguage Modelプロトコルに準拠したその他のプロバイダなど、あらゆる言語モデルを利用できるようになりました。
マルチモーダルプロンプトによりテキストと画像を組み合わせて渡せるため、アプリがビジュアルコンテンツを推論できます。また、OCRやバーコードリーダーなどVisionフレームワークのツールをモデルから直接呼び出すことも可能で、すべてオンデバイスで処理されます。 Dynamic Profilesによりモデル、ツール、インストラクションをその場で切り替えられるため、継続セッション内でアプリの動作を柔軟に変更できます。
アプリのApp Storeでの初回ダウンロード数の合計が200万件未満の場合、比類のないプライバシー保護を備えたプライベートクラウドコンピューティング上で最新のApple Foundation Modelにアクセスできます。 また、Evaluationsフレームワークを使用すると、AI機能が動的な条件下で正しく動作することを検証でき、ユニットテストだけでは捉えられない問題にも対応できます。
Foundation Modelフレームワークの新機能
Foundation Modelフレームワークによる、エージェントを活用したアプリ体験の構築
プライベートクラウドコンピューティングによるApple Foundation Modelの活用
Foundation ModelフレームワークへのLLMプロバイダーの導入
Instrumentsによる、エージェントを活用したアプリ体験のデバッグとプロファイリング
fm CLIとPython SDKによるAI活用型スクリプトの作成
Evaluationsを活用した山登り法によるプロンプトの改善
Evaluationsフレームワークについて
エージェント型アプリに対する信頼性の高い評価プロセスの確立
画像理解の新機能
Core Spotlightを利用したLLM検索
Core AI
Core AIは、Appleシリコン専用に設計されたOS組み込みの新しいフレームワークです。サポートのツールとテクノロジーも充実しており、デベロッパ自身のモデルをデバイス上で実行できるようにする上で最良の方法と言えます。 最先端のメモリセーフなSwift APIを使用することで、AIモデルの読み込み、特化、実行を完全にデバイス上で行えます。ユーザーデータのプライバシーを保護し、アプリの応答性を確保できるとともに、サーバへの依存を解消でき、トークンのコストもかかりません。 モデルは実行するハードウェアに合わせて自動で特化され、事前コンパイルに対応しているため読み込みも高速です。 推論メモリのきめ細かなコントロール、ゼロコピーのデータパス、ステートフルな実行により、コンパクトなVisionモデルから大規模な生成AIまでに至るあらゆるモデルを、すべてのAppleプラットフォーム上で実行するために必要なパフォーマンスを実現しています。
MLX
AppleシリコンのためのオープンソースのアレイフレームワークであるMLXは、大規模言語モデルの実験、トレーニング、ファインチューニングにおいて、これまでに以上に高速かつ高性能になっています。 今年、MLXはMetal 4とGPU Neural Acceleratorのサポートが追加されたことでさらにパフォーマンスが強化されました。また、Thunderbolt経由でRDMAを使用すれば複数のMacをまたいでトレーニングの規模を拡張できるため、自分のデスクでも高度なモデルの研究やファインチューニングを行えます。
Evaluations
新しいEvaluationsフレームワークは、プロンプトをテストし、インテリジェンスを活用した機能が確実に動作することをユーザーに届ける前に検証するためのツールを提供します。 開発ワークフローに直接統合された体系的な評価により、AIが支える体験を自信をもって構築でき、アプリの機能が想定通りに動作することを確認した上でリリースできるようになります。