機械学習とAI
-
WWDC24 -
12:24
Writing Toolsの導入
アプリにおいてユーザーによるテキストの校正、書き直し、変換をサポートするWriting Tools（作文ツール）の機能をご紹介します。いずれかのテキストビューで記述したテキストをユーザーがブラッシュアップできるようにするため、Writing Toolsとアプリがどのように連携するかについて詳しく解説します。テキストの取得および処理の仕組みや、カスタムのテキストビューでWriting Toolsをサポートする方法を習得できます。
-
18:15
Core MLを使用してデバイス上に機械学習モデルとAIモデルをデプロイ
Core MLによって機械学習モデルとAIモデルを変換し実行する際のスピードとメモリパフォーマンスを最適化する、新しい方法を確認しましょう。モデルの表現、パフォーマンスに関するインサイトの取得、実行、モデルのスティッチングのための新しいオプションについて解説します。これらのオプションを組み合わせることで、デバイス上のプライベートな環境で効果的な体験を実現できます。
-
20:03
CPUでリアルタイムのML推論をサポート
BNNSGraphを使用して、CPUでの機械学習モデルの実行を高速化する方法を解説します。BNNSGraphを使用してCPUで機械学習モデルをコンパイルし、実行する方法を示すとともに、実行時のメモリ割り当てが不要であることや、音声または信号の処理モデルをシングルスレッドで実行できることなど、BNNSGraphが提供するリアルタイムの保証についてもご紹介します。
-
11:32
Create MLの新機能
インタラクティブなデータソースのプレビュー、visionOSアプリ向けオブジェクトトラッキングモデルの構築で使用する新しいテンプレートなど、Create MLの新機能をご紹介します。新しい時系列予測や分類のAPIなど、フレームワークの重要な機能強化についても取り上げます。
-
21:18
visionOS向けエンタープライズAPIのご紹介
visionOS向けの新しいエンタープライズAPIを使用して、Apple Vision Proで従業員やユーザーの生産性を高める空間体験を創出する方法を学びましょう。
-
16:06
DockKitの新機能
被写体間のスムーズな切り替えを可能にする、DockKitのインテリジェントトラッキングについて説明します。インテリジェントトラッキングとは何か、インテリジェントトラッキングがMLモデルを使用して被写体を選択し、トラッキングする仕組み、この機能をアプリに取り入れる方法をご紹介します。
-
16:31
Translation APIについて
新しいTranslationフレームワークを使用して、アプリにおいて複数の言語間でテキストを翻訳する方法を解説します。 システムUIに迅速に翻訳を表示する方法や、アプリUIのテキストの大規模なバッチを翻訳する方法を習得できます。
-
17:01
visionOSにおけるオブジェクトトラッキングの詳細
実世界のオブジェクトをvisionOSアプリ内の仮想アンカーに変換する、オブジェクトトラッキングの使用方法を説明します。オブジェクトトラッキングを使用して空間体験を構築するプロセスの全体を学ぶことができます。Create MLでの機械学習を使用して参照オブジェクトを作成し、Reality Composer Pro、RealityKit、ARKit APIのターゲットオブジェクトに関連するコンテンツをアタッチする方法もご紹介します。
-
22:49
ロック画面での優れたカメラキャプチャ体験の構築
LockedCameraCapture APIにより、キャプチャアプリの最も有用な情報をロック画面に直接取り込む方法について説明します。このAPIの機能を確認した後、キャプチャ拡張機能の作成を開始する方法をご紹介します。さらに、デバイスがロックされているとき、キャプチャ拡張機能がどのように動作するかについても解説します。
-
23:48
すべてのキャプチャで色の一貫性を維持
Constant Color APIの概要と、正確な色を判断するための機能をアプリで提供するうえでこのAPIがどのように役立つかをご紹介します。APIの導入方法、このAPIが科学およびマーケティングの領域にもたらす可能性、この技術を最大限に活用するためのベストプラクティスを学ぶことができます。
-
10:55
Core Spotlightによるセマンティック検索のサポート
Core Spotlightを使用して、アプリにセマンティック検索の結果を表示する方法をご紹介します。ユーザーのデバイス上のプライベートインデックス内でアプリのコンテンツを参照可能にして、ユーザーが自然言語で項目を検索できるようにする方法を学べます。また、インデックス作成アクティビティのスケジュールを設定して、アプリのパフォーマンスを最適化する方法も説明します。 このセッションの内容を最大限に活用するには、まずApple Developer WebサイトにあるCore Spotlightのドキュメントを確認されることをお勧めします。
-
34:29
HDRを使用してアプリのダイナミックイメージ体験を向上
HDR画像を読み書きする方法、およびアプリでHDRコンテンツを処理する方法について説明します。新たにサポートされたHDR画像形式と、HDR画像を表示するための高度な方法を確認しましょう。HDRコンテンツをユーザーインターフェイスと共存させる方法に加え、HDR画像のサポートをアプリに追加する際の注意事項も取り上げます。
-
18:21
Apple GPUでの機械学習モデルとAIモデルのトレーニング
PyTorch、JAX、TensorFlow向けのMetalを使用し、Appleシリコンでモデルをトレーニングする方法を解説します。新しいアテンション操作と量子化のサポートを利用して、デバイス上でのTransformerモデルのパフォーマンスを向上させましょう。
-
21:49
アプリをSiri対応にするための方法
App Intentを利用して、Siriとアプリの機能を連携させる方法をご紹介します。現在利用可能な既存のインテントを確認した後、カスタムインテントを作成して、アプリからのアクションをシステムに統合する方法を説明します。提供するメタデータの種類、Spotlightを使用してエンティティを検索可能にする方法、画面上に注釈を追加する方法なども取り上げます。
-
16:49
VisionフレームワークにおけるSwiftの機能強化
並列処理など、新しいSwift機能を利用できるようにVision Framework APIが刷新され、さまざまなVisionアルゴリズムをより簡単に、より迅速にアプリに統合できるようになりました。新しくなったVision Framework APIの内容を確認し、さらにサンプルコードとベストプラクティスをご紹介します。最小限のコーディングでこのフレームワークのメリットを得る方法を学びましょう。2つの新しい機能（画像の審美的評価と全身のポーズ）のデモも行います。
-
17:33
Appleプラットフォームでの機械学習の詳細
Appleプラットフォームにおける機械学習フレームワークについて概説します。MLモデルを初めて実装する場合でも、すでにMLに精通している場合でも、アプリのニーズを満たす適切なフレームワークを選択する際に役立つ情報が得られます。
-
9:19
システムの利便性を高めるApp Intentのデザイン
App Intentは、コントロール、Spotlight、Siriなどでのシステム体験を向上させます。このセッションでは、App Intentに最も適した機能を特定する方法や、パラメータを使用してこれらのインテントの柔軟性を高める方法を説明します。App Intentを使用して、ユーザーがアプリの外側でアクションを実行できるようにする方法も取り上げます。さらに、アプリにナビゲートしてコンテキスト情報を表示するタイミングについても、実例を交えてご紹介します。
-
26:02
App Intentでアプリのコア機能をユーザーに提供
インテント、エンティティ、クエリなど、App Intentフレームワークの原則について解説するとともに、これらを利用して、アプリの最も重要な機能をユーザーが最も必要としている場面で提示する方法を説明します。Siri、コントロールとウィジェット、Apple Pencil、ショートカット、アクションボタンなど、App Intent上に構築された多数のシステム機能とアプリを密に統合する方法を確認しましょう。App Intentを効率的に統合し、コードとコア機能を共有しつつ、あらゆるディスプレイで最適な体験を作成するためのヒントもご紹介します。
-
17:56
App Intentの新機能
App Intentの改善点と強化点をご紹介し、アプリの機能をSiriやその他の新しい機能と連携させるうえで、このフレームワークがどのように役立つかを説明します。Transferable API、File Representations、Item Providers、Spotlight Indexingを使用してAppleプラットフォームでのエンティティの有用性を高め、Siriやショートカットアプリでパワフルな機能を利用できるようにする方法をご紹介します。URL Representable Entitiesと柔軟なScene...
-
30:09
機械学習とAIモデルをAppleシリコンに統合
Appleシリコンのパワーを活用できるように、機械学習モデルとAIモデルを最適化する方法をご紹介します。これらのモデルを変換し、デバイスへのデプロイに向けた準備のワークフローについて解説します。また、Appleシリコンと互換性があるモデル圧縮の方法と、モデルデプロイワークフローのどの段階で実施するかについて説明します。ストレージサイズ、遅延、電力消費、正確性の間のトレードオフも取り上げます。
-
25:06
Metalによる機械学習の加速
Metal Performance Shaders Graphの新しい機能を使用して、機械学習のTransformerモデルを加速する方法を説明します。モデルのコンピューティングの帯域幅と質を向上させ、それをまったく新しいMPSGraphビューアに表示する方法も取り上げます。
-
-
WWDC23 -
13:47
Visionで動物のポーズを検出
Visionを使用して、画像から犬や猫を検出するだけではなく、これらの動物の個々の関節やポーズをすべてリアルタイムで検出する方法を紹介します。また、カメラアプリでの動物のトラッキングや、動物の写真を使ったクリエイティブな装飾方法など、エキサイティングな新機能を有効にする方法を紹介します。さらに、Visionのその他の重要な改良点とベストプラクティスも紹介します。Visionフレームワークの新機能についての詳細は、「Explore 3D body pose and person segmentation in Vision」や「Lift subjects from images in...
-
16:50
Create MLにおける機械学習強化
Create MLを使えば、機械学習モデルで可能な事がさらに広がります。多言語のBERT埋め込みを使った画像理解やテキストベースのタスクに、最新のアップデートが加えられました。マルチラベル分類を使って画像のコンテンツを理解できるよう、容易にモデルをトレーニングする方法をご紹介します。また、インタラクティブモデル評価や、カスタムトレーニングデータオーグメンテーション用の最新のAPIについての情報も説明します。機械学習の詳細についての最新アップデートは、WWDC23の「Explore Natural Language multilingual models」および「Improve Core...
-
19:56
VisionKitの新機能
VisionKitを使用することで、アプリ内の画像から被写体をすばやく浮き上がらせ、Visual Look Upで画像の内容を詳しく把握する方法を紹介します。また、Live Textインタラクション、データスキャン、macOSアプリの拡張サポートなど、VisionKitの最新アップデートについても紹介します。VisionKitの詳細については、WWDC23の「Lift subjects from images in your app」をご覧ください。
-
18:38
アプリ内の画像からの被写体の切り抜き
アプリで、画像の背景から被写体を簡単に切り抜く方法を紹介します。VisionKitを使用して、メインの被写体を切り抜いたり、指定したポイントで被写体にアクセスする方法を学びます。また、Visionを使用して被写体を切り抜き、Core Imageのような下位レベルのフレームワークと組み合わせて、楽しい画像エフェクトやより複雑な合成パイプラインを作成する方法も紹介します。 VisionKitの最新アップデートについては、「What's new in VisionKit」を、画像内の人物セグメンテーションについてはWWDC23の 「Explore 3D body pose and person...
-
14:25
マルチリンガルな自然言語モデルの紹介
マルチリンガルなTransformerベースの埋め込みを使用して、カスタム自然言語モデルを作成し、テキスト分類や、単語のタグ付けに役立てましょう。少ないデータでトレーニングを行い、3つのスクリプトで最大27の言語をサポートする方法を紹介します。これらの埋め込みを使用して、PyTorchやTensorFlowでトレーニングした複雑なモデルを微調整する方法を紹介します。自然言語の詳細については、WWDC20の「Make apps smarter with Natural Language」をご覧ください。
-
14:38
Visionの3Dボディーポーズと人物セグメンテーションの詳細
Visionで人物を中心とした機能を構築する方法をご確認ください。人体のポーズを検出し、3D空間で個々の関節の位置を測定する方法を紹介します。また、人物のセグメンテーションAPIを活用して、画像内の最大4人の人物を区別してセグメンテーションする方法も紹介します。 Visionの最新機能については、WWDC23の「Visionで動物のポーズを検出」をご確認ください。
-
23:21
非同期予測によるCore ML統合の改善方法
Core ML実行エンジンの最新の改善点を活用してアプリの機械学習機能を高速化する方法を学びましょう。推論とモデルの高速な読み込みに役立つ、積極的なアセットのキャッシングの活用方法を紹介します。応答性の高いアプリを作成するために、最新の非同期予測のオプションや、パフォーマンスと全体的なメモリ使用量のバランスを考慮する方法を紹介します。モデルのハードウェア稼働率を理解し、その最大化に役立つAPIを紹介します。Core MLモデルの使用を最適化する方法については、WWDC23の「Use Core ML Tools for machine learning model...
-
25:18
Core ML Toolsを使った機械学習モデルの圧縮法
Core ML Toolsを使って、アプリ内の機械学習モデルのフットプリントを削減する方法を紹介します。パレット化、プルーニング（刈り込み）、量子化などのテクニックを使用して、モデルのサイズを劇的に圧縮しつつ、優れた精度を実現する方法を紹介します。トレーニング段階での圧縮と、完全にトレーニングされたモデルでの圧縮を比較し、Apple Neural Engineを最大限に活用することで、圧縮されたモデルをさらに高速に実行する方法を学びます。Core MLの最適化については、WWDC23の「Improve Core ML integration with async...
-
21:15
Metalアプリにおける機械学習の最適化
Metalにおける、高速なMLトレーニング方法に関する最新の機能強化について解説します。PyTorchとTensorFlowのアップデート情報、JAXのMetalアクセラレーションについて紹介します。GPUとApple Neural Engineの両方を使用する際に、MPG GraphがML推論を高速化をサポートする仕組みについてや、同じAPIを使用してCore MLとONNXモデルを迅速に統合する方法について解説します。Metalを使った機械学習の詳細については、WWDC22の「Accelerate machine learning with Metal」をご覧ください。
-
17:35
DockKitを利用した電動iPhoneスタンドとの統合
DockKitと互換性がある電動スタンドと統合して、カメラアプリで素晴らしい写真やビデオの体験を作成する方法を紹介します。 アプリが360度の視野全体でライブビデオ内の被写体を自動的にトラッキングし、スタンドを直接制御してフレーミングをカスタマイズしたり、モーターを直接制御したり、他のオブジェクトのトラッキングのための独自の推論モデルを提供したりする方法を説明します。 最後に、動的なデバイスアニメーションを通じて感情を演出する方法も紹介します。 画像トラッキング技術の詳細については、WWDC23の「Visionで動物のポーズを検出」および WWDC21 の「Create...
-
7:52
デバイス上の音声認識のカスタマイズ
語彙を追加し基礎モデルをカスタマイズすることで、アプリのデバイス上音声認識を向上させる方法を紹介します。音声認識がデバイス上でどのように動作し、より予測可能な転写（トランスクリプション）のために特定の言葉やフレーズをどうしたら促進できるのか説明します。すべてランタイムで言葉の特定の発音を提供し、カスタムフレーズのフルセットを素早く生成できるテンプレートサポートを利用する方法について確認しましょう。スピーチフレームワークついて、詳しくはWWDC19の「Advances in Speech Recognition」をご参照ください。
-
-
WWDC22 -
25:31
Create ML Componentsについて学ぶ
Create MLにより、画像識別、オブジェクト検出、音声識別、ハンドポーズ識別、アクション識別、形式データの回帰などのカスタム機械学習モデルが簡単に構築できるようになります。また、Create ML Componentsフレームワークを使用すると、基礎となるタスクをさらにカスタマイズして、モデルを改良できるようになります。これらのタスクを構成する特徴抽出器、トランスフォーマー、エスティメーターについて解説し、これらを他のコンポーネントや前処理行程と組み合わせて、画像回帰などのコンセプトのカスタムタスクを構築する方法を紹介します。...
-
12:11
VisionKitで機械可読コードやテキストをキャプチャする
VisionKitのData Scannerとは：このフレームワークは、AVCaptureとVisionを組み合わせて、シンプルなSwift APIで機械可読コードやテキストをライブキャプチャできるようにするものです。ここでは、バーコードの種類や言語選択を指定して、Appがキャプチャできるコンテンツの種類を制御する方法を紹介します。また、Appのガイダンスを有効化したり、項目のハイライト表示や関心領域をカスタマイズしたり、Appで項目が検出されたときにインタラクションを処理したりする方法も紹介します。 静止画または一時停止したビデオフレームでのLive...
-
16:46
Create MLの最新情報
Create MLの最新情報をご覧ください。Create MLの評価ツールの改善点について解説します。これで、ご利用のカスタムモデルがリアルワールドデータで機能する仕組みを把握できるようになります。さらに、テストデータにおける各種画像のモデルパフォーマンスをチェックしたり、個々の画像の問題を特定して、分類ミス、データの不適切なラベル付け、その他のエラーのトラブルシューティングを実施したりする方法について解説します。また、Continuity Cameraでのライブプレビューで、iPhoneやiPadを使用してご利用のモデルをテストする方法をはじめ、Create ML...
-
13:25
Create ML Componentsで高度なモデルを作成する
Create ML Componentsで、カスタム機械学習モデルを次のレベルに引き上げます。動画やオーディオなどの時間データの操作方法をはじめ、人の反復動作をカウントしたり、高度な音声分類を提供するモデルの作成方法を紹介します。また、インクリメンタルな調整で、新しいデータを使用したモデルトレーニングを迅速化するベストプラクティスも紹介します。 カスタム機械学習モデルの導入については、WWDC22の「Create ML Componentsについて学ぶ」をご覧ください。
-
23:30
Core MLの使用を最適化する
Core MLが、CPU、GPU、ニューラルエンジンと連携して、オンデバイスでプライバシーを保護する機械学習エクスペリエンスをAppに促す仕組みについて解説します。さらに、最新ツールについても解説するので、ご利用のモデルのパフォーマンスを把握し、最大限に活用することができるようになります。また、ご利用のモデルのパフォーマンス特性を簡単に把握できるレポートの生成方法も紹介するので、Core ML Instrumentでご利用のモデルに対するインサイトも得られるようになります。さらに、APIを強化して、AppとのCore ML統合を最適化しますのでご覧ください。...
-
19:48
Visionの最新情報
テキストの認識・顔や顔のパーツの位置検出・オプティカルフローの実装など、Vision APIの最新情報をご覧ください。ビデオベースのAppのためのオプティカルフロー機能について紹介し、これらのAPIを駆動する機械学習モデルのリビジョンに合わせてAppを更新したり、XcodeのQuick Look PreviewサポートでVisionタスクを視覚化する方法を紹介します。 このセッションを最大限に活用するには、WWDC21の「Visionによる人物、顔、ポーズの検出」をご覧ください。
-
29:51
Metalで機械学習を加速する
Metalを使用して、macOSでのPyTorchモデルトレーニングを加速する方法をご覧ください。TensorFlowトレーニングサポートの最新情報をはじめ、MPS Graphの最新機能や操作、優れたパフォーマンスで機械学習のあらゆるニーズに対応するベストプラクティスを紹介します。 機械学習でのMetalの使用について、詳しくはWWDC21の「Metal Performance Shaders Graphによる機械学習の加速」をご覧ください。
-
17:19
機械学習を組み込んだAppの開発手法
優れた機械学習（ML）によるエクスペリエンスをあなたのAppに取り入れる方法を紹介します。モデルの発見、変換、トレーニングについて解説し、MLのヒントとベストプラクティスを紹介します。さらに、MLの導入に伴う考慮すべき事項をはじめ、モデルのパフォーマンスを評価するテクニックや、モデルを調整して、デバイスでリアルタイムのパフォーマンスを実現する方法について解説します。 このセッションで取り上げたテクニックの詳細については、WWDC22の「Core MLの使用を最適化する」および「Metal Performance Shaders Graphで機械学習を促進する」をご覧ください。
-
-
Tech Talks -
15:48
Create MLの物体検出モデルの改善
Create MLで物体検出のカスタムCore MLモデルをトレーニングする際、Appに画像を理解させることができます。 転移学習による、少ない学習データでより小さなモデルを構築する方法を理解しましょう。更にCreate MLの進化したパラメータによって、インプットする画像のトレーニングイテレーション、バッチサイズ、グリッドの寸法をコントロールでき、モデルの精度に関して十分な管理が可能になります。 物体検出の入門編については、WWDC19の"Training Object Detection Models in Create ML"をご覧になってください。
-
23:48
TabularDataを使ったSwiftでのデータの分析と操作
TabularDataフレームワークを使って、Swiftで非構造化データの読み込み、分析、操作を行う方法を確認します。この方法は、機械学習タスクのためにデータを事前に処理する必要がある場合や、Appでデータをオンザフライで処理する必要がある場合に利用できます。大規模なデータセットを扱う場合、複数のデータテーブルを統合する場合、データをプログラムでフィルタリングする場合に、TabularDataフレームワークがどのように役立つかを説明します。また、DataFrameを活用して、Appのデータ処理を中心とした機能を実行する方法についても紹介します。
-
25:18
PyTorchモデルをCore MLに変換する
PyTorchモデルをCore MLへ変換して、オンデバイスの機械学習をAppで活用する方法を理解しましょう。 PyTorchの機械学習のフレームワークは、複素ニューラルネットワークの作成やトレーニングを手助けします。モデルを構築した後にCore MLへと変換し、完全にオンデバイスで動かすことができ、CPUやGPU、ニューラルエンジンを最大限に活用できます。 Core ML ToolsパッケージがTorchScriptモデルを直接、変換させる方法を理解し、カスタマイズ操作と発生する変換エラーの扱いについて学びましょう。 Core...
-
-
WWDC21 -
19:16
SoundAnalysisのビルトイン音声識別
Sound AnalysisフレームワークをAppで使用すると、マイクからのライブサウンド、ビデオやオーディオファイルなど、あらゆるオーディオソースからの個別の音を検出・識別し、その音が発生した瞬間を正確に特定できます。ビルトインの音声識別機能を使えば、カスタムのトレーニングモデルがなくても、300種類以上の音を簡単に識別できます。人の声、楽器の音、動物の声、様々なアイテムの音など、いろいろな音を識別できます。 カスタムモデルについては、Audio Feature...
-
32:44
見つけやすいデザイン
インタラクティブで記憶に残る体験を作って人々をAppに引き込む方法を紹介します。ここでは、見つけやすいデザインの手法を紹介して、一目でAppの可能性を把握できる、探索可能で楽しいインターフェイスを作る方法を確認します。また、この手法を応用してコンテンツをパーソナライズして、Appを簡単にカスタマイズする方法も紹介します。
-
36:34
インクルーシブなデザインのプロセス
ソフトウェアを使用するすべての人に素晴らしい体験を提供できるような、インクルーシブなAppを提供する方法を紹介します。また、多様なチームを結成してその能力を強化するためのベストプラクティスを紹介します。インクルーシブな考え方が、デザインと開発プロセスの各段階にどう影響するかを確認しましょう。
-
17:58
Visionによる人物、顔、ポーズの検出
Visionフレームワークの最新のアップデートにより、Appで人、顔、ポーズを検出できるようになりました。画像内の人物を周囲の環境から分離するためのPerson Segmentation APIや、人物の頭部のピッチ、ヨー、ロールを追跡するための最新のコンティグメトリクスを紹介します。また、こうした機能をCore Imageなどの他のAPIと組み合わせることで、シンプルなバーチャル背景から、画像編集Appでのリッチなオフライン合成まで、さまざまな機能を実現することができます。...
-
16:49
Create MLフレームワークを使ったダイナミックなiOS Appの構築
Create MLフレームワークを使って、Core MLモデルを完全にデバイス上でトレーニングすることで、データのプライバシーを守りながら、適応性の高いカスタマイズされたAppエクスペリエンスを実現する方法を紹介します。スタイル変換や画像識別といった画像ベースのタスク、カスタム音声識別などのオーディオタスク、またはテキスト識別、表形式データの識別、および表形式データの回帰分析などのタスクといった、オンザフライ方式で作成できるモデルタイプについて確認します。また、Appをよりパーソナルでダイナミックなものにするため、これらのモデルから提供される多数の可能性を紹介します。...
-
26:49
Create MLによる手のポーズや動作の識別
Create MLを使えば、人間の手の表現力をAppで理解することがこれまで以上に簡単になります。Create ML Appとフレームワークを使って、Visionによる手のポーズ検出のサポートをベースに、カスタムの手のポーズと手の動作の識別モデルをトレーニングする方法を紹介します。データの収集、モデルの学習、そしてVision、Camera、ARKitとのインテグレーションがいかに簡単にできるかを確認し、楽しくて面白いApp体験を創り出しましょう。 Create MLの詳細やモデルのトレーニングに関するコンセプトについては、WWDC20の「Create...
-
19:12
Visionによるドキュメントデータの抽出
Visionを使用して、アプリ内で専門的な画像認識・分析を行い、ドキュメントから情報を抽出したり、多言語のテキストを認識したり、バーコードを識別したりする方法を紹介します。本セッションでは、テキスト認識とバーコード検出の最新のアップデートについて紹介し、これらのツールをCore MLと組み合わせて、画像やライブカメラを通してアプリが環境をより理解できるようにする方法について説明します。Visionによって提供されている機能をさらに理解するには、WWDC21の「Visionによる人物、顔、ポーズの検出」とWWDC20の「Computer Vision APIの探求」をご確認ください。
-
24:30
Core MLモデルのチューニング
Core MLによって、機械学習のパワーを直接Appに取り込むことができます。CPU、GPU、Neural Engineをどのように活用すれば、デバイスから離れることなく、プライバシーを保護しながら、最大限のパフォーマンスを発揮できるかを紹介します。Swiftで多次元データを簡単に扱うことができるMLShapedArray、Core MLのML ProgramsをサポートしたML Packageについて詳しく説明します。機械学習に対するこの最新のプログラム的なアプローチは、型指定された実行を可能にして、驚異的な柔軟性を提供します。また、モデルのパフォーマンスを分析する方法や、ML...
-
29:12
Metal Performance Shaders Graphによる機械学習の加速
Metal Performance Shaders Graphは、線形代数、機械学習、コンピュータビジョン、および画像処理のためのカスタマイズされた多次元グラフをビルド、コンパイル、および実行するのに役立つ計算エンジンです。Apple製品のMetalバックエンドを通じて、MPSGraphが人気のTensorFlowプラットフォームをいかにして加速できるかについて紹介します。グラフに制御フローを加えたり、グラフのコンパイルを管理してパフォーマンスを最適化したり、MPSGraphオペレーションを使用してわずか数行のコードで最もハードな演算アプリケーションを高速化する方法を確認します。
-
14:22
Accelerateを使用したパフォーマンス改善と暗号化アーカイブの組み込み
Accelerateフレームワークを使用すると、大規模な数学計算やイメージ計算を少ない消費電力で高速に行うことができます。AccelerateとそのBasic Neural Network Subroutinesライブラリの最新のアップデート内容を検証します。これには、追加のレイヤー、アクティベーション関数、向上したオプティマイザサポートが含まれます。C++テンプレートのサポートを強化したsimd.hの改良点をご確認ください。Apple Encrypted Archiveは、Apple...
-
-
WWDC20 -
24:42
Core MLでのモデルの配布とセキュリティ
Appのバイナリ外でCore MLモデルをデプロイし、機械学習機能をAppに導入する際により柔軟で制御しやすくする方法について説明します。また、Core MLモデルデプロイメントによりAppのアップデートを行うことなく更新されたモデルを導入する方法についても学習します。さらに、暗号化を使用してカスタムの機械学習モデルを保護する方法や、Xcodeでモデルのパフォーマンスをプレビューする方法も一通り説明します。 TensorFlowやPyTorchなどの環境で学習済みのモデルを取り込む場合など、Core MLの使い方の詳細については、"Get your models on device...
-
24:21
Visionで身体や手のポーズを検出する
Visionフレームワークを使い、あなたのAppで写真や動画内の身体や手のポーズをどう検出することができるかを説明します。ポーズ検出を使えば、Appが人のポーズ、動き、ジェスチャーを分析し、新たな動画編集の可能性が提供でき、Create MLにビルトインの action classifierと組み合わせることで動作識別も実行できるようになります。手のポーズからApp内でのジェスチャー認識を可能にし、まったく新たな形式の相互作用を届ける方法もお伝えします。 動作識別で身体のポーズを応用する方法をより深く理解するため、 "Build an Action Classifier with...
-
26:06
Create MLを使用したアクションクラシファイアの構築
Create MLでAction Classificationモデルを作成する方法を説明します。カスタムアクションクラシファイアを使用すると、Appはビデオまたはカメラを介してリアルタイムで身体の動きを認識し、理解することができます。ジャンピングジャック、スクワット、ダンスの動きなどの人間の動作を識別するために、サンプルを使用してCore MLモデルを容易にトレーニングする方法についてご説明します。これを支えるVision FrameworkのBody...
-
41:04
Natural LanguageでAppをよりスマートに
Natural Languageフレームワークを活用し、テキストをより良く分析、理解する方法を学びましょう。フレームワークにビルトインの埋め込み単語や文章を使い、テキストから意味を引き出す方法、また特定の要件に向けたカスタマイズの埋め込みを作る方法もお見せします。 カスタムテキストクラシファイアのトレーニングにサンプルを用いること、重要な一片の情報をテキストからワードタガーを用いて抽出すること、これらすべてをNatural...
-
24:35
Computer Vision APIの探求
Core Image、Vision、およびCore MLを組み合わせることで、AppにComputer Vision のインテリジェンスを導入する方法について学びます。機械学習だけにとどまらず、画像や動画の理解を深めましょう。Core ImageおよびVisionにおける新しいAPIを見つけ、新しいしきい値フィルター、輪郭検出(Contour Detection)、フレーム間予測(Optical Flow)などのAppにComputer Visionを取り入れます。また、Core Imageを使用して、これらの結果の前処理と可視化を行う方法を検討します。...
-
11:48
Create MLにおけるImage and Video Style Transferモデルの作成
Create MLのStyle Transferを使用して、写真や動画にスタイル付けされたエフェクトを導入します。モデルを数分でトレーニングして、クリエイティブなビジュアル機能をAppに簡単に導入できる方法を紹介します。トレーニングのプロセスと、結果を制御するためのオプションについて学びます。また、これらのモデルの内3つを同時にARKitでデモンストレーションすることによって、リアルタイムのパフォーマンスを確認します。 本セッションの前に、Create MLを使いこなせるようになっておくことをお勧めします。概要については、“Introducing the Create ML...
-
36:27
Action & Vision Appの探求
今では、機械学習を活用したフィットネスやスポーツコーチング向けのAppを簡単に作れるようになりました。それを証明するために、当社は独自のAppを作りました。Visionフレームワークにおける新しい体勢推定(Body Pose Estimation)、軌跡検出(Trajectory Detection)、および輪郭検出(Contour Detection)に加え、Create MLでObject DetectionとAction Classificationを使用してAction & Vision...
-
31:16
Core ML Convertersを使用したデバイス上のモデルの取得
Core MLでは、驚くような機械学習モデルをAppに持ち込み、完全にデバイス上で実行することができます。また、Core ML Convertersを使用すると、TensorFlowまたはPyTorchのトレーニングを受けたモデルのほとんどを組み込み、GPU、CPU、およびNeural Engineを最大限に活用できます。既存のモデルを他のMLプラットフォームから変換するために必要なもの、およびモデルの機能を拡張するカスタム操作の作成方法について説明します。 モデルをCore MLに変換したら、“Use model deployment and security with Core...
-
39:35
Metal Performance Shaders GraphでカスタムMLモデルを構築する
MetalのCompute能力をマルチディメンションTensorsに拡張する、Metal Performance Shaders (MPS) Graphをご紹介します。MPS Graphは高度にチューニングされた並列処理データライブラリの上に構築され、機械学習に欠かせないものであり、多大なGPUパワーを活用します。MPS Graphにより洗練された、ダイナミックなニューラルネットワーク学習のアーキテクチャを表現する方法、またアーキテクチャ上でGPUを加速させるための最適化の仕方をお伝えします。 このセッションで網羅するコンセプトをより深く理解するには、WWDC19の"Metal for...
-
18:39
Swiftを使用したCreate MLでのトレーニング管理
Create MLフレームワークを使用することで、これまで以上にモデルを簡単に開発し、ワークフローを自動化できます。ここでは、より良いモデルを素早く得るために、機械学習モデルをトレーニングしながら、機械学習モデルを管理する方法について説明します。Create MLにおけるトレーニング管理によって、チェックポイントAPIを使用してトレーニングワークフローをカスタマイズして、トレーニングプロセスを一時停止、保存、再開、および拡張する方法を紹介します。また、Combine APIを使用して、プログラムで進捗をモニターする方法についても学びます。 まだCreate...
-
-
WWDC19 -
6:10
音声認識の最新情報
Speech Recognizerを、ネットワーク接続がなくても、iOSまたはmacOSデバイスでローカルに使用できようになりました。このセッションでは、プライバシーを保護し、サーバベースの処理における制限を排除しながら、Appをテキストから音声への変換に対応させる方法について説明します。また、音声認識のAPIが、話す速さ、休止の長さ、音声の品質など、より豊富な分析が行えるよう強化されたことについてもご確認いただけます。
-
40:38
Core ML 3フレームワーク
Core ML 3は、これまでオンデバイスの機械学習では利用できなかった高度なモデルタイプに新たに対応しています。このセッションでは、モデルのパーソナライズにより、Appをパーソナライズできる度合いを大きく広げる方法について説明します。モデルをリンクさせる方法や、既存のモデルのコンバージョンに使うCore MLツールの向上点について、より深く理解していただけます。
-
14:34
Create ML Appの紹介
Core MLのパワーをAppに組み込むには、「どうやってモデルを作成するか」という課題に取り組む必要があります。新しいCreate ML Appでは、直感的なワークフローでモデルを作成することができます。このセッションでは、この使いやすいツールで、モデルをすばやくトレーニング、評価、テスト、プレビューする方法について説明します。多数の強力な機械学習タスクを処理するためのテンプレートが数多く用意されていますので、その中の1つをまずお試しください。モデルの継続的な改良と実験のための多くの機能についても詳しく紹介します。
-
14:49
機械学習における新機能
Core ML 3が大幅に拡張され、これまで以上に高度なオンデバイスの機械学習機能をAppで利用できるようになりました。このセッションでは、さまざまなタスクのためのCore MLモデルを簡単に作成できる新しいCreate ML Appについて説明します。Vision、Natural Language、Sound、Speechの魅力的なアップデートや、最先端のモデルタイプに新たに対応したことや、モデルパーソナライズの概要についてご確認ください。
-
39:50
Understanding Images in Vision Framework
Learn all about the many advances in the Vision Framework including effortless image classification, image saliency, determining image similarity, and improvements in facial feature detection, and face capture quality scoring. This packed session will show you how easy it is to bring powerful...
-
20:11
Create MLで音声識別モデルをトレーニングする
このセッションでは、オーディオファイルやライブオーディオストリームの音声を識別できるCore MLモデルをすばやく簡単に作成する方法を紹介します。音声識別モデルのトレーニングおよび評価機能に加えて、Create ML Appでは、Macのマイクロフォンを使用してリアルタイムでモデルのパフォーマンスをテストすることもできます。新しいSound Analysisフレームワークを使用して、Appで音声識別のオンデバイスモデルを活用しましょう。
-
12:05
Create MLでテキスト識別モデルをトレーニングする
Create MLで、最先端のテクニックを基盤にした自然言語処理モデルを作成できるようになりました。このセッションでは、Create ML Appを使用して、テキスト識別モデルのトレーニングとテストを簡単に行う方法を紹介します。転移学習、単語の埋め込み、テキストカタログのための強力な新しいオプションについてご確認ください。
-
15:41
Create MLでオブジェクト検出モデルをトレーニングする
オブジェクト検出のためのカスタムのCore MLモデルを使用すると、Appに魔法のような機能を追加できます。このセッションでは、XcodeのCreate ML Appによって、どのようにオブジェクト検出モデルを簡単にトレーニングおよび評価できるかについて説明します。また、コンティニュイティカメラを活用して、モデルのパフォーマンスをApp内で直接テストする方法も紹介します。Core ML向けの優れたオブジェクト検出モデルの構築とデプロイが、これまでになく簡単になりました。
-
10:31
Create MLでレコメンデーションモデルをトレーニングする
Core ML向けのレコメンデーションモデルを活用すると、Appを使用するお客様に、非常にパーソナルな体験を提供することができます。たとえば、毎日使用するAppで、再生する音楽や視聴する映画を提案できるようになります。このセッションでは、Create ML Appを使用して、あらゆる種類のデータソースからカスタムのレコメンデーションモデルを簡単に作成する方法について説明します。また、こうしたパーソナライズを、ユーザーのプライバシーを保護しながら実現する方法と、レコメンデーションモデルの例が実際に機能している様子もご確認いただけます。
-
15:01
Create MLでアクティビティ識別モデルを構築する
iPhoneとApple Watchには、加速度センサーやジャイロスコープなど、多数の強力なセンサーが搭載されています。こうしたセンサーからのデータを使用してアクティビティ識別モデルをトレーニングすると、ユーザーが走っていたりバットを振ったりしていることを感知するなど、Appに魔法のような機能を追加できます。このセッションでは、Create ML Appによって、このようなCore MLモデルの1つを簡単にトレーニングおよび評価できることについて説明します。トレーニングに必要な未加工のデータを収集する方法と、こうしたモデルが実際に使用されている様子についてご確認ください。
-
39:19
Natural Languageフレームワークの最新情報
Natural Languageは、すべてのAppleプラットフォームで自然言語処理タスク用のハイパフォーマンスなオンデバイスAPIを利用できるようにするためのフレームワークです。このセッションでは、Natural Languageフレームワークに追加されたセンチメント分析およびテキストカタログのサポートについて説明します。テキストベースのモデルで利用できる転移学習や、Appの検索機能を強化できる単語埋め込み機能に新たに対応したことについて、より深く理解していただけます。
-
29:43
Core MLとARKitを使用して優れたAppを作成する
Core MLやARKitなどのAppフレームワークを組み合わせて、教育用ゲームを作成していく様子を見てみましょう。このセッションでは、機械学習の力を活用して、Appで魔法のようなインタラクションを生み出す方法を紹介します。また、難しいコンピュータビジョンの問題を解決するためのアプローチについてより深く理解していただけます。インタラクティブなコーディングセッションで、Appが完成するプロセスについてご確認ください。
-
38:15
Visionフレームワークでのテキスト認識
Visionフレームワークのドキュメントカメラ機能とテキスト認識機能を使用すると、画像からテキストデータを抽出することができます。このセッションでは、このビルトイン機械学習テクノロジーをAppで活用する方法について説明します。高速な処理と正確な処理の違いと、文字ベースでの認識と言語ベースでの認識の違いについて、詳しい情報についてご確認ください。
-
57:45
優れたML体験をデザインする
機械学習により、ユーザーが言ったことを理解し、ユーザーが好きなものを予測して提案し、ユーザーが新しい豊かな方法で自分を表現できる新しい体験を生み出すことが可能になります。また、機械学習は、日常のタスクを自動化し、やり取りの精度と速度を向上することで、既存の体験を向上させます。このセッションでは、ML体験をAppに組み込み、思い通りに操作できるユーザーインターフェイスを設計するための実践的なアプローチについて説明します。
-
41:25
機械学習のためのMetal
Metal Performance Shaders（MPS）には、機械学習およびGPUのパワフルな性能を活用するために不可欠な、データ並列処理プリミティブの厳選されたライブラリが収められています。iOS 13とmacOS Catalinaでは、MPSによってパフォーマンスが向上し、より多くのニューラルネットワークを活用できるようになりました。しかも、これまでより簡単に使用できるようになっています。このセッションでは、MPSのこうした向上点と、スタイル変換のような革新的なテクニックを実装するための実践的な方法について説明します。
-