Swiftを使用したCreate MLでのトレーニング管理

Swiftを使用したCreate MLでのトレーニング管理

Create MLフレームワークを使用することで、これまで以上にモデルを簡単に開発し、ワークフローを自動化できます。ここでは、より良いモデルを素早く得るために、機械学習モデルをトレーニングしながら、機械学習モデルを管理する方法について説明します。Create MLにおけるトレーニング管理によって、チェックポイントAPIを使用してトレーニングワークフローをカスタマイズして、トレーニングプロセスを一時停止、保存、再開、および拡張する方法を紹介します。また、Combine APIを使用して、プログラムで進捗をモニターする方法についても学びます。まだCreate MLに精通しておらず、トレーニング機械学習モデルに興味がある場合は、必ず “Introducing the Create ML App”をご視聴ください。

リソース
- Create ML
- - HDビデオ
  - SDビデオ
関連ビデオ

WWDC21
- Create MLフレームワークを使ったダイナミックなiOS Appの構築
WWDC20
- Create MLにおけるImage and Video Style Transferモデルの作成
- Create MLを使用したアクションクラシファイアの構築
WWDC19
- Create ML Appの紹介
ダウンロード

こんにちは WWDCへようこそ “Swiftを使用したCreate MLでのトレーニング管理” 私の名前はリジー Create MLのMachine Learingマネージャーです Create MLでのチェックポイントや非同期トレーニングの新しいAPIを紹介します Create MLアプリケーションとそのフレームワークについて説明します Create MLアプリケーションでコードを書かずにモデルを作成できます
使いやすいAPI Create MLでアプリケーションがパワーアップします macOS Big Surにはワークフロー管理のためのパワフルで柔軟なAPIがあり機械学習モデル作成のカスタマイズをしアプリケーション作動と同じ技術で利用可能ですトレーニングプロセスのおさらいです
モデルをトレーニングするならまずデータ収集です
トレーニングオプションを閲覧して下さいもちろんデフォルトの設定は可能ですがオプションの知識も無駄にはなりません
前処理で特徴抽出や適切な構造へのデータ変換が必要な場合があります音声をスペクトログラムで変換したりビデオはフレームごとに抽出したキーポイントでしょう
そしてトレーニングですが後ほど詳しく説明したいので一旦次に進みます
新しいデータを提示しモデルを評価しますモデルがトレーニング中に表示しないデータセットを使用すればトレーニング例の記憶ではなくモデルの一般化を決定できますこの時点でデータが少ないので期待はずれに感じる方々は別のパラメータやトレーニング時間が必要なのかもモデル開発は反復的なプロセスで要求を満たすまで設定やトレーニングをします
トレーニング済みのモデルで予測を実行しデプロイの準備は完了
では管理について説明しますトレーニング管理には一時停止や再開の機能があり
プロセスの監視や変更の機能もあります
いつでもトレーニングの中止が可能です
機械学習モデルのトレーニングは時間がかかりますオブジェクト検出モデルには５時間かかる場合もあります例えばトレーニング開始後最大イテレーション値に到達します
損失減少していてモデルの収束値にまだ余裕がある場合ゼロから始めて最大値を選択する必要がありましたがこれからは中止した地点から再開できます
目的に対して結果が限定されていることが重要で埋め込み式で数値を決める場合最善の結果は必要はありません例えば性質が独特なStyle Transferで魚のモザイクをダンサーの写真に適用しようとしていますユーザーの判断で中止を決めることができその選択は必要に応じて特定できますプロトタイプが必要で時間をかけたくない人や最高の結果を求めトレーニングする人もいるでしょうトレーニング管理により停止条件を定義できイテレーション回数を制限する必要はありません画像分類でターゲットの精度が必要な人や時間に余裕のない人もいるでしょう
トレーニング管理はCreate MLアプリケーションかカスタマイズもできるAPIで利用可能ですご説明します
以前はモデルコンストラクタを呼び出しトレーニング後返却しました
新しい非同期APIではジョブ返却のメソッドの呼び出しが可能です
通常のパラメータとセッションパラメータを受け取り報告の流れとイテレーションの合計値を指定します変数を省略しデフォルト使用も可能です
sessionParametersの最初の変数は sessionDirectoryです既存のものがなければディレクトリが作成されセッション再開のためにそのコンテンツが使用されます新しいセッションを希望する場合は削除するか新しい場所を選択します
進行報告とチェックポイントの頻度を制御する変数が小さければ更新は頻繁ですがコストパフォーマンスは良くないでしょう
最後の変数はイテレーションの合計値でこの値で停止しますこの値は呼び出しの際に増やしたり到達する前に停止したりできます
返却されるジョブは有効なジョブを示す MLJobのインスタンスで進行状況やチェックポイントや結果のパブリッシャーなどが含まれます
WWDC19の“Introducing Combine”と “Combine in Practice”で参照できる― Combineフレームワークの知識を深めます
キャンセルメソッドで簡単にトレーニングを中止できますトレーニング済みのモデルの取得に結果パブリッシャーを使用しますまず sinkを記録すると完了時に最初のクロージャが呼び出され結果が分かりますエラーとなった場合はここで解決する必要があります
完了したら次のクロージャで最終モデルを受け取り
サブスクリプションを保存します
完成したフラクションや進行中のイテレーションやその合計値― それにカスタム指標などの進行状況を監視できます
MLJobの進行状況パブリッシャーで確認や印刷が可能ですこれがファンデーションからの進行状況の標準インスタンスですカスタム指標にアクセスするため sinkクロージャを記録します予防措置としてジョブをわずかにキャプチャし保存サイクルを回避します
ジョブを確認しMLProgressのインスタンスを作成しますヘルパータイプがインスタンスからカスタム指標へのアクセスを可能にします新しいセッションが作成されたり新しいフェーズが始まる時は初期化できない可能性もありますしかしすぐに返却し解決します
そして最新のアイテムや合計数などの進行情報にアクセスできます特徴抽出においてアイテムとは現在処理中のファイルやレコードのことでトレーニングでは現在のイテレーション値を指します最後に受け取るトレーニング指標はトレーニングフェーズでのみ利用可能で各タスクに特有のものですタスクは精度が高いものや減損や他の指標を持つものもあります検証データを提供すれば検証指標にアクセスできるでしょうさあ新しいAPIを使用したモデルのトレーニング法を紹介します
Create MLでのスタイル転送モデルについての動画を見てモデル作成ワークフローの設定を Playgroundsで始めましたリソースバンドルで使用できるスタイルの画像と様式化したいアーティストの認識画像もあります
まず希望するスタイルや認識画像に URLを指定します
Playgroundsではデータインラインを可視化できます指定したスタイルや使用する認識画像を確認できます
次にトレーニングデータの定義のため dataSourceを指定し styleImageURLと contentDirectoryを渡します
そしてセッションを設定するパラメータを初期化します
sessionDirectoryの取得に MLTrainingSessionParametersとします reportIntervalで進行報告の回数と checkpointIntervalで回数を指定し iterationsでトレーニングの延長をします
次にモデルパラメータを設定します
トレーニングの準備ができました
まず作りたいモデルタイプに trainメソッドを呼び出します
データソースを指定します
trainingParametersと
sessionParametersを設定します
これをMLJobインスタンスに戻します MLJobには結果パブリッシャーがありトレーンング中のエラー受信や実行したモデルへのアクセスが可能です
実行中の制御や監視にジョブを使うことも可能です進行状況のパブリッシャーで計画的に確認することもできます Foundation Progressのインスタンスなのでキーパスにプロパティを提供することで fractionCompletedを定義します
次にsinkを呼び出し subscription終了のため cancellableを戻します fractionCompleted以外にも MLモデル特有のメトリクスにアクセス可能で Foundation Progressから MLProgressのインスタンスを初期化しますイテレーションによるスタイルやコンテンツの損失など特定のメトリクスにアクセスできます
XcodeのPlaygroundを利用し trainで実行中の進行状態を視覚化できます
トレーニング進行状況の最新値やグラフを確認できるのは大変便利です
一時停止や再開や延長によりトレーニング進行の制御可能で停止にはジョブのcanceを呼び出すだけです
再開には同じセッションのディレクトリで trainを呼び出すくらい簡単で
ほとんど自動です新しい非同期APIを使ったモデルトレーニング方法の説明にはチェックポイントについてもありますチェックポイントで時間をかけてモデルの状態をキャプチャできトレーニングの進行状況や過去の結果との比較を確認できますまだトレーニングが必要なら停止した時点から再開できます
MLCheckpointはトレーニングか特徴抽出を表す構造で
他のフレームワークと違い新しい非同期APIを使うと自動的に構築されます
再開が簡単です新しいセッションか既存のセッションに sessionDirectoryを設定します Playgroundsのような環境で進行を失わずに反復できるのは優秀です
トレーニングプロセスに戻りましょう前処理とトレーニングに注目しますチェックポイントが生成した場所に２つのフェーズがあります
まず前処理です
個別ファイルや何行ものデータ要素を取得しそれぞれに処理します進行状況は要素の処理数で計測されます
数個の要素ごとにチェックポイントとして進行状況を蓄積し厳密に付加され最後の前処理のチェックポイントだけを保持します
トレーニングフェーズは反復プロセスでもありますイテレーションという個別の段階でモデルは改良されネットワークのデータ使用量や損失計算や重量を更新して構成されますトレーニングのチェックポイントは特定のイテレーションでのモデルの状態で前処理と違い作成するすべてのチェックポイントを保存します進行すると損失や精度などのメトリクスも取得でき特定できるようにチェックポイントと一緒に保存されます
コードを見ましょうチェックポイントのパブリッシャーの使用例ですチェックポイントは自動的にセッションフォルダに保存されますがカスタム指標やモデルの生成またはトレーニングの完全停止を可能にします新しいチェックポイントで実行する機会となります
これはチェックポイントからモデルを生成する方法でディスクへの保存や予測も可能です
モデル作成可能なのは特徴抽出ではなくトレーニングのチェックポイントからなので確認するのはトレーニングフェーズです
画像や音声や動作の分類用の特徴抽出フェーズ中にチェックポイント作成が可能で動作分類や物体検知や画風変換そして活動分類で利用できますそしてセッションはチェックポイントとメタデータの集計と考えましょう MKTrainingSessionタイプにより表示されますセッション作成日やトレーニングフェーズやイテレーション数などの照会が可能です
直接のアクセス希望ならモデルタイプに restoreTrainingSessionメソッドが使え
損失値へのアクセスなども可能です不必要なチェックポイントの削除もできますでは動作中のチェックポイントを見ましょう
PlaygroundsでMLJobのインスタンスから進行や結果の監視方法を確認しました MLJobにチェックポイント監視用のパブリッシャーがあるか確認できます StyleTransfer用に進行状況を視覚化するため各チェックポイントで定型化した認証画像にアクセスします
compactMapを使いチェックポイントを必要な形式に変換し imageURLをNSImageにマップします sinkを呼び出しパブリッシャーに subscriberを貼り付けたり subscriptionリストに AnyCancellableタイプを保存します
トレーニング中に定型化した認証画像を埋め込み型で見ることができます
できることはまだあります SwiftUIを使いPlayground Live Viewで簡単にレンダリングできますまず新しいビューオブジェクトを見つけスタイルの画像や定型化した認証画像やオリジナル認証に渡しますモデルの機能性を時間をかけて比較できます UIの使用によりメインキューからの受け取りが可能です Playground Live Viewを設定すれば結果を蓄積することができます
モデルを視覚化できるのは参照スタイルや認証画像に加えてトレーニングしたからで新しいチェックポイントや APIのおかげです
では確認しましょう CreateMLの新しい非同期APIでモデルのトレーニング方法を学びましたチェックポイントやモデルの生成トレーニングの再開それから― 進行レポートや結果処理のための Combineパブリッシャーの使用法ですトレーニングワークフローのカスタマイズが必要ならこの新しいツールを利用して下さいトレーニング管理はモデルの性能も進行状態も制御できモデルの開発やワークフローの自動化や macOSアプリケーションに応じたモデルを作成できますご視聴ありがとうございました

4:39 - Synchronous training
```
let model = try MLActivityClassifier(...)
```

let job = try MLActivityClassifier.train(..., sessionParameters: sessionParameters)

4:58 - Setting up training parameters

// Session parameters can be provided to `train` method.
let sessionParameters = MLTrainingSessionParameters(
    sessionDirectory: sessionDirectory,
    reportInterval: 10,
    checkpointInterval: 100,
    iterations: 1000
)

let job = try MLActivityClassifier.train(..., sessionParameters: sessionParameters)

6:21 - Register a sink to receive model

// Register a sink to receive the resulting model.
job.result.sink { result in
    // Handle errors
}
receiveValue: { model in
    // Use model
}
.store(in: &subscriptions)

7:07 - Getting training progress

// Observing progress details
job.progress.publisher(for: \.fractionCompleted)
    .sink { [weak job] fractionCompleted in
        guard let job = job, let progress = MLProgress(progress: job.progress) else {
            return
        }
        print("Progress: \(fractionCompleted)")
        print("Iteration: \(progress.itemCount) of \(progress.totalItemCount ?? 0)")
        print("Accuracy: \(progress.metrics[.accuracy] ?? 0.0)")
    }
    .store(in: &subscriptions)

8:55 - Demo 1: Setup

let style = NSImage(byReferencing: styleImageURL)
let validation = NSImage(byReferencing: validationImageURL)

var iterations = 500
var progressInterval = 5
var checkpointInterval = 5
let sessionDirectory = URL(fileURLWithPath: "\(NSHomeDirectory())/\(experimentID)")

let sessionParameters = MLTrainingSessionParameters(sessionDirectory: sessionDirectory,
                                                    reportInterval: progressInterval,
                                                    checkpointInterval: checkpointInterval,
                                                    iterations: iterations)

let trainingParameters = MLStyleTransfer.ModelParameters(
  	algorithm: .cnn,
    validation: .content(validationImageURL),
    maxIterations: iterations,
    textelDensity: 416,
    styleStrength: 5)

10:03 - Demo 1: Training

var subscriptions = [AnyCancellable]()

let job = try MLStyleTransfer.train(trainingData: dataSource,
                                    parameters: trainingParameters,
                                    sessionParameters: sessionParameters)

job.result.sink { result in
    print(result)
}
receiveValue: { model in
    try? model.write(to: sessionDirectory)
}
.store(in: &subscriptions)

10:51 - Demo 1: Progress

job.progress
    .publisher(for: \.fractionCompleted)
    .sink { completed in
        
        _ = completed
        
        guard let progress = MLProgress(progress: job.progress) else { return }
        
        if let styleLoss = progress.metrics[.styleLoss] { _ = styleLoss }
        
        if let contentLoss = progress.metrics[.contentLoss] { _ = contentLoss }
        
    }
    .store(in: &subscriptions)

12:04 - Demo 1: Cancel & Resume

job.cancel()

let resumedJob = try MLStyleTransfer.train(
    trainingData: dataSource,
    parameters: trainingParameters,
    sessionParameters: sessionParameters)

resumedJob.progress
    .publisher(for: \.fractionCompleted)
    .sink { completed in
        _ = completed
        
        guard let progress = MLProgress(progress: resumedJob.progress) else { return }
        if let styleLoss = progress.metrics[.styleLoss] { _ = styleLoss }
        if let contentLoss = progress.metrics[.contentLoss] { _ = contentLoss }
    }
    .store(in: &subscriptions)

resumedJob.result.sink { result in
    print(result)
}
receiveValue: { model in
    try? model.write(to: sessionDirectory)
}
.store(in: &subscriptions)

14:26 - Observing checkpoints

let job = try MLActivityClassifier.train(..., sessionParameters: sessionParameters)

// Register for receiving checkpoints.
job.checkpoints.sink { checkpoint in
    // Process checkpoint
}
.store(in: &subscriptions)

14:50 - Generating a model from a checkpoint

// Generate a model from a checkpoint
guard checkpoint.phase == .training else {
    // Not a training checkpoint, can't create model yet.
    return
}

let model = try MLActivityClassifier(checkpoint: checkpoint)
try model.write(to: url)

15:40 - Working with a session

let session = MLObjectDetector.restoreTrainingSession(sessionParameters: sessionParameters)

let losses = session.checkpoints.compactMap { $0.metrics[.loss] as? Double }

15:48 - Removing checkpoints from a session

let session = MLObjectDetector.restoreTrainingSession(sessionParameters: sessionParameters)

// Save space by removing some checkpoints
session.removeCheckpoints { $0.iteration < 500 }

16:13 - Demo 2: Visualizing Style Transfer Checkpoints

job.checkpoints
    .compactMap { $0.metrics[.stylizedImageURL] as? URL }
    .map { NSImage(byReferencing: $0) }
    .sink { image in
        let _ = image
    }
    .store(in: &subscriptions)

16:24 - Demo 2: Visualizing Checkpoints with SwiftUI + Live View

job.checkpoints
    .compactMap { $0.metrics[.stylizedImageURL] as? URL }
    .receive(on: DispatchQueue.main)
    .map { NSImage(byReferencing: $0) }
    .sink { image in
        let _ = image
        
        let view = VStack {
            Image(nsImage: image)
                .resizable()
                .aspectRatio(contentMode: .fit)
            Image(nsImage: style)
                .resizable()
                .aspectRatio(contentMode: .fit)
            Image(nsImage: validation)
                .resizable()
                .aspectRatio(contentMode: .fit)
        }.frame(maxHeight: 1400)
        
        PlaygroundSupport.PlaygroundPage.current.setLiveView(view)  
    }
    .store(in: &subscriptions)

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

リソース

関連ビデオ

WWDC21

WWDC20

WWDC19