Reality Composer Proにおけるインタラクティブな3Dコンテンツの作成

Reality Composer Proにおけるインタラクティブな3Dコンテンツの作成

3Dコンテンツに生命を吹き込む、Reality Composer ProのTimelineビューについて解説します。インバースキネマティクス、ブレンドシェイプ、スケルトンポーズを使用して、キャラクターやオブジェクトが互いにやり取りしたり、それらを取り巻く世界と関わったりするアニメーションストーリーを作成する方法をご紹介します。組み込みのカスタムアクションの使用方法、アクションシーケンスの作成方法、トリガーの適用方法、自然な動きの実装方法についても説明します。

関連する章
- 0:00 - Introduction
- 2:54 - Introducing timelines
- 18:22 - Inverse kinematics
- 22:55 - Animation actions
- 27:23 - Blend Shapes animation
- 30:35 - Skeletal poses
リソース
関連ビデオ

WWDC24
WWDC23
- Reality Composer Proにおけるマテリアルの詳細
- Reality Composer Proについて
ダウンロード

こんにちは Marinです RealityKit Toolsのエンジニアです本日ご紹介するのは Reality Composer Proのまったく新しい機能「Timeline」です新しいインタラクティブな方法で 3Dコンテンツに命を吹き込むことができます昨年 Appleが発表した Reality Composer Proではアプリで使用する3Dコンテンツのプレビューと準備を簡単に行うことができますこのツールのビジュアルエディタではシーンを作成したりアセットを整理したりインタラクティブ機能や物理特性を追加したりまたは ShaderGraphエディタを使用してマテリアルの外観を微調整したりと様々なことが行えます Reality Composer Proを初めて使う場合や使用方法を再確認したい場合は昨年のWWDCのこれらのセッションをぜひご覧ください Reality Composer Proでは RealityKitコンテンツを視覚的にデザイン編集　プレビューできますシーンの構成コンポーネントの設定複雑なマテリアルの作成音声の追加など様々な操作をすべて1か所で行えます今年は新しい機能を追加しましたタイムラインエディタを使用してアニメーションを作成したりライトを追加したり環境オーサリングをサポートする機能ですこのセッションではタイムラインエディタに焦点を当て Timelineを使用してインタラクティブなアプリを開発する方法と RealityKitの新しいアニメーションAPIについて説明しますさっそく見てみましょう
他のセッションでもこのBOT-anistアプリをご覧になっているかもしれませんこのアプリのロボットを利用して新たに作り直し独自のインタラクティブなバーチャル体験を作成してみましょうこのアプリを見ると 3種類の植物がしおれ始めていますしおれている植物をタップするとロボットがその植物まで移動して水やりを始めます植物はゆっくりと元気を取り戻しロボットはプラットフォームの中央に戻りますまた別のロボットは周囲を飛び回る蝶に手を伸ばして触ろうとしていますこのセッションのリンク先からサンプルプロジェクトをダウンロードできますこのアプリを構築するにはまず Reality Composer Proの Timelineを使用して植物の位置までロボットを移動させます
次に RealityKitのフルボディインバースキネマティクスシステムを利用してロボットを動かし植物に水やりをさせる方法を説明します
その後ロボットを方向転換させ開始位置まで戻すためのアニメーションアクションをコードで記述する方法を見ていきます
さらにブレンドシェイプアニメーションを使用して植物をアニメーション化する方法を紹介します
最後に蝶を追っている2体目のロボットにスケルトンポーズアニメーションを追加します
では Timelineの概要から始めましょう TimelineはReality Composer Proのまったく新しい機能です特定の順序でまたは特定の時間に実行させるアクションのシーケンスを作成できます Reality Composer Proを使用するとこれらのアクションの編集や設定を簡単に行えます左側のパネルにはすべてのタイムラインがリスト表示されます
中央はメインのタイムラインエディタです右側のパネルにはビルトインアクションがすべてリスト表示されますタイムラインを作成するとトリガーに基づいて再生しタイムラインを開始することができます
最初のアニメーションを見てみましょうこのアプリでは植物をタップするとロボットがその植物の方向に動き出しますこのタイムラインシーケンスの作成方法をご紹介しましょう Reality Composer Proを開くと下部のパネルにという新しいタブがあります中央にはボタンがありますタイムラインを作成するためこのボタンを選択しましょう左側には利用可能なすべてのタイムラインがリスト表示されます中央がメインのタイムラインエディタですここでアクションを設定してタイムライン上に並べることができます右側にはあらかじめ用意しておいたすべてのビルトインアクションがリスト表示されていますこれらをタイムライン上に簡単にドラッグ＆ドロップできますタイムライン名を「MoveToPoppy」に変更しましょうタイムラインを選択してダブルタップし「MoveToPoppy」と入力します
まずロボットがタップされた植物の方を向くようにしますそのためには既存のアクションリストにある Spinアクションを使用しますアクションをタイムラインまでドラッグします
ロボットを回転させたいのでインスペクタパネルのフィールドでを選択します次に階層ツリーまたはビューポートでロボットエンティティを探しそれを選択します目的のエンティティを選択したらをタップします
次にロボットをどの程度回転させるかを設定しましょうインスペクタパネルのを使用しますこれを「0.12」に設定しましょう
1回転ではなく少しだけ回転させます実際に見てみましょうタイムラインエディタの上に再生ボタンがありますこのボタンをタップすると設定したアクションをプレビューできます
いいですねロボットが少し回転して植物の方を向きました回転したあとロボットを移動させてみましょうそのためには Transform Toアクションを使用しますビルトインアクションリストからアクションをドラッグしてエディタ上にドロップします Spinアクションの1秒後に実行されるようにシーケンスを設定しますロボットが植物に向かって移動するようにしたいのでこのアクションのターゲットをロボットに設定しましょうをタップして階層ツリーでロボットを選択しをタップしますロボットの移動方向を視覚的に示すグラフィックスが表示されます現在はプラットフォームの中央にいるので変更する必要がありますマニピュレータを使用してポピーの前までロボットを動かします
これで大丈夫です次に Transformアクションの継続時間を変更しましょうデフォルトの継続時間は1秒ですがもっと大きい値に変更しますロボットがより長い時間をかけて植物まで移動するようになりますそのためにはエディタでアクションの右端をドラッグします
またはインスペクタパネルでを設定します
アクションをドラッグして別のトラックへ移動できますこれにより複数のアクションを同時に実行させることができます Spinアクションを別のトラックまでドラッグしましょうこれは後で使用します再生ボタンをタップしてどのように表示されるかプレビューしましょう
いいですね希望どおりになりましたロボットが植物まで移動する間に適用されるアニメーションと音声を追加しましょうそのためには別のタイムラインを作成して歩行のアニメーションと音声が同期するようにしますタイムラインリストの下部にあるボタンをタップしますこのタイムラインの名前を「RobotMove」に変更しましょう新しいタイムラインを選択してダブルタップし「RobotMove」と入力します
アニメーションと音声を再生するため 2つの新しいコンポーネントを使用します Animation Libraryコンポーネントと Audio Libraryコンポーネントですこれら2つのコンポーネントについて説明しましょう Animation Libraryコンポーネントはアニメーションを保存しそれを再生するエンティティと関連付けるために使用されます Animation Libraryコンポーネントを対象エンティティに追加しそのAnimation Libraryコンポーネントにアニメーションリソースを追加します Reality Composer Proでは Animation Libraryコンポーネントにアニメーションを簡単に追加できますボタンをタップしてプロジェクトからアニメーションを選択しますこれでそのエンティティの Animation Libraryコンポーネントにアニメーションリソースが追加されますこれはこのあとコードを使用してまたは Reality Composer Proでタイムラインを使用してアニメーションを再生するときに使用できます
Audio Libraryコンポーネントも Animation Libraryコンポーネントとよく似ています Audio Libraryコンポーネントを使用して音声リソースを保存しそれらを再生するエンティティに関連付けます Audio Libraryコンポーネントをエンティティに追加しそのAudio Libraryコンポーネントに音声リソースを追加します Audio Libraryコンポーネントに音声リソースを追加するにはボタンをタップしてプロジェクトから音声ファイルを選択しますこれでそのエンティティの Audio Libraryコンポーネントに音声リソースが追加されます
そのあとコードでまたはタイムラインを使用して音声を再生できます Reality Composer Proに戻って音声とアニメーションのタイムラインへの追加を完了させましょう RobotMoveタイムラインで新しい Animation Libraryコンポーネントを使用して Animationアクションを追加しますこれから使用するプロジェクト画面にすでにUSDアニメーションが追加されています階層ツリーでロボットを選択しますインスペクタパネルを見ると既にAnimation Libraryコンポーネントが追加されていることがわかりますこれはこのエンティティに既にUSDアニメーションが関連付けられているためです Reality Composer Proによってこのコンポーネントが自動的に追加されデフォルトのアニメーションがアニメーションリストに表示されますインスペクタパネルの下部にあるボタンを選択して Animation Libraryコンポーネントを手動で追加することもできますを選択すると再生ボタンを使用してこのアニメーションをプレビューできますまたははさみアイコンを使用して複数のクリップに分割できますこのアニメーションは少し長いので 2つのクリップに分割しましょう短縮した前半と後半のアニメーションを続けて再生しますそのためには再生ヘッドをドラッグしてスライスしたい最初の位置まで動かします次にはさみアイコンをクリックします 2つのクリップが作成されますもう1か所スライスして最後の部分だけを使用しますもう一度再生ヘッドをドラッグして 2番目のスライス位置まで移動しますはさみアイコンをクリックします
これで2つのクリップを続けて再生できるようになりました 2つのクリップの名前を「startWalk」と「endWalk」に変更します
次に RobotMoveタイムラインを選択しますこれらのアニメーションが続けて再生されるように並べましょう Aanimationアクションをタイムラインまでドラッグします
このアクションのターゲットをロボットにするためを選択した後階層ツリーでロボットを選択します次にをクリップに設定します
2つ目のクリップ用として別のAnimation アクションをタイムラインまでドラッグします
このアニメーションは最初のアニメーションの直後に実行しますこのアクションもターゲットをロボットに設定します
をendWalkクリップに設定します
アニメーションの実行中音声クリップも同時に再生しようと思いますそのためには Audio Libraryコンポーネントと既にプロジェクトに追加してある音声ファイルを使用します階層ツリーでロボットを選択しましょうインスペクタパネルのボタンを選択して新しいコンポーネントを追加しますリストから Audio Libraryコンポーネントを選択します
ボタンをタップして
必要な音声ファイルを見つけますここでは2つの音声ファイルを追加しますロボットの方向転換時の音声と移動する時の音声です
RobotMoveタイムラインに戻って音声アクションを実行するタイミングを設定しましょう Play Audioアクションをタイムラインにドラッグしますロボットが音声を発するようにしたいのでとしてロボットを選択します先ほど追加した歩行用のオーディオクリップを再生するためオーディオリソースとして歩行用音声を設定しますさらにこのオーディオアクションをドラッグして歩行アニメーションと同時に再生されるようにします
では再生してみましょう
アニメーションと音声が一緒に再生されましたこれで RobotMoveタイムラインを MoveToPoppyタイムラインで使用する準備が整いました MoveToPoppyタイムラインを選択しましょう次に RobotMoveタイムラインを右クリックしてオプションを選択します RobotMoveタイムラインが MoveToPoppyタイムラインに挿入されますこれでタイムラインが別のタイムライン内で再生されるようになりましたネスト化されたこのタイムラインはドラッグしてどこにでも移動できます回転した直後にこのアニメーションが再生されるようにしましょう
さらに Transformアクションと組み合わせてこのアニメーションと変形が同時に発生するようにします Transformアクションの継続時間を変更しましょうアニメーションの開始から少し遅れて移動し始めアニメーション終了の少し前に移動を終えるようにします次にロボットが回転するときに再生する音声クリップを追加しましょう既定のアクションのリストから Play Audioアクションをドラッグし Spinアクションと同時に実行されるように配置しますロボットをエミッタとして設定し音声リソースとして回転用の音声を設定します
プレビューしてどのように再生されるか確認しましょう
素晴らしい！ロボットがポピーまで移動しアニメーションと音声が再生されましたタイムラインを作成しましたがこの再生をどのように開始するのでしょうか？ 2つの方法があります 1つはコードでRealityKit APIを使用しタイムラインのアニメーションリソースインスタンスで entity.playAnimationを呼び出す方法ですまたはReality Composer ProのUIを使用して新しいBehaviorsコンポーネントを追加しますこの場合コードを記述しなくてもタイムラインを起動して再生を開始できます Reality Composer Proを使用してタイムラインの再生を開始するにはタイムラインをトリガーさせるエンティティに Behaviorsコンポーネントを追加する必要がありますタイムラインの再生を開始するために使用できるトリガーは数種類ありますタップ時衝突時シーンにエンティティが追加された時コードで通知が渡された時です Reality Composer Proに戻り植物へのタップジェスチャでタイムラインの実行が開始されるようにしましょうタップジェスチャを設定するにはまずタップする植物を選択しますここでは階層ツリーでポピーを選択します新しいコンポーネントを追加するためインスペクタパネルでボタンをタップし Behaviorsコンポーネントを選択します次にボタンをタップしてタップトリガーを選択しますユーザーのタップにポピーが反応するようにするためですポピー草をタップしたとき MoveToPoppyタイムラインの再生がトリガーされるようにしましょうリストから MoveToPoppyタイムラインを選択しますここでタップジェスチャに反応するよう RealityViewに指示する必要があります Xcodeを見てみましょう RealityViewでタップジェスチャを追加します
タップジェスチャが targetedToAnyEntityになりますポピーをタップして指を上げたとき渡された値からエンティティを取得しタップ動作をそのエンティティに適用しますつまり特定のエンティティをタップしたときここではポピーをタップしたとき Reality Composerで指定したタップ動作である MoveToPoppyタイムラインが適用されますこれをビルドして実行すれば動作を確認できますポピーをタップしてどうなるか見てみましょう
素晴らしい！ポピーをタップした時ロボットが向きを変えてその方向に移動しました最初のアニメーションを適切に作成しユーザーの入力に基づいて再生が開始されるようになりましたすごいですね！ 2つ目のアニメーションではロボットがポピーまで移動した後その花に手を伸ばすようにしましょうそのためには Notificationアクションを追加してそのNotificationアクションをコード内でリッスンします通知が発生したときロボットがポピーに手を伸ばすようにするためのカスタムコードを記述しますでは Reality Composer Proに戻って Notificationアクションを追加しましょう
既定のアクションリストから Notificationアクションをドラッグしてタイムラインの最後にドロップします
このNotificationアクションのターゲットとしてポピーを設定します次にこの通知の識別名として「ReachToPoppy」と入力します
この文字列は通知が発生したときに渡されます Reality Composer Proで通知を設定したのでこの通知をリッスンするコードを ImmersiveViewに追加しましょう XcodeのImmersiveViewで通知名「ReachToPoppy」を追加します次にこの通知のパブリッシャーを追加します
その後 onReceiveを使用して RealityViewでの通知の受信を処理します出力から通知を受け取った時ユーザー情報辞書からソースエンティティを取得できますさらにロボットがポピーに手を伸ばす動作を開始するためのコードを記述しますどのようなアニメーションにするかをご覧くださいポピー草の前まで移動したロボットがその花に手を伸ばします
そのためには RealityKitのフルボディインバースキネマティクスシステムを使用しますインバースキネマティクスではリグ付きスケルトン構造で運動方程式を使用し目的の位置に到達するためのジョイントの動きを決定します目的の位置と影響を受けるジョイントの制約を指定するとそこに到達するまでのジョイントの位置が自動的に計算されます例えば目的の位置まで手を動かす場合その位置へ到達するように肘の位置が自動的に調整されますこれを使用すればキャラクターの動きを自然に見せることができますここでは新しい Inverse Kinematics APIについて模式図を使用して説明しコードでの使用方法をご紹介しますまず IKRigをインスタンス化します IKRigはインバースキネマティクスソルバがどのように動作するかを定義します IKRigにモデルスケルトンとイテレーション回数などの設定を追加します同じエンティティでアニメーションを再生する場合そのアニメーションに重みを付加する必要があります IKの重みにより IKソルバは何をオーバーライドするかを判断します次に制約を追加します制約とはジョイントの動きに対する制限です制約を加えることでひじを外側に曲げるなどの不自然な動きを回避できます
次に定義したIKRigをもとに IKResourceを作成します IKResourceはIKソルバが処理で使用するランタイムデータです IKResourceからIKComponentを作成しそれをエンティティに追加します IKComponentをインスタンス化する時点でこのソルバを設定し実行時にフレームごとに更新できます
ここで重要なのは RealityKitのIKソルバはジョイント階層の一部だけでなくキャラクターの全身のスケルトンを同時に解決する点ですではインバースキネマティクスを使用してロボットが植物に手を伸ばすコードを記述しましょう
インバースキネマティクスソルバを設定するにはまず空のリグを初期化して modelSkeletonで渡します次にグローバルなリグ設定を更新します試行錯誤の結果 maxIterationsを30に設定し globalFkWeightを0.02に設定すると最もよいことがわかりましたその後リグのスケルトンでジョイント名を参照しますこの例ではロボットの腰胸手を動かして植物に手を伸ばすロボットのアニメーションが自然に見えるようにする必要があります
次にリグの制約を定義しますここでは 2つの親制約と 1つの点制約を設定します親制約はジョイントの位置と向きを制限します点制約はジョイントの位置を制限します次にこのリグを含むリソースを作成し指定したリソースを含む IKComponentを追加しますフレームごとにIKターゲットを更新するためシーンでエンティティを見つけてそれを配置します
まず手を伸ばしたときの位置を取得しますこの位置は IKComponentが追加されているエンティティを基準にする必要があります reachPositionのx、y、zの位置を変更してフレームごとにわずかに異なるようにします
左手の制約もフレームごとに更新する必要がありますそのためエンティティから IKComponentを取得します左手のターゲットの移動と左手の位置を設定します値0は IKによる制約への影響がないことを意味します値1は制約に対して IKが完全に影響することを意味します
IKの開始時および終了時にロボットの腕をスムーズにアニメーションさせるため位置がIKによってどの程度動かされるかそして時間の経過とともに基準ポーズによってどの程度動かされるかの重みを徐々に増減させますその後更新した値を IKComponentにコミットします
コードを実行してみましょう
いいですねアニメーションの目標を達成しましたロボットが手を伸ばした後パーティクルエフェクトを使用して花に水をやります花への水やりが終わったのでロボットを開始位置に戻しましょうそのためには Animationアクションを使用します Animationアクションを使用するとアクションが発生するタイミングを設定しそのシーケンスを特定の時間にわたって作成できますゲームのカットシーンのアニメーションに似ていますが Animationアクションではこれをリアルタイムで行えますよくある使用例の1つにキャラクターが歩くときのフットフォールイベントがありますキャラクターの足が地面に着くたびに音を鳴らします Animationアクションを使用しプラットフォームの中央までロボットを戻しましょう
アクションのAPIには組み込みとカスタムがあります組み込みアクションは複数の既定のアクションで構成され簡単に設定できます SpinActionやPlayAnimationAction などがありますこれらは Reality Composer Proのタイムライン機能の基盤となるAPIです組み込みアクション以外が必要な場合はカスタムアクションを使用できます独自のアクションをコードで記述しタイムラインで同期させることができます組み込みアクションAPIを使用するにはまず組み込みアクションを使用するエンティティのアニメーション定義を作成します次にその定義からアニメーションリソースを作成します同時に再生するアニメーションリソースをグループ化してそれらを再生する順序に並べます最後にエンティティで playAnimationを呼び出しますこれをコードで行う方法を確認しましょう
それぞれロジックを含む複数のメソッドがありますこれらはロボットを回転移動位置調整するためのアニメーションを定義しアニメーションリソースを返しますこれらのアニメーションリソースインスタンスのロジックは既存のRealityKit APIを使用して定義されていますアニメーションのシーケンスを作成します先頭から RotateAnimation WalkAndMoveAnimation AlignAtHomeAction RobotTravelHomeCompleteAction の順になります次に既存のplayAnimation APIを使用してこれらのアニメーションをこの順序で再生します
カスタムアクションの場合まず EntityActionに準拠した独自のプロトコルを作成します次にそれをもとに makeActionAnimation APIを使用して AnimationResourceを作成しますさらにそのAnimationResourceを他とグループ化しますまたは特定の順序で実行されるように並べます
最後にエンティティで Play Animationを呼び出しますこれで実行時にカスタムアクションの開始イベントと終了イベントをサブスクライブできます
これらのステップをコードで確認し植物への水やりを終えたロボットが開始位置に戻るようにしましょう RobotMoveToHomeCompleteという名前のカスタムアクションを作成しますこれを使用して move-to-home手順の完了時に通知されるようにします次に RobotMoveToHomeComplete EntityActionのインスタンスを作成します makeActionAnimation APIを使用してそこからAnimationResourceを生成します
注目すべき点はカスタムアクションを使用して複数のアニメーションをシーケンス処理したりグループ化したりできることですここではアニメーションが1つだけなのでシーケンス処理は行いません
次に playAnimation APIを使用して AnimationResourceを再生します
EntityActionの開始イベントをサブスクライブしますこのアクションが開始された時点でサブスクリプションクロージャが呼び出されます開始イベントが発生するとロボットが目的地に到着したことがわかります再生コントローラを停止してアニメーションを終了しますさらに RobotMoveToHomeComplete EntityActionの終了イベントもサブスクライブしますクロージャが呼び出されたらロボットを.arrivedHome状態に遷移させます
ではこのアニメーションシーケンスを実行してみましょう
いいですね順調に進んでいます
次は植物のアニメーションに注目しましょうここではブレンドシェイプアニメーションを使用しますブレンドシェイプを使用すると別のポーズへスムーズに遷移しリアルな動きを表現することができます例えばキャラクターの顔や身体をアニメーション化するため異なる一連のシェイプをブレンドするときなどに使用されますここではしおれた植物が元気になる様子またはその逆の様子をアニメーション化します
ブレンドシェイプアニメーションAPIは BlendShapeWeightsMapping BlendShapeWeightsComponent およびアニメーションを手続き的に実行する方法と USDで実行する方法で構成されます BlendShapeWeightsMappingではブレンドターゲットに関連付ける重みを設定できますエンティティでブレンドターゲットを設定し各ターゲットにそれぞれ重みを関連付けることができます重みは0〜1で設定できますここではしおれた状態の植物に重み1 中間の状態に重み0.5 元気な状態に重み0を設定しますしおれた植物が元気になる様子をアニメーション化するため時間の経過と共に重み値を更新しますブレンドシェイプアニメーションAPIを使用するにはまず BlendShapeWeightsMapping を定義します次にこのマッピングから BlendShapeWeightsComponentを作成してそれをエンティティに追加します BlendShapeWeightsComponentをエンティティに追加した後はこのコンポーネントに重み値を照会していつでも更新することができますこれで FromToByまたはサンプリングされたブレンドシェイプアニメーションを手続き的に作成できるようになりました既存の RealityKit playAnimation APIを使用して USDブレンドシェイプアニメーションを再生することもできますコードでの作成手順を見ていきましょうまずエンティティ階層でモデルコンポーネントを含むモデルエンティティを見つけますそのメッシュリソースを取得しそこから BlendShapeWeightsMappingを作成します次にこのマッピングから BlendShapeWeightsComponentを作成します
実行時にブレンドの重みを更新するためエンティティから BlendShapeWeightsComponentを取得します
BlendShapeWeightsSetのコピーを取得しますこれでこのセットに重み値を割り当てることができます
BlendShapeWeightsSetの blendWeightIndexによってすべての重み値を更新します元気な状態の植物を示す「0」に設定しますここでは植物が元気な状態になるように設定しますここからしおれた状態に遷移させるためイージング関数を使用してこの値を徐々に増減します
その後新しい重み値を BlendShapeWeightsComponentに割り当てて有効にします
コードを実行してこれらの花を元気にしましょう
しおれていた花が元気を取り戻しましたここでもう1台のロボットが何をしているか見てみましょう
インバースキネマティクスによりロボットが蝶に手を伸ばしていますまた Animationアクションによって蝶が飛び回っていますこれらは Reality Composer Proでタイムラインを使用して作成されています蝶の位置を変更するカスタムコンポーネントも使用されていますロボットの頭部に注目すると蝶の飛ぶ方向を追っているのがわかりますこの動きを実現するには新しいスケルトンポーズAPIを使用します標準的なリグ付き3Dキャラクターは相互接続されたボーンからなるスケルトン構造になっています各ボーンはキャラクターまたはオブジェクトのそれぞれ異なる部分に対応します
キャラクターをアニメーション化するにはジョイントを回転させてオブジェクトにポーズを取らせ様々な位置に動かしますこの手法はキャラクターを歩かせたり走らせたりするときによく用いられます
スケルトンポーズAPIは新しい SkeletalPosesComponentを追加します RealityKitによって生成されるアニメーションを使用できますまたはインターフェイスを使用して実行時にスケルトンを変更できますその場合特定のジョイントについてプログラムで SkeletalPosesComponentに照会しトランスフォームを更新します
ここではスケルトンポーズAPIを使用してロボットのネックボーンを回転させ飛び回る蝶を見ているかのような動きを実現します
USDファイルから RealityKitにインポートされるスキンメッシュでは SkeletalPosesComponentが既にエンティティにアタッチされているので初期化する必要はありません SkeletalPosesComponentをエンティティから取得するだけです首関節の回転を更新しますこれはローカル空間であることに注意してくださいフレームごとに首の回転を更新するには RealityKitの更新関数からこのコードを呼び出します RealityKitはフレームごとに登録済みのすべてのシステムで更新関数を呼び出しますさらに更新した値をコンポーネントにコミットしますジョイントトランスフォーム全体または並行移動スケール回転のみを更新できます最大で毎フレーム更新できますコードを実行して飛び回る蝶を目で追うロボットの動作を確認しましょう
どうでしょうワクワクしませんか？
このセッションで取り上げた内容をまとめましょう
Reality Composer Proの Timeline機能を使用してタイムライン上にアクションを配置し初期化した後トリガーによって再生する方法を説明しました新しいフルボディインバースキネマティクスAPI を使用してロボットがオブジェクトに手を伸ばす動作を作成しました組み込みとカスタムのアクションを使用してアクションのシーケンスを作成しましたブレンドシェイプアニメーションを使用して異なる一連のシェイプをブレンドする方法を見てきましたジョイントを回転させてオブジェクトを様々な位置に配置してポーズ付けをしそれらをアニメーション化する方法を見ました
これらの他にも今年 Reality Composer Proには数々のエキサイティングな機能が追加されましたビデオドッキング iOSとmacOSへのデプロイ機能そして visionOS 環境オーサリングライティングなどです
これらのトピックについて詳しくは次のセッションをご覧ください「Enhance the immersion of media viewing in custom environments」「Discover RealityKit APIs for iOS, macOS and visionOS」これらの新機能はインタラクティブな 3Dコンテンツの作成に役立ちます今後皆さんが開発するアプリを楽しみにしていますありがとうございました WWDCをお楽しみください

// Setup IKComponent
import RealityKit

struct HeroRobotRuntimeComponent: Component {
        var rig = try? IKRig(for: modelSkeleton)
                
        rig.maxIterations = 30
        rig.globalFkWeight = 0.02
                
        let hipsJointName = "root/hips"
        let chestJointName = "root/hips/spine1/spine2/chest"
        let leftHandJointName = "root/hips/spine1/spine2/chest/…/L_arm3/L_arm4/L_arm5/L_wrist"

        rig.constraints = [
            .parent(named: "hips_constraint",
                    on: hipsJointName,
                    positionWeight: SIMD3(repeating: 90.0),
                    orientationWeight: SIMD3(repeating: 90.0)),
            .parent(named: "chest_constraint",
                    on: chestJointName,
                    positionWeight: SIMD3(repeating: 120.0),
                    orientationWeight: SIMD3(repeating: 120.0)),
            .point(named: "left_hand_constraint",
                   on: leftHandJointName,
                   positionWeight: SIMD3(repeating: 10.0))
                ]
                
        let resource = try? IKResource(rig: rig)                
        modelComponentEntity.components.set(IKComponent(resource: resource))
}

21:33 - Update IKComponent

// Update IKComponent
import RealityKit

struct HeroRobotRuntimeComponent: Component {
        guard let reachTarget = sceneRoot.findEntity(named: "reachTargetName") else {
            return
        }

        var reachPosition = reachTarget.position(relativeTo: entity)

        let time = sin(simTime)
        reachPosition.x += (20.0 + 50.0 * time)
        reachPosition.y += (40.0 + 30.0 * abs(time))
        reachPosition.z += (20.0 + 20.0 * abs(time))
  
       guard let ikComponent = modelComponentEntity.components[IKComponent.self] else {
           return
       }

       var reachPosition = reachTarget.position(relativeTo: entity)
       ...
       var leftHandConstraint = ikComponent.solvers.first?.constraints["left_hand_constraint"]
       leftHandConstraint?.target.translation = reachPosition

       // A blendValue = 0 means no influence on the constraint.
       // A blendValue = 1 means full influence on the constraint.
       var blendValue = isEnabled ? (time / totalBlendTime) : (1.0 - time / totalBlendTime)
       leftHandConstraint?.animationOverrideWeight.position = blendValue

       modelComponentEntity.components.set(ikComponent)
}

24:36 - Sequence and play animation actions

// Play Animation Actions
import RealityKit

struct HeroRobotRuntimeComponent: Component {
       let rotateAnimationResource = createRotateAnimationResource()
       let walkAndMoveAnimationGroup = createWalkAndMoveAnimationGroup()
       let alignAtHomeActionResource = createAlignAtHomeActionResource()
       let robotTravelHomeCompleteActionResource = createRobotTravelHomeCompleteAction()

       // Build a sequence of the rotate, move and align animations/actions to play.
       let moveHomeSequence = try? AnimationResource.sequence(with: [rotateAnimationResource,
                                                                    walkAndMoveAnimationGroup,
                                                                    alignAtHomeActionResource,
                                                       robotTravelHomeCompleteActionResource])
                            
       // Play the move-to-home sequence.
       _ = robotEntity.playAnimation(moveHomeSequence)
}

25:59 - Setup EntityActions

// Setup EntityActions
import RealityKit

struct HeroRobotRuntimeComponent: Component {
    struct RobotMoveToHomeComplete: EntityAction {
        var animatedValueType: (any AnimatableData.Type)? { nil }
    }

    let travelCompleteAction = RobotMoveToHomeComplete()

    let actionResource = try! AnimationResource.makeActionAnimation(for: travelCompleteAction,
                                                                    duration: 0.1)
    
    let _ = robotEntity.playAnimation(actionResource)
}

26:39 - EntityAction subscription

// EntityAction subscription
import RealityKit

struct HeroRobotRuntimeComponent: Component {
                  // Subscribe to know when the EntityAction has started.
                RobotMoveToHomeComplete.subscribe(to: .started) { event in
                    if event.playbackController.entity != nil {
                        event.playbackController.stop()
                    }
                }
  
                // Possible states of the robot.
                public enum HeroRobotState: String, Codable {
                    case available
                    …
                    case arrivedHome
                }

               // Subscribe to know when the EntityAction has ended.
                RobotMoveToHomeComplete.subscribe(to: .ended) { event in
                    if let robotEntity = event.playbackController.entity,
                    var component = robotEntity.components[HeroRobotRuntimeComponent.self] {
                       component.setState(newState:.arrivedHome)
                    }
                }
}

29:17 - Setup BlendshapeWeightsComponent

// Setup BlendShapeWeightsComponent
import RealityKit

struct HeroPlantComponent: Component, Codable {
        guard let modelComponentEntity = findModelComponentEntity(entity: entity),
              let modelComponent = modelComponentEntity.components[ModelComponent.self]
        else { return }

            let blendShapeWeightsMapping
               = BlendShapeWeightsMapping(meshResource: modelComponent.mesh)

            // Create the blend shape weights component.
            entity.components.set(BlendShapeWeightsComponent(weightsMapping:
                                                            blendShapeWeightsMapping))
}

29:38 - Update BlendshapeWeightsComponent

// Update BlendShapeWeightsComponent

struct HeroPlantComponent: Component, Codable {
        guard let component = entity.components[BlendShapeWeightsComponent.self]
        else { return }

        var blendWeightSet = blendShapeComponent.weightSet

        // Update the weights in the BlendShapeWeightsSet
        for weightIndex in 0..<blendWeightSet[blendWeightsIndex].weights.count {
            blendWeightSet[blendWeightsIndex].weights[weightIndex] = 0.0
        }

        // Assign the new weights to the blend shape component.
       for index in 0..<blendWeightSet.count {
            component?.weightSet[blendWeightsIndex].weights = blendWeightSet[index].weights
        }
}

32:01 - Setup and update Skeletal Poses

// Update Skeletal Poses
import RealityKit

struct StationaryRobotRuntimeComponent: Component {

        guard var component = entity.components[SkeletalPosesComponent.self] 
        else {
            return
        }
        
        let neckRotation = calculateRotation()

        component.poses.default?.jointTransforms[neckJointIndex].rotation = neckRotation
}

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

関連する章

リソース

関連ビデオ

WWDC24

WWDC23