USDによる3Dワークフローの作成

WWDCへようこそ

私の名前はDougです Nateと一緒にUniversal Scene Description USDが さまざまな 3Dワークフローに 対応できるか 見ていきたいと思います まずUSDとは何かを 少しお話しします USDの世界における エキサイティングな 開発状況を見て プレビューの驚くべき 新機能を紹介します クリエイティブな 3Dワークフローの 中心となります

USDとは ライブラリと ファイルフォーマットの セットで さまざまな利点の組立てで 交換や整理を可能にします シーン ショット バーチャル オブジェクトに変換します オブジェクトのキャプチャ アセット作成 レイアウト編集 共有やフィードバックの クイックサムネイルの レンダリングをします ARで使用するための USDZアセットを作成 USDの柔軟性は 拡張性があり 共同作業が 可能な3Dパイプラインの コア構成要素です USDは デジタルコンテンツ 制作ツールとの 統合が進み アセットやコンテンツの 制作方法をより多く 可能にする基盤技術です レンダー コラボレーション ゲーム AR 映画など すべてUSDが中心です USDはピクサーが 開発したもので 非常に複雑な映画の制作を 可能にする開発でした 数年前 AppleはPixarと USDZフォーマットを開発 USDを1つのファイルで利用 リッチなARコンテンツを 直接デバイスに 配信するためのものです USDベースの ワークフローは協調性が高く アセットの一部を 独立して作業させ その変更を他に 簡単に反映させることが できます 本質的に拡張可能な 設計でワークフローの 主要技術として急速に 普及しています 映画業界において 何十年もの 制作経験を 基に作られており ゲーム シミュレーション AR 製造 電子商取引などに 採用されています ピクサーは USDプロジェクトが 行ってきた共同制作の モデルを採用しています USD フォーラムは 活発で中心的な 貢献者が質問に答えます またAcademy Software Foundationの ワーキンググループが 定期的に会合を開き 関心のあるグループからの 意見を収集します 世の中に存在する他の フォーマットを高いレベルで 見てみましょう 最も基本的なフォーマットは .objで 単一の3Dモデルしか 含まれていないことが多く マテリアルの サポートが限られており アニメーションのサポートが ありません より近代的なフォーマットの 大きなグループがあります これらは通常 シーングラフに レイアウト可能な 複数のモデルを サポートし マテリアルや定義の サポートレベルも様々です 多くは独自のツールに 縛られています

USDは全てをサポートし より高い拡張性を 持つよう設計されています ピクサーは映画用に USD を開発しました オブジェクトを表現する 典型的なケースです またUSD は コラボレーションを特徴に 構築されており 多くのアーティストが互いに 邪魔することなく 1 つのシーンに 取り組むことができます USDZはUSDの アーカイブパッケージで 機能のほとんどを 継承しています 共有に最適化されており 1つのファイルにリッチな ARのやりとりに必要なすべての リソースを含めます USDはARコンテンツ用の USDZファイルの作成が可能 ARやEコマース向け USDZファイルの配信に 充実したパイプラインの フロントエンドでもあります オフラインレンダリング用の アセットも提供します 昨年 Reality Converterを リリースしました Reality Converterは USDファイル .obj alembicや その他の3Dフォーマットから 自己完結型のUSDZを 簡単に作成できる スタンドアローンの ユーティリティです Apple Developerサイトには アセットのバッチ処理を 自動化するためのコマンド ラインツールがあります AR配信フォーマットの USDZは 特定のApple デバイスを対象に オーサリングすることができ ユーザーに合わせた 体験を提供します USDのエコシステムは 急速に成長しています USDが提供する ルーツが成長していく 姿を見るのは とても楽しいです J-Cubeの「Multiverse」は 非破壊的なUSD編集の パワーをMacにもたらし 極めて高速なマルチ DCCワークフローと Multiverse USD Standalone Editorでの編集が 可能になり Metal Hydra Storm レンダラを 搭載しています Octaneレンダラは HoudiniのようなDCCに プラグインでき GPUの 超高速パワーを利用して USDファイルから直接画像を レンダリングします ZBrushは　USDのメッシュ データを直接扱うことで USDワークフローに スカルプトのパワーとなり またMaya は USD を さらに深く統合し VP2 ビューポートで USD Hydra レンダリングを直接使用可能 Maya 2022は USDを ネイティブにシームレスに 統合した初バージョンです ギガバイトのUSDデータを 数秒でロードし Mayaの ネイティブツールを使用し データを直接操作します USDデータは アトリビュートエディタと アウトライナーに統合 DCCは非破壊編集 バリアント コラボレーションなど USDのすべての利点を DCC内で実現しています AppleはAutodeskと協力し Blendshapeのサポートや USDZファイルでの テクスチャの直接使用など USDのインポートおよび エクスポート機能を 改善しました もちろんUSDは静的技術 ではありません Appleは Pixarをはじめとする USDコミュニティと 協力し 3Dコンテンツ制作の 最新機能に対する USDのサポートを 拡張・改善しています 昨年 Apple Nvidia Pixarは 物理シミュレーションに 必要なプロパティを 表現するスキーマを 共同開発しました スキーマはリアルタイムの ARの物理効果から ロボットや 映画のオフライン シミュレーションまで さまざまなプロパティを表現 これほどまでに幅広い支持を 得て USDのエコシステムに 多くの素晴らしいアップ デートが行われています USDのもう一つの重要な 機能がHydraです Hydraは 何百万もの オブジェクトをできるだけ 早く画面に表示するために 特別に設計された USDの 高性能で最新のレンダリング アーキテクチャです Hydra StormはUSDの オープンソースディストリ ビューションの中核です macOSのプレビューと Quick Lookに Metalによって加速された Hydra Stormレンダラが 搭載されることをお伝えでき 嬉しく思います これにより DCCを開くことなく 他のプラットフォームの Hydra Stormと 同じ方法でUSDファイルを 素早く見ることが できるようになります 複雑なプロダクション グレードのアセットを扱え いくつかの3Dシーン探索 ツールが組み込まれています

これはピクサーの 「トイ・ストーリー4」の レイアウトアセットで 骨董品のモールがプレビューで リアルタイムにレンダリング 数万個の個別オブジェクトと 約3400万個の トライアングルがあります プロダクション品質の アセットの好例であり レンダラだけでなく シーンナビゲーション ツールにとっても 大きな課題です

シーンを移動するとき 便利なように USDファイル 内のカメラは左の サムネイルビューに表示され クリックして移動できます 通常のカメラコントロールに 加えて ビュー内の オブジェクトをクリックして カメラをロック することもできます シーンの構成をより詳細に 把握するため アウト ライナーを追加し すべてのオブジェクト ノードを表示します ビューでオブジェクトを 選択するとオブジェクトが アウトライナーで ハイライトされます しかし この膨大なリストを 見ればわかるように このような複雑なシーンを 支援するため より優れたツールの 提供が必要でした そこでオブジェクトを名前で 検索する機能も追加しました 例えばシーン内のすべての ジュークボックスを検索し リストが表示され 順番にフォーカスを当てる

気になるものが 見つかったら それを別のUSDファイル として保存できます これを再びプレビューや Quick Lookで確認し Reality Composerで ARシーンに使用できます 先ほど紹介した機能に加えて プレビューでは USDアニメーションシーンを ムービーファイルに レンダリングしたり 現在のビューをアルファチャンネル付きの 画像にレンダリングしたり することができます ARについては プレビューはRealityKitの レンダリングエンジンで USDZファイルを表示します iOSのAR Quick Lookと 同じレンダラを 使用し デバイス上での 表示を確認するのに 適しています Pixar Animation Studiosと 協力して「Soul」や近日公開 予定の映画「Luca」などの 3D映画を制作するための 強力なGPUレンダラに MetalとM1 アクセラレーションの サポートを追加しました Pixar Animation Studiosは 2021年末までに USD Open Source プロジェクトを通じて Metalアクセラレーションの Hydra StormをAppに 統合できるようにします

それでは刺激的な USDツールが ワークフローでどのように 使われるかを見てみましょう Nateが案内します

ありがとう Doug USDを使って 現実世界の物体を撮影し それを3Dにする方法を ご紹介します 続いて編集を行い 豪華なフォトリアル 商品写真をUSDで レンダリングします 従来の3Dワークフローでは DCC間のデータ共有が煩雑 でミスが発生しやすかった ツールから別のツールへ データを移動するためには 長いインポートやエクス ポートの手順が必要です 伝統的なワークフロー も一方通行です パイプラインの最後の段階で しか全体のシーンを見れず 初期の段階では 彼らの貢献がどのように 使用されるかについての 情報が不足しています これに対しUSDでは 異なるツールを使って 並行して作業ができ 同じデータをネイティブに 扱うことができます 重要なのは すべてのデータが USDで表現されているため インポートとエクスポートの ステップが不要で共有が 自動的に行われることです USDワークフローは より迅速な反復 より良いコラボレーションを 可能にし 新しい可能性を開きます どこかで朝を迎えているので 朝食の時間だと 考えることができます パンケーキを作ってみます 全体的なシーンの イメージを描いてみましょう

いくつかのコンセプト カメラアングル レイアウトを絵コンテで 描いてみましたが これが一番気に入りました このスケッチを現実のものへ USDをどのように使用 するか見てみましょう USDを使っているので シーンをいくつかの別々の ファイルにアレンジできます 各ファイルは モデルのレイアウト ジオメトリのスカルプト アニメーションや ライティングなどシーンの ある側面に貢献します これらのファイルはすべて メインシーンにリンクします これは何人もの人や ツールが参加できる USDのコア機能です 同じシーンで同時に コラボすることができます まずテーブルを用意します AutodeskのMayaを使って 全体のシーンを構成します レイアウトデータ保存のため USDファイルが必要です ここでは すべてのアセットを組立て シーンに配置します

カメラの動きも かっこよくしたいので カメラアニメーション用の USDファイルを追加します

パンケーキの3Dモデルを 作成するために 実際の パンケーキにObject Captureを使用します モデルをキャプチャした後は PixologicのZBrushを使用し クリーンアップと 拡張を行います ここでは このデータが保存 されるシーンにスカルプト用 USDファイルを追加します パンケーキにはシロップが 欠かせません SideFX Houdiniの流体 シミュレーション機能と USDネイティブサポートを 利用して バーチャルな シロップを作っています

最後にHoudiniを使って シーンにバーチャルライトを 追加します

これらがどのように組み合わ されるのか もう少し詳しく 見てみましょう

まずObject Captureを使って 本物のパンケーキから 3Dモデルを作成します さまざまな角度から 撮影した一連の 写真を使って パンケーキの3Dメッシュと 表面素材を構築します

このモデルを取得すると プレビューで確認できます キャプチャしたモデルの テクスチャありとなしの 内訳は以下の通りです これをベースにして後に ZBrushで編集するスカルプト 用のUSDを作成します

パンケーキをキャプチャして いる間に Mayaを使用して すべてのデータを格納する USD ファイルの 初期セットを作成します

Maya 2022では USDが ネイティブにサポートされ このようなセットアップを 簡単に行うことができます

ファイルを設定して キャプチャしたパンケーキを リンクしたら あとは レイアウトをするだけです ここではシーンを構成する 小道具のいくつかを 組み立てました あと少しだけ 調整をします

これがレイアウトを 終えた後の シーンの内訳です オブジェクトキャプチャーは 素晴らしい結果となりますが パンケーキのすべての角度を キャプチャーすることは できませんでした ZBrushに取り込んで デジタル処理を 施してみましょう

ZBrushを使って 撮影時に皿の上に 置かれていたパンケーキの 底の部分に 欠けていた ジオメトリを ペイントします さらに モデルに物理的な ディテールを追加したり 表面素材を 改良したり することもできます これらの編集は 先程の sculpting.usdファイルで 行われています メインシーンは ファイルを参照しているので 更新が行われるとチームの 全員がこのファイルを 受け取ります

Object Captureもいいですが モデルにディテールと ポリッシュを追加して ZBrushで改善が見れます すでに美味しそうに 見えますが もう少しだけ甘くしても いいかもしれませんね このタスクでは パンケーキをHoudiniに 取り込み バーチャルなシロップと 照明を加えていきます

Houdiniでは すべてのUSD ファイルをネイティブデータ として直接読み込めます Houdiniには あらゆる種類のエフェクトを 生成する強力な プロシージャルツールがあり それを使ってパンケーキ上に バーチャルシロップを かけることができます

Maya ZBrush Houdiniを 駆使したシーンは こんな感じです すべてが揃いました あとは共有 するだけです

USDを使っているので たくさんの選択肢があります USDZファイルを作成して iOSのAR Quick Lookを 使い拡張現実でシーンを 共有することができます MacではDougが以前デモ したプレビューの新しい 内蔵機能を使うことが できます またスタジオレベルの 写真のようにリアルな映像を 作ることもできます

まずパンケーキを ARに登場させます Reality Composerでは USDシーンを読み込んで 最終調整を行い AR対応の USDZファイルとして 保存することができます

iPad Proに読み込ませて 見てみましょう

USDZファイルをタップして AR Quick Lookが開きます

数秒で ARのパンケーキが できました おいしそうですね

次にMacのプレビューで シーンを確認してみましょう シーンをナビゲートして オブジェクト検査 アセット 選択しエクスポートを共有 すべてがUSDのままです

最後にOTOYのOctaneで オフラインでパストレース されたシーンのレンダリング をして動画を作成します 照明やマテリアルを 調整するために行った変更は ARで共有したり プレビューで確認することが できます USDがそれを可能にします スケッチから現実へ USDといくつかの 素晴らしいツールのおかげで 本物のパンケーキを バーチャルな朝食にしました

USDを使い 刺激的で複雑な 3Dシーンやアセットを 作成する方法を ご紹介しましたが いかがでしたでしょうか これらの ソフトウェアベンダーは 自社製品に積極的にUSDを 取り入れていますので ぜひ最新のものを入手して USDの世界を 楽しんでみてください Object Captureの詳細は 今年のWWDCの セッションをご覧ください Appleプラットフォーム上の USDの講演もあります 昨年のカンファレンスでの "USDの新機能" セッションをご覧ください ありがとうございました [音楽]