RealityKit2

RealityKitは、写実的レンダリング、カメラエフェクト、アニメーション、物理シミュレーションなどが備わった、拡張現実専用に一から開発されたフレームワークです。ネイティブのSwift API、ARKitとの統合、驚くほどリアルな物理ベースのレンダリング、変換および骨格ベースのスケルタル アニメーション、空間オーディオ、剛体力学などにより、RealityKitがAR開発をこれまで以上に迅速かつ容易なものにします。

RealityKit 2の新機能

Object Capture

macOSの新しいObject Capture APIを使用すると、iPhoneまたはiPadから取り込んだ写真を、ARに最適化されたフォトリアルな3Dモデルに数分で変換することができます。Object Captureでは、iPhoneまたはiPadで撮影された複数の写真を、フォトグラメトリアルゴリズムによって3Dモデルに変換して、即座にAR Quick Lookで表示したり、Xcodeプロジェクトに組み込んだりすることが可能です。


もっと詳しく(英語)

カスタムシェーダ

RealityKitでは、リアルな物理ベースの素材、環境反射、地面に映る影、カメラノイズ、被写体ぶれなどを使用して、現実との区別がほとんどつかないほどに、バーチャルコンテンツを現実世界に溶け込ませることができます。RealityKit 2を使用すると、カスタムのレンダーターゲットと素材によってレンダリングのパイプラインをより詳細に制御できるため、ARオブジェクトやシーンの見た目や操作性をきめ細かく調整できます。

システムのカスタマイズ

独自のエンティティコンポーネントシステムを構築して、ARシーンのアセットを整理し、より複雑な機能をシステムレイヤに組み込むことができます。

ダイナミックアセット

アセットの読み込みをカスタマイズできるようにして、RealityKitベースの体験をより柔軟に形成することができます。たとえば、画像やメッシュをフレームごとに変えるようプログラムすることが可能です。

Character Controller

このパワフルなSwift APIを使用すると、RealityKitベースのゲームの中で、プレイヤーの操作に応じてジャンプしたり拡大/縮小したりするキャラクターを簡単に作成し、ユーザーがARの世界を動き回れるようにすることができます。

RealityKitの機能の詳細

オブジェクトオクルージョン

LiDARスキャナからの情報と、RealityKitによるエッジ検出機能を組み合わせることで、バーチャルオブジェクトが実世界の物理的な環境に自然に溶け込む形で動作したり表示されます。バーチャルオブジェクトを、テーブルの下や壁の背後、角の周りなどに配置すると、見えることが予想される部分のみが表示されます。これにより、物理的なオブジェクトとそれによって隠されるバーチャルオブジェクトの部分との境界線がクリアになります。

ビデオのテクスチャ

RealityKitのシーン内の任意の部分に、ビデオのテクスチャを追加できるようになりました。アニメーションのバーチャルテレビ画面にリッチビデオを追加して動画を再生したり、バーチャルキャラクターの表情を笑顔にしたりすることで、オブジェクトや表面、キャラクターをよりダイナミックにレンダリングすることが可能になりました。

Swift API

使いやすく、かつ驚くほどパワフルなRealityKitでは、Swiftの豊富な言語機能を活用して完全な機能セットが自動的に提供されています。そのためボイラープレートコードを使用することなく、AR体験をさらに短時間で構築できるようになります。

スケーラブルなパフォーマンス

最新のMetal機能を利用してGPUの性能を最大限に引き出すRealityKitでは、CPUキャッシュやマルチコアをフル活用して、驚くほど滑らかな映像や物理シミュレーションを実現することができます。また、各iPhoneやiPadに応じてAR体験のパフォーマンスを自動的にスケールするため、1つのAR体験を構築するだけで済みます。

共有可能なAR体験

安定した接続状態の維持、ネットワークトラフィックの最適化、パケットロスへの対応、オーナーシップの移行といったネットワーク関連の面倒な作業はRealityKitで処理されるため、共有可能なAR体験の開発が簡素化されます。