RealityKit

RealityKitは、写実的レンダリング、カメラエフェクト、アニメーション、物理シミュレーションなどが備わった、拡張現実専用に一から開発されたフレームワークです。ネイティブのSwift API、ARKitとの統合、驚くほどリアルな物理ベースのレンダリング、変換およびスケルタルのアニメーション、空間オーディオ、剛体力学などにより、RealityKitはAR開発をこれまで以上に迅速かつ容易なものにします。

新機能

RealityKit 4を使うと、iOS、iPadOS、macOS、visionOS向けのAR体験を一度に構築できます。

RealityKit 4は、iPhone、iPad、Mac、Apple Vision Proに対応した豊富な機能セットを備えています。Apple Vision Proとともにリリースされた新しいツールであるReality Composer Proを使うと、これらすべてのプラットフォームで空間アプリを開発することができます。MaterialX、ポータル、パーティクル、その他多数の機能を用いて構築されたシェーダを、4つすべてのプラットフォームのRealityViewで使用できるようになりました。これには、マテリアル、シェーダベースのホバーエフェクト、バーチャルライティングを追加するためのAPIに加え、ブレンドシェイプ、インバースキネマティクス、スケルトンポーズ、アニメーションタイムラインなど、キャラクターのアニメーション機能を拡張する新機能が含まれます。

RealityKit 4では、下位レベルのメッシュとテクスチャ向けの新しいAPIを使用し、Metalコンピュートシェーダと連携することで、レンダリングへのより直接的なアクセスも可能になります。また、Xcodeビューのデバッグで3Dシーンコンテンツの検査がサポートされるようになったため、RealityKitコンテンツの検査とデバッグがこれまで以上に簡単になりました。

Object Capture

macOSの新しいObject Capture APIを使用すると、iPhoneまたはiPadから取り込んだ写真を、ARに最適化されたフォトリアルな3Dモデルに数分で*変換することができます。Object Captureでは、iPhoneまたはiPadで撮影された複数の写真を、フォトグラメトリ（写真測量）アルゴリズムによって3Dモデルに変換して、即座にAR Quick Lookで表示したり、Xcodeプロジェクトに組み込んだりすることが可能です。


さらに詳しく

カスタムシェーダ

RealityKitでは、リアルな物理ベースの素材、環境反射、地面に映る影、カメラノイズ、被写体ぶれなどを使用して、現実との区別がほとんどつかないほどに、バーチャルコンテンツを現実世界に溶け込ませることができます。RealityKitを使用すると、カスタムのレンダーターゲットと素材によってレンダリングのパイプラインをより詳細に制御できるため、ARオブジェクトやシーンの見た目や操作性をきめ細かく調整できます。

システムのカスタマイズ

独自のエンティティコンポーネントシステムを構築して、ARシーンのアセットを整理し、より複雑な機能をシステムレイヤに組み込むことができます。

オブジェクトオクルージョン

LiDARスキャナからの情報と、RealityKitによるエッジ検出機能を組み合わせることで、バーチャルオブジェクトが実世界の物理的な環境に自然に溶け込む形で動作したり表示されます。バーチャルオブジェクトを、テーブルの下や壁の背後、角の周りなどに配置すると、見えることが予想される部分のみが表示されます。これにより、物理的なオブジェクトとそれによって隠されるバーチャルオブジェクトの部分との境界線がクリアになります。

ビデオのテクスチャ

RealityKitのシーン内の任意の部分に、ビデオのテクスチャを追加できるようになりました。アニメーションのバーチャルテレビ画面でさまざまな動画を再生したり、バーチャルキャラクターの表情を笑顔にしたりすることで、オブジェクトや表面、キャラクターをより生き生きとレンダリングできます。

Swift API

使いやすく、同時に驚くほどパワフルなRealityKitでは、Swiftの豊富な言語機能を活用した完全な機能セットが自動的に提供されます。そのためボイラープレートコードを使用することなく、AR体験をさらに短時間で構築できるようになります。

ダイナミックアセット

アセットの読み込みをカスタマイズできるようにして、RealityKitベースの体験をより柔軟に形成することができます。たとえば、画像やメッシュをフレームごとに変えるようプログラムすることが可能です。

Character Controller

このパワフルなSwift APIを使用して、プレイヤーが操作するキャラクターを簡単に作成すれば、ユーザーは創作されたARの世界とRealityKitベースのゲームの中でキャラクターをジャンプさせたり拡大／縮小したりしながら、冒険を自在に楽しむことができます。

スケーラブルなパフォーマンス

最新のMetal機能を利用してGPUの性能を最大限に引き出すRealityKitでは、CPUキャッシュやマルチコアをフル活用して、驚くほど滑らかな映像や物理シミュレーションを実現することができます。また、各iPhoneやiPadに応じてAR体験のパフォーマンスが自動的にスケーリングされるため、1つのAR体験を構築するだけで済みます。

共有可能なAR体験

安定した接続状態の維持、ネットワークトラフィックの最適化、パケットロスへの対応、オーナーシップの移行といったネットワーク関連の面倒な作業はRealityKitで処理されるため、共有可能なAR体験の開発が簡素化されます。