ARKit 4の紹介

ARKit 4では、最新のDepth APIの導入により、iPhone 12 Pro、iPhone 12 Pro Max、iPad ProのLiDARスキャナで収集された高精度な深度情報にアクセスする新しい方法が加わりました。Appleマップの高解像度データを利用するロケーションアンカーによって、iPhoneやiPadのApp上で世界の特定地点にAR体験を配置することができます。また、Apple Neural Engineとフロントカメラを備えたすべてのデバイスでフェイストラッキングが利用可能になり、より多くのユーザーが写真やビデオでARの楽しさを体験できるようになりました。

Depth API

LiDARスキャナに内蔵された高度なシーン認識機能により、周囲の環境についての深度情報がピクセル単位で利用可能になります。この深度情報を、シーンジオメトリによって生成された3Dメッシュデータと合成することで、バーチャルオブジェクトを瞬時に配置して、周囲の物理的な環境とシームレスに溶け込ませることで、よりリアルなバーチャルオブジェクトオクルージョンを実現できます。これにより、さらに精密な測定をしたり、ユーザーの環境にエフェクトを適用するといった、新しい機能をAppに搭載できるようになります。

Depth APIは、LiDARスキャナが搭載されたデバイス専用です(iPad Pro 11インチ(第2世代)、iPad Pro 12.9インチ(第4世代)、iPhone 12 Pro、iPhone 12 Pro Max)。

ロケーションアンカー

街中や人気スポットの周辺など、特定の場所にAR体験を配置しましょう。ロケーションアンカーを使用すると、緯度、経度、高度を指定してAR作品を配置することができます。ユーザーは、カメラのレンズを通して、実物を見るような感覚でバーチャルオブジェクトの周りを歩いたり、様々な角度から眺めたりすることができます。

iPhone XS、iPhone XS Max、iPhone XR以降の機種に対応しており、特定の都市でのみ利用できます。

フェイストラッキングの対応拡大

フェイストラッキングは、iPhone SEを含め、A12 Bionicチップ以降を搭載したすべてのデバイスのフロントカメラで利用できるようになりました。これにより、より多くのユーザーにフロントカメラを使ったAR体験を楽しんでいただけます。TrueDepthカメラで同時に最大3人の顔をトラッキングすることが可能になり、ミー文字やSnapchatのようなフロントカメラを利用した体験をさらに充実させることができます。

ARKitの機能の詳細

シーンジオメトリ

周囲のスペースの地形図を作成し、床、壁、天井、窓、ドア、座席などを認識してラベルを付けることができますこのように現実世界への認識を深めることで、仮想オブジェクトに対するオブジェクトオクルージョンや現実世界の物理シミュレーションの適用が可能になり、ARのワークフローを充実させるための情報をより多く得られます。

インスタントAR

LiDARスキャナを使えば、平面を非常に素早く検出でき、スキャンせずにARオブジェクトを現実世界に即時に配置できます。このARでの即時のオブジェクト配置は、ARKitで構築されたすべてのAppに対して、iPhone 12 Pro、iPhone 12 Pro Max、iPad Pro上で自動的に有効になります。コードを変更する必要はありません。

ピープルオクルージョン

ARコンテンツが現実世界に実在する人の前や背後を通り過ぎるといったことを実現できます。これにより、AR体験がより臨場感あふれるものになり、ほぼすべての環境でグリーンスクリーンのような効果を得ることができます。iPhone 12、iPhone 12 Pro、iPad Proでは、ARKitで構築されたすべてのAppで深度測定の機能が向上します。コードを変更する必要はありません。

モーションキャプチャ

単体のカメラで人の動きをリアルタイムにキャプチャできます。体の位置と動きを関節と骨の連続体として認識することで、動きと姿勢をAR体験のインプットとして使用し、人をARの中心に据えることができます。iPhone 12、iPhone 12 Pro、iPad Proでは、ARKitで構築されたすべてのAppで高度測定の機能が向上します。コードを変更する必要はありません。

フロントカメラとバックカメラの同時使用

フロントカメラとバックカメラでフェイストラッキングとワールドトラッキングを同時に使うことで、新しい可能性が広がります。たとえば、顔だけを使用して、バックカメラビューのARコンテンツを操作することが可能です。

複数のフェイストラッキング

ARKitのフェイストラッキングでは、Apple Neural Engineとフロントカメラを搭載したすべてのデバイスで同時に最大3人の顔をトラッキングでき、ミー文字やSnapchatのようなAR体験をさらに充実させることができます。

共同セッション

複数の人による共同セッションを通して、共同でワールドマップを作成することができます。これにより、AR体験の構築期間が短縮され、ユーザーはマルチプレイヤーゲームのような共有AR体験を簡単に得ることができます。

その他の改善点

最大100枚の画像を一度に検出して、画像内のオブジェクトの物理サイズを自動的に測定することができます。複雑な環境におけるオブジェクト認識能力が向上したため、3Dオブジェクトをより確実に検出できるようになりました。また、機械学習を使用することで、環境内の平面検出がこれまで以上に高速になりました。