ARKit 4の紹介

iPadOSのARKit 4では、新しいDepth APIが導入されたことで、iPad ProのLiDARスキャナで収集された高精度な深度情報にアクセスする新しい方法が加わりました。ロケーションアンカーでは、Appleマップの高解像度データを利用することで、iPhoneやiPadのAppで、世界の特定の地点にAR体験を配置することができるようになりました。また、Apple Neural Engineとフロントカメラを備えたすべてのデバイスでフェイストラッキングが利用できるようになり、より多くのユーザーが写真やビデオでARの楽しさを体験することができるようになります。

Depth API

LiDARスキャナに内蔵された高度なシーン認識機能により、周囲の環境についての深度情報がピクセル単位で利用可能になります。この深度情報を、シーンジオメトリによって生成された3Dメッシュデータと合成することで、バーチャルオブジェクトを瞬時に配置して、周囲の物理的な環境とシームレスに溶け込ませることで、よりリアルなバーチャルオブジェクトオクルージョンを実現できます。これにより、さらに精密な測定をしたり、ユーザーの環境にエフェクトを適用するといった、新しい機能をAppに搭載できるようになります。

Depth APIは、LiDARスキャナが搭載されたデバイス専用です(iPad Pro 11インチ(第2世代)およびiPad Pro 12.9インチ(第4世代))。

ロケーションアンカー

街中や名所のそばなど、特定の場所にAR体験を配置しましょう。ロケーションアンカーを使用すると、緯度、経度、高度を指定してAR作品を配置することができます。ユーザーは、カメラのレンズを通して実物を見ている感覚で、バーチャルオブジェクトの周りを歩いたり、様々な角度から眺めたりすることができます。

iPhone XS、iPhone XS Max、iPhone XR以降の機種に対応しており、特定の都市でのみ利用できます。

フェイストラッキングの対応拡大

フェイストラッキング対応は、新しいiPhone SEを含め、A12 Bionicチップ以降を搭載したすべてのデバイスのフロントカメラで利用できるようになりました。これにより、より広範囲なユーザーにフロントカメラを用いたAR体験を楽しんでいただけます。TrueDepthカメラで同時に最大3人の顔をトラッキングすることが可能になり、ミー文字やSnapchatのようなフロントカメラを利用した体験をさらにパワーアップさせることができます。

ARKitの機能の詳細

シーンジオメトリ

周囲のスペースの地形図を作成し、床、壁、天井、窓、ドア、座席などを認識してラベルを付けることができますこのように現実世界を深く認識することによって、仮想オブジェクトに対しオブジェクトオクルージョンや現実世界の物理シミュレーションの適用が可能になり、ARのワークフローを強化するための情報をより多く入手することができます。

インスタントAR

iPad ProのLiDARスキャナを使えば、平面を驚くほど素早く検出でき、スキャンなしでARオブジェクトを現実世界にすみやかに配置することができます。このARでの即時のオブジェクト配置は、ARKitで構築されたすべてのAppに対して、iPad Pro上で自動的に有効になります。コードを変更する必要はありません。

ピープルオクルージョン

ARコンテンツが現実世界に実在する人の前や背後を通り過ぎるといったことを実現できます。これにより、AR体験がより臨場感あふれるものになり、ほとんどすべての環境でグリーンスクリーンのような効果を得ることも可能になります。iPad Proでは、ARKitで構築されたすべてのAppで深度測定の機能が向上します。コードを変更する必要はありません。

モーションキャプチャ

人の動きを1つのカメラを使ってリアルタイムにキャプチャできます。体の位置と動きを関節と骨の連続体として認識することで、動きと姿勢をAR体験のインプットとして使用し、ARの中心に人物を据えることができます。iPad Proでは、ARKitで構築されたすべてのAppで高度測定の機能が向上します。コードを変更する必要はありません。

フロントカメラとバックカメラの同時使用

フロントカメラとバックカメラでフェイストラッキングとワールドトラッキングを同時に使うことで、新しい可能性が広がります。たとえば、顔だけを使用して、バックカメラビューのARコンテンツを操作することが可能です。

複数のフェイストラッキング

ARKitのフェイストラッキングでは、iPhone X、iPhone XSiPhone XS Max、iPhone XRiPad Proに搭載されているTrueDepthカメラを使用して、同時に最大3人の顔をトラッキングできます。これにより、ミー文字やSnapchatのようなフロントカメラを利用した体験をさらにパワーアップさせることができます。

共同セッション

複数の人による共同セッションを通して、共同でワールドマップを作成することができます。これにより、AR体験の構築期間が短縮され、ユーザーはマルチプレイヤーゲームのような共有AR体験を簡単に得ることができます。

その他の改善点

最大100枚の画像を一度に検出して、画像内のオブジェクトの物理サイズを自動的に測定することができます。複雑な環境におけるオブジェクト認識能力が向上したため、3Dオブジェクトをより確実に検出できるようになりました。また、機械学習を使用することで、環境内の平面検出がこれまで以上に高速になりました。