ARKit 4 简介

iPadOS 上的 ARKit 4 推出了全新的景深 API,创造了一种新的方式来访问由 iPad Pro 上的激光雷达扫描仪收集的详细深度信息。位置锚定功能利用 Apple 地图中更高分辨率的数据,能在您的 iPhone 和 iPad app 中将增强现实体验放置在世界的特定地方。此外,对面部跟踪的支持扩展到所有配备 Apple 神经网络引擎和前置摄像头的设备,让更多用户能在照片和视频中体验到增强现实的乐趣。

景深 API

激光雷达扫描仪中内置了先进的场景理解功能,这使得此 API 可以使用关于周围环境的逐像素深度信息。通过将这种深度信息与由 Scene Geometry 生成的 3D 网格数据相结合,可以实现即时放置虚拟物体,并将它们与现实环境无缝相融,从而使虚拟物体遮挡显得更加真实。这将有助您在自己的 app 中推出新功能,比如进行更精确的测量以及对用户的环境应用效果。

景深 API 专用于配备激光雷达扫描仪的设备 (11 英寸 iPad Pro (第二代) 以及 12.9 英寸 iPad Pro (第四代))。

位置锚点

在特定的地点放置增强现实体验,例如在整个城市中,以及在著名的地标旁。位置锚定功能让您可以将自己的增强现实作品锚定在特定的纬度、经度和海拔坐标处。用户可以绕着虚拟物体移动,从不同的角度观察它们,就像通过相机镜头观察现实物体一样。

适用于 iPhone XS、iPhone XS Max、iPhone XR 及更高版本。目前在特定城市可用。

扩展的面部跟踪支持

对面部跟踪的支持扩展到任何使用 A12 仿生芯片及以上的设备 (包括 iPhone SE)上的前置摄像头,现在有更多用户可享受前置镜头的增强现实体验了。使用原深感摄像头一次跟踪最多三个面孔来提供拟我表情和 Snapchat 等前置摄像头体验。

探索更多 ARKit 功能

Scene Geometry

让您可以创建空间的拓扑图,并用标签来标识地板、墙壁、天花板、窗户、门和座椅。这种对现实世界的深度理解让您可以为虚拟对象实现物体遮挡功能和现实世界的物理特效,同时为您提供更多的信息来支持增强现实工作流程。

即时增强现实

iPad Pro 上的激光雷达扫描仪能够实现超快的平面检测,从而无需扫描便可在现实世界中即时放置增强现实物品。在 iPad Pro 上,您无需更改任何代码,所有使用 ARKit 构建的 app 会自动启用即时增强现实物品放置功能。

People Occlusion

增强现实内容能够以逼真的方式从现实世界中的人物前后通过,带来更身临其境的增强现实体验,同时能在几乎任何环境中实现绿屏风格效果。在 iPad Pro 上,您无需更改任何代码,所有使用 ARKit 构建的 app 中的深度估计功能都会自动得到优化。

动作捕捉

用单个摄像头实时捕捉人物的动作。将身体姿态和动作化为一系列关节及骨骼活动,让您能在增强现实体验中输入运动和姿势,让人成为增强现实体验的中心。在 iPad Pro 上,您无需更改任何代码,所有使用 ARKit 构建的 app 中的高度估计功能都会自动得到优化。

同时使用前置和后置摄像头

您可以同时使用前置和后置摄像头来进行面部和现实场景跟踪,开创新的可能。例如,用户可以仅使用自己的面部与后置摄像头视图中的增强现实内容进行交互。

多面部跟踪

ARKit 面部跟踪可以一次跟踪最多三个面孔,使用 iPhone X、iPhone XSiPhone XS Max、iPhone XRiPad Pro 上的原深感摄像头来提供拟我表情和 Snapchat 等前置摄像头体验。

协作会话

通过多人之间的实时协作会话,您可以构建一个协作的现实场景地图,加快增强现实体验的开发速度,用户也能更快地获得像多人游戏那样的共通增强现实体验。

更多改善

一次检测最多 100 张图像,并自动估计图像中对象的实际尺寸。3D 对象检测功能变得更强大,可以在复杂的环境中更好地识别对象。现在,使用机器学习技术可以更快地检测环境中的平面。