ARKit 4 简介

ARKit 4 推出了全新的景深 API,创造了一种新的方式来访问由 iPhone 12 Pro、iPhone 12 Pro MaxiPad Pro 上的激光雷达扫描仪收集的详细深度信息。位置锚定功能利用 Apple 地图中更高分辨率的数据,让您的 iPhone 和 iPad app 可以将增强现实体验放置在世界上的特定地点。此外,对面部追踪的支持已扩展到所有配备 Apple 神经网络引擎和前置摄像头的设备,让更多用户能在照片和视频中体验到增强现实的乐趣。

景深 API

激光雷达扫描仪中内置了先进的场景理解功能,以助此 API 使用关于周围环境的逐像素深度信息。通过将这种深度信息与由场景几何结构感测生成的 3D 网格数据相结合,您能在 app 中即时放置虚拟物体,并将它们无缝相融到现实环境中,让虚拟物体的遮挡显得更加真实。这将有助于您在 app 中推出相关新功能,比如进行更精确的测量,或对用户的环境应用某些效果。

景深 API 专用于配备激光雷达扫描仪的设备:包括 (11 英寸 iPad Pro (第二代)、12.9 英寸 iPad Pro (第四代)、iPhone 12 Pro、以及 iPhone 12 Pro Max)。

位置锚定

在特定的地点放置增强现实体验,例如在整个城市各处放置,或放置在著名的地标旁。位置锚定功还能让您将自己的增强现实作品锚定在特定的纬度、经度和海拔坐标处。用户可以绕着虚拟物体移动,从不同的角度观察它们,就像通过相机镜头观察现实物体一样。

需要使用 iPhone XS、iPhone XS Max、iPhone XR 或更新机型。仅在部分城市提供。

扩展的面部追踪支持

在配备 A12 仿生及更新版本芯片的设备上,包括 iPhone SE,面部追踪支持现已扩展至前置摄像头,让更多用户能通过前置摄像头体验到增强现实的乐趣。使用原深感摄像头能一次追踪最多三个面孔,让拟我表情和 Snapchat 等前置摄像头体验更有趣。

探索更多 ARKit 功能

场景几何结构感测

借助此功能,您可为您的空间创建拓扑图,并使用标签来标识地板、墙壁、天花板、窗户、门和座椅。这种对现实世界的深度理解能帮助您为虚拟对象实现物体遮挡的功能和现实世界的物理特效,同时为您提供更多的信息来支持增强现实工作流程。

即时增强现实

激光雷达扫描仪能够实现超快的平面检测——无需扫描,便可在现实世界中即时放置增强现实物品。在 iPhone 12 Pro、iPhone 12 Pro MaxiPad Pro 上,您无需更改任何代码,所有使用 ARKit 构建的 app 会自动支持即时增强现实物品放置功能。

人物遮挡

增强现实内容能够以逼真的方式从现实世界中的人物前后通过,带来更身临其境的增强现实体验,同时能在几乎任何环境中实现绿屏风格效果。在 iPhone 12、iPhone 12 ProiPad Pro 上,您无需更改任何代码,所有使用 ARKit 构建的 app 中的深度估计功能都会得到优化。

动作捕捉

用单个摄像头实时捕捉人物的动作。将身体姿态和动作化为一系列关节及骨骼活动,让您能在增强现实体验中输入运动和姿势,让人物成为增强现实体验的焦点。在 iPhone 12、iPhone 12 ProiPad Pro 上,您无需更改任何代码,所有使用 ARKit 构建的 app 中的高度估计功能都会得到优化。

同时使用前置和后置摄像头

您可以同时使用前置和后置摄像头来进行面部和现实场景追踪,开创更多新的可能。例如,用户可以仅使用自己的面部与后置摄像头视图中的增强现实内容进行交互。

多面部追踪

在所有配备 Apple 神经网络引擎和前置摄像头的设备上,ARKit 面部追踪功能都能一次追踪多达三张面孔,以提供拟我表情和 Snapchat 等增强现实体验。

协作会话

通过多人之间的实时协作会话,您可以构建一个协作的现实场景地图,加快增强现实体验的开发速度,用户也能更快地获得像多人游戏那样的共通增强现实体验。

更多改善

一次检测最多 100 张图像,并自动估计图像中对象的实际尺寸。3D 对象检测功能变得更强大,并能在复杂的环境中更好地识别对象。现在,使用机器学习技术可以更快地检测环境中的平面。