ARKit 4 소개

iPadOS의 ARKit 4에 새로운 Depth API가 도입되어 iPad Pro의 LiDAR 스캐너에서 수집한 자세한 심도 정보에 접근할 수 있는 새로운 방법을 제시합니다. Location Anchoring은 Apple Maps의 고해상도 데이터를 활용하여 iPhone 및 iPad 앱의 전 세계 특정 지점에 AR 경험을 구현할 수 있도록 지원합니다. 또한 얼굴 추적 기능에 대한 지원이 Apple Neural Engine와 전면 카메라가 탑재된 모든 기기로 확대되어 훨씬 더 많은 사용자가 사진 및 비디오를 통해 AR을 즐길 수 있습니다.

Depth API

이 API에서는 LiDAR 스캐너에 내장된 고급 장면 인식 기능을 통해 주변 환경에 대한 픽셀당 심도 정보를 사용할 수 있습니다. 이 심도 정보를 Scene Geometry에서 생성된 3D 메시 데이터와 결합하면 가상 물체를 즉각적으로 배치하고 이러한 물체를 실제 환경에 원활하게 혼합하여 가상의 사물 오클루전을 더 사실적으로 구현할 수 있습니다. 이를 통해 더 정밀한 측정 및 사용자 환경에 효과 적용 등 앱 내에서 새로운 기능을 구현할 수 있습니다.

Depth API는 LiDAR 스캐너가 장착된 기기(iPad Pro 11형(2세대) 및 iPad Pro 12.9형(4세대))에만 제공됩니다.

Location Anchors

도시 전체 및 유명 명소를 따라 AR 경험을 특정 위치에 구현할 수 있습니다. Location Anchoring을 통해 특정 위도, 경도 및 고도 좌표에 AR 창작물을 고정할 수 있습니다. 사용자는 카메라 렌즈를 통해 실제 물체를 보는 것처럼 가상 물체를 움직이고 다른 시각에서 확인할 수 있습니다.

iPhone XS, iPhone XS Max, iPhone XR 이상이 필요합니다. 일부 도시에서만 이용 가능합니다.

얼굴 추적 기능 지원 확대

Face Tracking에 대한 지원은 새로운 iPhone SE를 포함하여 A12 Bionic 칩 이상이 설치된 모든 기기의 전면 카메라로 확장되므로 훨씬 더 많은 사용자가 전면 카메라를 사용하여 AR 경험을 즐길 수 있습니다. TrueDepth 카메라를 사용하여 한 번에 최대 3명의 얼굴을 추적하면서 미모티콘 및 Snapchat과 같은 전면 카메라 경험을 지원합니다.

더 많은 ARKit 기능 살펴보기

Scene Geometry

Scene Geometry로 바닥, 벽, 천장, 창문, 문, 좌석을 식별하는 레이블을 사용하여 공간의 위치 인식 지도를 생성할 수 있습니다. 이처럼 실제 세계에 대한 심층적 이해를 통해 가상 물체에 대해 사물 오클루전 및 실제 물리적 요소를 구현하고 AR 작업 흐름을 구동하는 데 필요한 정보를 더 많이 얻을 수 있습니다.

즉각적인 AR

iPad Pro에서 LiDAR 스캐너는 놀랍도록 빠른 평면 감지가 가능하므로 AR 물체를 스캔 없이 현실 세계에 즉각적으로 배치할 수 있습니다. 즉각적인 AR 배치 기능은 iPad Pro에서 ARKit로 빌드한 모든 앱에 대해 자동으로 활성화되며, 코드를 변경할 필요가 없습니다.

인물 오클루전

AR 콘텐츠를 현실 세계에 있는 인물의 앞이나 뒤에 사실적으로 표시하면서 AR 경험을 더 몰입감 있게 만드는 동시에 대부분의 환경에서 '그린' 화면 스타일 효과를 적용할 수 있습니다. 깊이 추정은 별도의 코드 변경 없이 iPad Pro에서 ARKit로 빌드한 모든 앱에 대해 향상된 기능을 선보입니다.

모션 캡처

한 대의 카메라로 사람의 움직임을 실시간으로 캡처합니다. 몸의 위치와 움직임을 일련의 관절과 뼈로 파악하여 AR 경험에 동작과 자세를 입력하면서 AR의 중심에 인물을 배치할 수 있습니다. 높이 추정은 별도의 코드 변경 없이 iPad Pro에서 ARKit로 빌드한 모든 앱에 대해 향상된 기능을 선보입니다.

전후면 카메라 동시 지원

전면 카메라와 후면 카메라로 얼굴과 공간을 동시에 추적할 수 있어 새로운 가능성이 열립니다. 예를 들어 사용자는 자신의 얼굴만을 사용해 후면 카메라 뷰에 보이는 AR 콘텐츠와 상호 작용할 수 있습니다.

다중 얼굴 추적

ARKit 얼굴 추적 기능은 iPhone X, iPhone XS, iPhone XS Max, iPhone XRiPad Pro의 TrueDepth 카메라를 사용해 한 번에 최대 3명의 얼굴을 추적하면서 미모티콘 및 Snapchat과 같은 전면 카메라 경험을 지원합니다.

협업 세션

여러 사람들과의 실시간 협업 세션을 사용하여 공동으로 AR 앱을 제작할 수 있으므로 AR 경험을 더욱 빠르게 개발하고 사용자들이 공유 AR 경험을 멀티 플레이어 게임처럼 즐기게 할 수 있습니다.

추가 개선 사항

한 번에 최대 100개의 이미지를 인식하고 해당 이미지에 있는 물체의 실제 크기를 자동으로 추정합니다. 복잡한 환경의 물체 인식이 개선되면서 3D 물체 인식이 더 강력해졌습니다. 이제 머신 러닝을 사용하여 환경에서 더욱 빠르게 평면을 감지할 수 있습니다.