visionOS 27의 새로운 기능

RealityKit을 활용하면 현실 세계와 완벽하게 통합되는 고품질의 상호작용형 공간 경험을 빌드할 수 있습니다. 올해, 다양하고 흥미로운 새 기능 덕분에 이러한 경험은 한층 더 강화됐습니다.

물리 공간 조명은 이제 가상 조명과 실제 환경을 결합해 가상 객체가 물리적 표면에 조명 효과를 주도록 할 수 있습니다. 새 Projective Textures API를 이에 결합하면 스포트라이트에 질감을 직접 더해 스테인드글라스에 비치거나 물 아래에 있는 듯한 효과를 그대로 표현합니다. 또한, RealityKit은 실시간 천 시뮬레이션을 도입합니다. 깃발, 커튼, 옷감 같은 패브릭을 생생하게 표현해, 움직임 및 사용자 상호작용에 따라 자연스럽게 반응하도록 하여 상호작용형 콘텐츠의 새로운 가능성을 열어 줍니다.

이러한 개선 사항은 시각 요소에만 국한되지 않습니다. Reverb Mesh API를 사용하면 주변 환경의 다양한 소재 전반에서 소리가 흡수되고 흩어지는 방식을 정확하게 모델링해 사실적인 공간 음향을 시뮬레이션할 수 있습니다. RealityKit은 이제 3D Gaussian Splats를 효율적으로 렌더링하므로 사진처럼 정확한 실물 스캔을 가상 경험에 통합할 수 있습니다.

앞서 소개한 다양한 기능을 함께 사용하면 실제 환경에 자연스럽게 반응하는 사실적인 조명, 소재, 물리, 오디오를 통해 가상 세계와 현실 세계를 완벽하게 통합하는 공간 경험을 빌드할 수 있는 도구가 됩니다.

Reality Composer Pro 3는 visionOS 및 iOS 전반의 게임과 앱을 위해 Mac에서 빠르고 쉽게 3D 콘텐츠를 반복하고, 미리 보며, 준비하도록 설계되었습니다. 화려한 장면과 애니메이션 캐릭터를 영화처럼 정밀하게 빌드해 보세요. 그리고 실시간 미리보기 기능을 활용하면 Apple Vision Pro의 Reality Composer Pro에 적용된 변경 사항을 즉시 확인할 수 있습니다.

Reality Composer Pro 3는 애셋 생성에 도움이 되는 Xcode와의 긴밀한 통합, 강력한 비주얼 스크립팅, 생성형 인텔리전스 그리고 디자이너, 아티스트, 엔지니어 모두에게 맞춤화된 워크플로를 통해 아이디어와 경험의 간극을 줄입니다. 소재를 바꿔 보고, 애니메이션을 수정하며, 레이아웃을 조정해 보세요. 그러면 기기에서 단 몇 초 만에 결과를 바로 확인할 수 있습니다.

RealityKit 및 SwiftUI 같은 네이티브 프레임워크는 visionOS와 가장 긴밀하게 통합되지만, Unity, Unreal, Godot 같은 다른 엔진에서 이미 게임을 빌드했다면 그 어느 때보다 쉽게 Apple Vision Pro로 가져올 수 있습니다.

Unity는 Apple Vision Pro 출시 이래로 visionOS를 지원해 왔습니다. 올해 새롭게 추가된 기능으로, visionOS는 이제 Unity 앱과 게임에서 공간 액세서리를 지원합니다. 이제 Sony PlayStation VR2 Sense 컨트롤러 같은 공간 액세서리로 정밀한 촉각 상호작용을 디자인할 수 있습니다.

또한, Godot에서 빌드한 게임을 visionOS에 가져올 수 있습니다. 이제 Godot은 완전 몰입형 경험을 위해 CompositorServices를 지원합니다. 새로운 RealityKit 렌더링 플러그인을 사용하면 윈도우와 볼륨으로 게임을 공유 공간에 가져올 수 있고, 새로운 PHASE 오디오 플러그인은 Apple의 오디오 프레임워크를 사용하여 공간 음향을 가능하게 합니다. visionOS의 Godot은 Sony Playstation VR2 Sense 컨트롤러도 지원합니다.

다른 게임 엔진을 사용할 때 ImmersiveSpace에 게임을 디스플레이하려면 visionOS 및 macOS 모두에서 CompositorServices API를 바로 도입하면 됩니다.

Mac 가상 디스플레이는 사용자의 작업 환경을 전환해 커다란 휴대용 비공개 디스플레이로 어디서든 Mac에서 작업하도록 지원합니다. 올해, 이 기능은 새로운 macOS Spatial Preview 프레임워크로 더욱 발전합니다. 이 프레임워크를 사용하면 Apple Vision Pro에서 바로 Mac의 공간 콘텐츠를 미리 보고 SharePlay를 통해 다른 사람들과 협업할 수 있습니다.

Spatial Preview 프레임워크는 Mac 앱을 visionOS의 훑어보기에 연결하므로 사용자가 즉시 공간 사진, Apple Immersive Video, 3D 콘텐츠를 미리 보고 업데이트하며, Apple Vision Pro에서 USD를 실시간으로 수정할 수 있습니다. 3D 장면 주변에서 자유롭게 움직이고, 콘텐츠를 더 효과적으로 배치하며, 조명 및 소재 재정의를 조정하고, 주석 기능을 활용해 피드백을 공유하세요. 이 모든 건 공간 환경 안에서 가능합니다.

visionOS 26.4에서 도입된 Foveated Streaming 프레임워크는 Apple Vision Pro에서 PC, 워크스테이션, 클라우드 서버 같은 로컬 및 클라우드 스트리밍 엔드포인트로의 연결을 구축하는 세션 기반 API를 제공합니다. 엔드포인트 호스트는 사용자가 보고 있는 대략적인 지역을 기반으로 필요할 때만 고품질의 콘텐츠를 스트리밍하므로 사용자의 개인정보를 보호하면서 성능을 보장합니다. OpenXR 애플리케이션 및 게임은 NVIDIA CloudXR™ SDK와 통합해 스트리밍 엔드포인트가 될 수 있습니다.

Apple Vision Pro에서 Foveated Streaming을 사용하면 앱에서 콘텐츠를 스트리밍하면서 visionOS 공간 콘텐츠를 표시할 수 있습니다. 예를 들어, 항공 시뮬레이터 앱은 RealityKit을 활용해 조종실을 렌더링하고 프로세서 집약적인 풍경을 원격 컴퓨터에서 기기로 스트리밍할 수 있습니다. 점진적 및 혼합 몰입형 스타일을 포함하여 ImmersiveSpace의 모든 기능을 사용할 수 있습니다. 양방향 메시지 채널 시스템을 사용하면 visionOS 앱에서 맞춤형 데이터를 스트리밍 엔드포인트와 교환해 앱이 네이티브 SwiftUI 인터페이스로 스트리밍된 콘텐츠를 구성하도록 지원할 수 있습니다.

visionOS 27은 사람들이 현실 세계에서 물체를 집고 물체와 상호작용할 때 즉시 반응하는 동적 경험을 가능하게 해 객체 추적 기능을 한 단계 더 발전시킵니다.

• 높은 프레임률 추적 기능을 사용하면 객체가 공간에서 움직일 때 앱에서 더욱 빈번하게 자세를 업데이트합니다. Create ML의 확장된 훈련 옵션은 특히 손에 있는 객체의 정확도와 강력함을 향상합니다.
• 새로운 API는 디스플레이를 수정하지 않고도 메트릭 공간에 객체 자세를 제공해 수술 탐색 훈련과 같은 정밀도가 높은 공간 측정 사용 사례를 활용할 수 있습니다. 이러한 기능은 visionOS 및 iOS 모두에서 사용할 수 있습니다. 객체 추적에 플랫폼별 훈련이 필요하지 않기 때문에 이미 생성한 참고 객체는 재훈련 없이도 iOS 및 visionOS 앱에서 잘 작동합니다.
• iOS용 ARKit API는 visionOS와 동일한 객체 추적 기능을 지원합니다.

이제 기업에서는 Apple Vision Pro와 연동되는 자체 공간 액세서리를 빌드할 수도 있습니다. 공간 액세서리는 정밀도를 위한 IR LED 및 IMU와 저지연 6 자유도 추적 기능에 더하여, 버튼, 터치 패드, 햅틱 등의 물리적 입력을 결합합니다. 이 기기는 최대 90Hz로 추적 가능해, 움직임이 많은 사용 사례를 지원하고 조명이 밝지 않은 환경에서 추적합니다. DFRobot 및 MikroE를 비롯한 제조업체는 올 하반기에 표준 참조 하드웨어 및 개발 키트를 릴리스할 예정으로, visionOS 앱에서 테스트하거나 바로 사용할 수 있습니다.

Apple Immersive Video는 visionOS에서 사용할 수 있는 가장 고품질의 몰입형 비디오 경험으로, Immersive Media Support(IMS) 프레임워크에서 빌드된,확장되는 프로덕션 생태계 및 포스트 프로덕션 도구에서 지원됩니다.

visionOS 27은 복잡한 프로덕션 상황에서 실시간으로 기본 구성을 재정의하는 카메라 프레젠테이션 명령 등 다양한 추가 기능을 IMS에서 선보입니다. 또한, 편집이나 실시간 프로덕션 과정에서 Mac에서 바로 Apple Vision Pro의 Apple Immersive Video에 대한 실시간 미리 보기를 활성화하고 합성기 파이프라인을 맞춤화해 자체 렌더링 단계를 삽입할 수 있습니다.

visionOS 27은 와이드 영상비 포털 지원 기능도 추가해 완전 몰입형 모드에서 포털 모드로 전환할 때 몰입형 콘텐츠의 포털 보기를 넓게 유지할 수 있습니다. 또한, RealityKit 및 AVKit 기반 앱의 포털 윈도우용 비표준 영상비도 정의할 수 있습니다.