Apple Immersive Video의 새로운 기능
Apple Immersive Video 도구, 리소스 및 관련 기술의 최신 업데이트를 살펴보세요.
Apple Immersive 라이브 형식
라이브 스포츠와 이벤트에는 중계 이상이 필요합니다. 현장감이 필요합니다. 라이브 스트리밍 Apple Immersive Video는 바로 그 경험을 제공하여 모든 치열한 플레이, 관중의 함성, 극적인 순간을 Apple Vision Pro 내부에서 생생한 선명도와 규모로 전달합니다. 라이브 미디어 형식과 도구는 SMPTE ST 2110 기반의 전문 방송 인프라에 네이티브 Apple Immersive Video 작업 흐름을 직접 적용하여, ProRes 비디오, 공간 음향, 보정된 렌즈 메타데이터를 함께 전송한 후 MV-HEVC로 인코딩합니다. 라이브 몰입형 프로덕션을 위한 전체 파이프라인을 살펴보세요.
Immersive Media Support 프레임워크
Immersive Media Support(IMS) 프레임워크는 Apple Immersive Video용 풍부한 메타데이터를 읽고, 쓰고, 작성하는 데 필요한 모든 것을 제공합니다. IMS는 이미 visionOS와 macOS에서 제공되고 있으며, 이제 iPadOS와 iOS로 확장되어 동일한 크로스 플랫폼 API로 iPhone과 iPad에서 몰입형 콘텐츠의 처리, 제어, 재생을 지원합니다.
원래 장소 설명에 포함되지 않았던 경우에도 라이브 프로덕션 시나리오와 복잡한 프로덕션 시나리오에서 카메라 매개변수를 제어할 수 있습니다. 새로운 카메라 재정의 기능을 사용하면 프로덕션이 진행되어 감에 따라 인라인으로 카메라를 정의하여 정적 메타데이터를 확장하거나 대체할 수 있습니다. 기존 카메라를 참고하거나 새로운 카메라를 도입하고 회전, 보정 모델, AIME 데이터에서 파생된 선택적 마스크를 지정합니다. 재정의는 프레임에 대한 렌더링 시 반영되어 몰입형 콘텐츠를 캡처하고 표시하는 방식을 프레임 단위로 정확하게 제어할 수 있도록 해 줍니다.
visionOS 27에서는 X축 뒤집기에 더해 새로운 Y축 뒤집기 덕분에 어떤 방향으로 장착된 카메라로 촬영한 미디어 샷이든 표시를 처리할 수 있습니다. 뒤집기는 재생 중에 완전한 스테레오 인식을 통해 적용되어 양쪽 눈이 스테레오 쌍으로 올바르게 처리되므로 반전된 카메라 리그의 장면이 몰입형 프로덕션에 원활하게 통합됩니다.
Apple Immersive Video 배포를 위한 정적 포비에이션
Apple Immersive Video(AIV)는 각 눈당 8K, 초당 90프레임으로 캡처되어 초당 100억 픽셀 이상을 생성합니다. 사용 가능한 가장 빠른 네트워크를 통해서도 이렇게 막대한 양의 데이터를 스트리밍하는 것은 현실적으로 어렵지만, 이미지를 4K로 축소하면 몰입형 콘텐츠에 현장감을 부여하는 픽셀 밀도가 희생될 수 있습니다. 그 대신에, 크리에이터는 이제 작은 프레임의 대부분을 가장 중요한 픽셀, 즉 일반적으로 어안 렌즈의 중앙 영역에 집중시키는 정적 포비에이션 분포 함수를 적용할 수 있습니다. 그 결과, 원래 90fps에서의 지각 해상도를 대부분 유지하는 스트리밍 가능한 4K 프레임 크기가 사용되며, 이는 Apple Immersive Video가 쉽게 스트리밍 가능한 파일 크기로 높은 지각 선명도를 구현하는 이유 중 하나입니다. 새로운 샘플 프로젝트는 이 기법을 IMS와 함께 사용하여 스트리밍 가능한 프레임 크기로 선명도 높은 몰입형 비디오를 제공할 수 있는 방법을 보여 줍니다.
고유한 크기의 포털 보기
Apple Immersive Video 시청은 놀라운 경험이지만, 멀티태스킹을 하거나 인터랙티브 애플리케이션의 일부로 사용할 때처럼 몰입도를 낮춰야 하는 경우도 있습니다. 포털 보기는 몰입도를 낮춘 멋진 경험이지만, 기본 16:9 종횡비에서는 중요한 콘텐츠가 잘릴 수 있습니다. 이 문제를 해결하기 위해 재생 앱에서 포털 보기 모드용 맞춤형 넓은 종횡비를 정의할 수 있습니다. AVKit 기반 앱에서는 AVPlayerViewController의 AVPlayerViewController.viewport.portal.aspectRatio를 사용하여 맞춤형 종횡비를 설정할 수 있고, RealityKit 기반 앱에서는 VideoPlayerComponent의 VideoPlayerComponent.portalSize를 사용하여 설정할 수 있습니다.
Apple Spatial Audio Format
Pro Tools용 AAX 플러그인의 Apple Spatial Audio Format(ASAF) Production Suite에 대한 새로운 업데이트는 콘텐츠 크리에이터에게 한층 더 큰 창의적 제어력을 제공합니다. 참고 비디오를 기준으로 객체를 배치하고, 새로운 장면 압축기 플러그인, 향상된 히트 맵 그리기, 더 정교해진 공간 필터링 알고리즘 등 앰비소닉 사용 시 중요한 개선 사항을 활용할 수 있습니다. 더 풍부한 객체 방향 제어 항목과 독립형 LFE 및 중앙 등 추가 채널 베드 레이아웃 지원으로 믹싱 옵션이 확장됩니다. ASAF Video Player 앱 상태가 이제 DAW 세션과 함께 저장되므로 중단한 위치에서 바로 작업 흐름을 계속 이어갈 수 있습니다.
