USD 생태계 살펴보기

♪ 감미로운 인스트루멘탈 힙합 ♪ ♪ 안녕하세요 저는 드루브 고빌입니다 3D 소프트웨어 엔지니어죠 이 세션에서는 저와 함께 저희 플랫폼의 3D 콘텐츠 기술 생태계에 나온 새 기능을 살펴보겠습니다 3D는 굉장한 미디어 형태이고 이를 이용해 더 큰 몰입형 경험을 제공하는 xrOS의 도입으로 그 중요성이 더욱 커졌습니다 집에 있는 Apple 컴퓨터나 iPad 같은 휴대용 기기에서 놀라운 시각 자료를 창작하는 것이 누구에게나 훨씬 더 편리해졌습니다 창의적 콘텐츠의 물결을 장려하기 위해서 저희는 전 세계의 창의적 산업에 동력을 주는 주요 기술에 기반한 토대를 만들어 왔습니다 이 여러 기술 중 첫 번째는 Universal Scene Description으로 줄여서 USD라고 합니다 이 기술은 응용 프로그램끼리 공유하는 3D 콘텐츠를 표현하는 표준 형태를 가능케 합니다 또한 물체의 시각적 외양을 이동식으로 표현할 수 있도록 xrOS의 MaterialX 지원을 도입할 겁니다 USD는 오픈 소스 프로젝트로 픽사에서 만들었고 최근 OpenUSD로 명칭이 바뀌었습니다 이 증명된 프로덕션은 단일 에셋을 만드는 창작자부터 AAA급 게임과 영화를 만드는 대형 스튜디오까지 크기가 조정될 수 있습니다 USD는 컴포지션을 통해 에셋 데이터 사이의 복잡하고 유연한 관계를 표현할 수 있게 합니다 Apple은 USD를 초기부터 도입했으며 2017년에 플랫폼에 추가한 후로 계속해서 지원을 늘려왔습니다 오늘날 USD는 xrOS의 3D 콘텐츠에서 중심 역할을 합니다 MaterialX 또한 오픈 소스 프로젝트로 Industrial Light & Magic에서 스타워즈 작업을 위해 만들었고 현재는 오토데스크 같은 다른 회사와 합작으로 개발되며 아카데미 소프트웨어 재단이 사용하고 있습니다 덕분에 3D 응용 프로그램 내에서 아티스트가 셰이더 로직을 코딩 방법을 전혀 알지 못해도 노드 그래프에 조합할 수 있습니다 이 그래프는 또한 USD 내에 삽입될 수 있고 따라서 씬 데이터와 함께 이동할 수 있습니다 저희는 몰입형 공간 경험을 구축하기 위한 Apple의 실시간 3D 렌더링 프레임워크인 RealityKit로 xrOS에서 먼저 MaterialX를 지원합니다 이러한 3D 콘텐츠 기술이 사용되는 방법을 알아보며 네 가지 영역을 다룰 건데요 제일 먼저 저희의 응용 프로그램으로 어떻게 3D 콘텐츠를 새롭게 이용할 수 있는지 보죠 다음으로는 MaterialX를 저희가 어떻게 지원하는지와 RealityKit의 색상 관리법을 자세히 살펴보겠습니다 마지막으로는 USD로 다시 돌아가서 꼭 알아야 할 작년 이후의 변화를 알아봅시다 응용 프로그램에서 3D를 이용하는 새로운 방식을 먼저 보고 이를 구동하는 기술로 들어갑시다 iOS의 USDZ 파일에 대한 Quick Look의 성공을 기반으로 이제는 xrOS에 Quick Look을 도입하려 합니다 USDZ 파일을 열어서 이것이 공간적으로 아름답게 표현된 걸 보고 이를 탐색하고 여러분의 환경과 연결하는 일이 매우 쉬워졌습니다 이 신규 플랫폼에서 멋지게 보일 콘텐츠를 아주 쉽게 제작하는 법도 함께 알아보죠 지난해 저희는 강력하고 사용하기 편리한 브레인스토밍 앱인 Freeform을 소개했습니다 Freeform은 USDZ 콘텐츠를 삽입하게 해주어 다른 콘텐츠 유형에서처럼 3D 에셋에서도 이를 이용할 수 있게 됐습니다 macOS, iOS, iPadOS와 xrOS까지 모든 지원 플랫폼에서 말이죠 Safari 또한 요소로 3D 콘텐츠의 신규 지원을 도입합니다 요소는 Safari가 있는 모든 Apple 플랫폼에서 이용할 수 있으며 macOS의 Developer 메뉴나 다른 플랫폼의 설정 메뉴에서 활성화할 수 있습니다 오디오와 비디오, 이미지 요소처럼 쉽게 쓸 수 있는 요소 덕분에 USDZ 파일을 상호작용형 뷰가 있는 웹 페이지에 삽입할 수 있고 객체를 이리저리 회전할 수도 있습니다 이로써 상호작용이 더 자유로운 웹사이트를 만들 수 있고 사용자가 쓰는 지원 기기가 무엇이든 엄청난 경험을 제공할 수 있게 됩니다 저희는 W3C 몰입형 웹 Working Group과 표준화 작업을 하고 있습니다 또한 새 macOS 응용 프로그램인 Reality Composer Pro가 창작자와 개발자를 위한 도구 모음에 포함되었습니다 USD의 컴포지션 기능을 이용해 이 프로그램으로 많은 사람이 동시에 일할 수 있으며 개개인이 씬의 서로 다른 측면을 다루면서 업데이트에 따른 에셋의 조합을 볼 수 있게 됩니다 에셋은 여러분만의 콘텐츠 창작 응용 프로그램으로 USD에 출시될 수 있고 Reality Composer Pro를 이용해 xrOS 앱과 사용자 경험을 위해 준비할 수 있습니다 Reality Composer Pro 세션에서 더 자세히 알아보세요 여러분이 만드는 3D 모델만큼 중요한 건 여기에 개별적 시각미를 부여하는 셰이더와 머티리얼인데요 MaterialX가 있으면 여러분의 USD 씬 내부로 옮길 수 있는 맞춤형 비주얼을 xrOS의 RealityKit 응용 프로그램에 주입할 수 있죠 Reality Composer Pro는 USD 파일 내에 삽입된 MaterialX 노드를 만드는 셰이더 그래프를 도입합니다 이는 셰이더 로직을 구성하기 위한 상호작용형 노드 그래프를 써서 셰이드의 생성을 가능하게 합니다 MaterialX 셰이더 그래프로 창작자는 xrOS 콘텐츠를 위한 커스텀 셰이더를 구성하게 될 겁니다 많은 표준 MaterialX 노드 외에도 Reality Composer Pro는 다양한 xrOS 전용 플랫폼 기능을 구동하는 커스텀 MaterialX 노드도 몇 가지 갖고 있습니다 이 셰이더 노드 중에는 RealityKit PBR이 있는데 이는 물리 기반 렌더링 셰이더로서 현실처럼 보이는 3D 콘텐츠를 구성할 수 있게 합니다 RealityKit Unlit은 Unlit 셰이더로 더욱 스타일 있는 셰이딩을 가능케 합니다 지오메트리 수정자는 표면 변형 및 몇 가지 커스텀 유틸리티 노드를 수정할 수 있게 합니다 셰이더 그래프를 사용하여 에셋을 위한 커스텀 외양을 잘 만드는 법에 관한 훌륭한 개발자 세션도 있습니다 USD가 있는 MaterialX의 지원은 저명한 타사 3D 응용 프로그램에서 늘어나고 있으며 이 예로는 SideFX의 후디니와 이 화면처럼 오토데스크 마야의 LookdevX가 있습니다 Reality Composer Pro는 셰이더를 미리보기 하여 기기에 배치하기 전에 어떻게 보일지 알 수 있게 합니다 언급했듯이, MaterialX는 오픈 소스 프로젝트로서 창작자와 개발자가 자신의 워크플로와 응용 프로그램에서 직접 쓸 수 있습니다 MaterialX 프로젝트는 MaterialX 노드 그래프에서 셰이더 코드를 생성하기 위한 지원을 포함합니다 Apple은 강력한 GPU를 최대한 활용할 수 있도록 프로젝트에 Metal 셰이더 코드 생성을 위한 지원을 추가했습니다 MaterialX 1.38.7 릴리즈부터 이를 쓸 수 있습니다 USD를 사용하는 개발자도 또한 macOS에서 USD 내부의 MaterialX를 장래에 사용할 수 있게 됐습니다 셰이더가 잘 작동하는지 확실히 아는 게 중요하긴 하지만 여러분의 색이 어떻게 보이는지도 확신할 수 있어야 합니다 그래서 저희는 RealityKit를 위한 색 공간 관리의 처리를 확장하여 광범위한 전체 색 범위를 사용해 정확하게 보이는 3D 콘텐츠를 만들 수 있게 했습니다 하지만 먼저 색 공간이 중요한 이유를 간략하게 보죠 색 공간은 가능한 색상 범위를 포함하여 디지털값으로부터 색상을 표현하는 법을 그래픽 프로그램이 이해하는 방식을 말합니다 이는 여러 응용 프로그램이 안정적으로 같은 색상을 보여주고 편집할 수 있게 합니다 Apple 디스플레이는 색 공간으로 Display P3를 주로 사용하지만 다른 많은 플랫폼에서는 더 흔한 sRGB를 쓰기도 합니다 Display P3는 컴퓨터 디스플레이에 쓰이는 sRGB 감마 곡선과 디지털 시네마의 더 넓은 주 범위를 결합합니다 사실 이것은 기존의 sRGB보다 최대 25% 더 많은 색상을 표현할 수 있습니다 여기 검은 선으로 표시된 더 큰 Display P3 색 공간 내에서 말이죠 이는 우리가 현실에서 보는 색을 더 많이 표현하게 해줍니다 앵무새의 화려한 깃털이라든지 좋아하는 옷의 짙은 색처럼요 대부분의 색과 이미지 워크플로는 sRGB를 쓰는 경향이 있는데 이는 수십 년간 많은 모니터에서 쓰였던 표준 색상 범위를 뜻합니다 sRGB는 여전히 보기 좋은 콘텐츠를 만들 수 있지만 Apple 제품이 장착하는 아름다운 광범위 디스플레이를 완전히 활용하지 못합니다 여러분이 Display P3 색 프로필을 대신 이용한다면 RealityKit가 이 디스플레이에서 제공하는 더 넓은 색상 범위를 이용할 수 있습니다 Display P3를 염두에 두고 제작했으며 적절히 태그된 텍스처는 더 짙고 더 강렬한 톤을 가진 훨씬 더 넓은 범위의 색을 표현할 수 있습니다 이 효과는 감지하기 힘들 수 있지만 더 선명하고 실제 같은 에셋을 만들 수 있게 합니다 더 짙은 붉은 색과 싱싱한 초록색을 느껴보세요 더 중요하게는 색 공간 태깅으로 콘텐츠를 만든 당시와 정확히 일치하는 색상을 구현하고 돌발적인 색 변형을 피할 수 있습니다 MaterialX와 색상 관리는 USD 생태계에 추가된 훌륭한 기능입니다 또한 저희 플랫폼과 더욱 큰 생태계를 위한 USD의 새 기능에 대해 나눌 것이 더 있는데요 Motion이나 Quick Look처럼 저희의 퍼스트 파티 응용 프로그램은 모두 업데이트되고 더 효율적인 USD 버전의 도움을 받고 있습니다 USD는 광범위한 객체 유형을 지원하는데 이는 스키마라고도 알려져 있죠 이 업데이트 덕분에 또한 macOS에서 미리보기의 Storm 렌더러가 훨씬 더 많은 USD 스키마 렌더링과 기능을 지원하게 됐습니다 저희는 또한 계속해서 문서를 업데이트하여 렌더러에서 새롭게 지원되는 기능과 스키마 및 이를 지원하는 플랫폼을 강조하고 있습니다 덧붙여 저희는 동작의 다른 변화도 기록하기 때문에 주기적으로 영상 설명에 링크된 문서를 찾아보는 걸 추천해 드립니다 USD는 커스텀 스키마 유형도 다룰 수 있는데요 올해 RealityKit에서는 xrOS의 Entity Component System 줄여서 ECS를 위한 신규 컴포넌트 스키마를 도입합니다 RealityKit의 ECS는 컴포넌트 데이터 자체로부터 자료를 처리하는 시스템을 분리하여 여러분의 3D 콘텐츠와 함께 구동할 수 있게 합니다 이 커스텀 스키마 덕분에 이제 RealityKitComponent를 빌트인 컴포넌트에 쓸 수 있고 RealityKitCustomComponent를 여러분의 Swift 커스텀 컴포넌트에 쓸 수 있죠 여러분의 Swift 컴포넌트 구조체와 딕셔너리는 이에 상당하는 RealityKit USD 스키마로 표현될 수 있습니다 RealityKit는 RealityKit의 오디오 파일과 오디오 파일 그룹 MixGroup과 함께 USD의 spatialAudio를 기반으로 훨씬 더 실감 나는 오디오를 구현합니다 이제 함께 USD에서 계층상 객체라고 부르는 USD prim으로 일부 커스텀 컴포넌트 데이터를 나타내는 USD 파일을 보죠 이것은 커스텀 컴포넌트 데이터가 도형 같은 다른 prim과 함께 존재하게 합니다 이 모두가 USD 안에 있으므로 여러분은 직접 USD prim을 만들 수 있는 어떤 앱이든 이용해 prim을 나머지 씬과 함께 생성할 수 있습니다 이는 대응하는 Swift 컴포넌트와 일치하며 이 컴포넌트는 USD 컴포넌트의 값을 읽기 위해 쓰일 수 있는데 이를테면 여기서는 앱의 다양한 객체가 각각과 연결된 특정 Engagement Point를 가질 수 있죠 더 많은 정보는 Reality Composer Pro를 이용해 응용 프로그램을 만드는 법에 관한 세션을 참고하세요 점점 커지는 생태계가 콘텐츠 제작을 모두에게 용이하게 하기에 저희는 계속해서 이 기술의 성장에 힘을 보태고 있습니다 그래서 저희는 픽사 및 여타 커뮤니티와 합작해 USD를 지원하는 소프트웨어 패키지를 OpenUSD 웹 페이지에 다수 기재했습니다 이로써 창작자들이 USD 기반의 콘텐츠를 자신의 Mac 워크플로를 이용해 쉽게 제작할 수 있게 됐습니다 저희는 또한 iOS 같은 휴대용 플랫폼에서 USD 제작을 더 쉽게 하는 작업을 하고 있는데요 이렇게 하면 개발자로서 여러분도 USD를 자신의 응용 프로그램에 통합할 수 있죠 그러면 몰입형 USD 콘텐츠를 제작하는 응용 프로그램도 만들 수 있을 겁니다 저희는 USD 라이브러리에서 종속성을 줄이기 위해 협력하고 있기도 한데요 그러면 모든 플랫폼에서 최소한의 힘으로 USD를 제대로 작동할 수 있게 될 겁니다 USD는 렌더러를 위한 추상화 프레임워크인 Hydra라는 기술과 함께 Hydra를 이용하는 실시간 렌더러 Storm을 포함합니다 Apple은 픽사와 함께 Storm에 Metal 지원을 추가하여 개발자가 저희 플랫폼에서 고성능의 GPU 기반 응용 프로그램을 만들 수 있는 현대 그래픽 API를 쓸 수 있게 협력해 왔습니다 이러한 성능이 도움이 되는 시나리오를 하나 보죠 Animal Logic ALab 씬은 영화 수준 에셋의 많은 특징을 보여줍니다 원 해상도로 설정하면 이 씬은 이전이라면 데스크톱 워크스테이션 GPU를 요구했을 26GB가 넘는 그래픽 메모리를 차지할 수 있죠 이젠 Hydra Storm의 Metal과 Apple 실리콘의 통합 메모리가 있으면 MacBook Pro로 이렇게 부담스러운 씬까지도 상호작용 성능을 유지하면서 이동 중에 작업할 수 있습니다 Storm의 이 고성능 렌더링 덕분에 Blackmagic Design으로 USD 고속 뷰포트 렌더링을 다빈치 리졸브의 Fusion에 추가할 수도 있습니다 저희는 지난 몇 년간의 협력을 바탕으로 오토데스크와 함께 계속해서 오픈 소스 마야 USD 플러그인을 만들고 있습니다 이 프로젝트에서 몇 가지 성과를 이루었는데요 도형 내보내기 기능의 개선과 에셋을 위한 머티리얼 등을 추가했죠 또한 애니메이션 가져오기 기능도 향상시켰습니다 이 모든 성과 덕분에 xrOS용 공간 콘텐츠를 만들 워크플로를 더 매끄럽게 구축할 수 있습니다 이 기능 중 일부는 마야 USD의 이후 릴리즈에서 발표될 수 있으므로 플러그인을 항상 최신으로 업데이트하는 걸 추천드립니다 저희는 또한 블렌더 재단을 비롯해 많은 개인 및 AMD, NVIDIA, 유니티 같은 파트너사와 함께 오픈 소스 3D 응용 프로그램인 블렌더를 업데이트해 왔습니다 이 협력으로 USD 가져오기와 내보내기 기능을 블렌더 3.5에서 매우 크게 개선할 수 있었습니다 여기에는 최초의 USDZ 지원이 포함되는데 이로써 Quick Look으로 곧바로 이동할 수 있습니다 Apple은 또한 블렌더 재단과 함께 Eevee와 Cycles 렌더러에 대한 Metal 지원을 도입했습니다 이제 블렌더 3.5의 도입으로 블렌더를 완전한 네이티브 Metal 응용 프로그램으로 실행할 수 있고 UI와 뷰포트 및 최종 렌더의 속도를 높일 수 있습니다 최종 렌더는 GPU를 이용해 CPU 기반의 렌더와 비교할 때 시간을 절반까지 절감할 수 있고 뷰포트는 특정 씬에서 OpenGL보다 네 배 더 빨리 렌더링할 수 있습니다 여기까지 USD 생태계의 새 기능에 관한 소개를 마쳤습니다 xrOS는 USD와 같은 기술을 토대로 앱과 사용자 경험에 완전히 새롭고 멋진 차원을 더할 것입니다 Quick Look과 Reality Composer Pro에 관련된 세션을 계속해서 찾아보는 걸 추천해 드립니다 개방형 표준 프로그램과 협력함으로써 저희는 xrOS 및 모든 플랫폼을 위한 콘텐츠 창작을 더 빠르고 편리하게 만들기 위해 강력한 생태계를 구축하고 있습니다 여러분의 창작물을 손꼽아 기대하겠습니다 ♪