원활한 멀티뷰 재생 경험 제공하기

안녕하세요 저는 줄리아입니다 AV Foundation 엔지니어죠 이번 비디오에서는 앱에서 매력적인 사용자 경험을 만드는 방법에 대해 다루겠습니다 여러 플레이어에 걸쳐서요 사람들은 스포츠 경기처럼 라이브 행사를 여러 시각에서 보고싶어하죠 또는 여러 채널을 동시에 시청하죠 멀티뷰 재생 경험은 여러 개의 오디오/비디오 스트림을 동시에 재생하는 것을 말합니다 한 가지 사례는 동일한 이벤트의 여러 스트림을 재생하는 것입니다 예를 들어, 아나운서 오디오 스트림이 있는 축구 경기와 현장을 다른 관점에서 보여주는 두 개의 비디오 스트림 재생이죠 이 경우 스트림 간 재생을 동기화하는 것이 중요합니다 이렇게 하면 중요한 순간이 일치하게 됩니다 동기화된 스트림의 다른 예 여러 카메라 각도가 있는 음악 콘서트가 포함될 수 있습니다 또는 주요 콘텐츠 스트림과 그에 맞는 수화 스트림이 있는 기조연설일 수도 있습니다

또 다른 멀티뷰 사용 사례는 완전히 다른 여러 개의 스트림을 재생하는 것입니다 예를 들어, 올림픽 중에 육상 경기와 수영 경기를 비롯한 여러 이벤트의 스트림과 일부 배경 음악을 같이 스트리밍 하는 거죠 이러한 경우 오디오 및 비디오 스트림은 서로 동기화되지 않아도 됩니다 AVFoundation 및 AVRouting API로 풍부한 다중 뷰 재생 환경을 더 쉽게 구축하죠 이번 동영상에서는 이러한 API를 살펴보겠습니다 먼저 여러 스트림에서 재생을 동기화하는 법부터 알려 드리죠 이후 AirPlay에 대한 여러 뷰 간의 라우팅하는 방법을 다루겠습니다 끝으로 여러 플레이어에서 재생 품질을 최적화하는 법을 소개하죠

스포츠 경기와 같이 조정이 필요한 여러 스트림을 보여주는 경우 모든 장치에서 재생을 동기화하는 것이 중요합니다 선수들의 중요한 순간의 싱크를 맞추죠 이는 재생, 중지, 탐색 등 모든 재생 동작이 같은 것을 의미합니다 하지만 이는 복잡한 과정이 될 수 있습니다 속도 변경 및 탐색 외에도 복잡한 동작도 관리해야 합니다 AVFoundation 프레임워크의 AVPlaybackCoordinationMedium는 여러 플레이어에서 재생 동기화하는 것을 쉽게 만듭니다 속도 변화와 시간 점프의 조정을 처리합니다 다른 복잡한 행동도 마찬가지입니다 정지, 중단 시작 동기화와 같은 문제 말이죠 “AV 재생 조정 매체”를 사용하는 방법을 보여드리겠습니다 앱에서 여러 플레이어 간에 조정하기 위한 것이죠 이 비디오 전체에서 보여드릴 데모에서는 선로 위의 기차의 다양한 카메라 각도를 예로 들어보겠습니다 식물이나 다른 물체, 랜드마크 등 다양한 장면을 탐색합니다 이 열차 예시는 다중 뷰가 무엇 인지 보여주는 데 도움이 됩니다 콘텐츠는 여러 카메라 각도에서 다음과 같이 보일 수 있습니다 조정 데모에서는 여러 카메라 각도를 추가할 것입니다 마치 스포츠 경기를 보는 것처럼 기차 선로 주변에서 촬영했습니다 게임의 다양한 카메라 각도를 추가하고 싶었습니다 이것은 여러 가지 다른 비디오 스트림이 있는 iPad 앱입니다 선로 위로 움직이는 장난감 기차를 담고 있죠 기차 선로가 재생되는 것을 위에서 내려다보며 시작하겠습니다 기차를 더 많은 각도로 보고 싶으니 트랙의 측면도를 추가하겠습니다 두 번째 스트림은 현재 재생 중인 스트림과 일치합니다 또한 트랙 주변에서 녹화된 두 개의 카메라 각도를 추가합니다 각 추가 스트림은 동기화에 포함됩니다 일시 정지하면 모든 플레이어가 동시에 일시 정지합니다 자세히 보면 네 명의 플레이어에서 모두 기차가 여러 각도로 보이죠 왼쪽 상단 조감도에서는 기차가 식물이 있는 테이블 윗부분 가장자리 근처에 있는 것이 보이죠 다른 카메라 각도에서 보면 기차가 선로의 직선 구간으로 진입 하는 것을 볼 수 있습니다 그리고 원숭이의 뒤에서 다가가고 있죠 각 영상의 타임스탬프를 살펴보면 모든 영상이 같은 시간을 보이죠

재생을 시작하면 모든 플레이어가 동기화되어 재생됩니다 다양한 각도에서 완벽한 조화를 이루는 기차를 감상할 수 있어요

다음으로 10초씩 앞으로 탐색합니다 각 액션에서 플레이어들은 동기화를 유지합니다

내 iPad 앱을 떠나 화면 속 화면 보기로 전환하더라도 스트림은 동기화 상태를 유지합니다

앱으로 돌아가면 모든 동영상이 여전히 동기화되어 재생됩니다

이는 Now Playing 인터페이스처럼 시스템 인터페이스에서도 잘 작동하죠 재생 동작도 조정됩니다 일시 정지하고 재생할 수 있으며 플레이어는 동기화를 유지합니다 모든 플레이어 간의 동기화를 통해 훌륭한 사용자 경험을 제공합니다 데모에서는 랜드마크를 지나가는 기차의 예를 보여주었습니다 실제 상황에서 이것은 스포츠 이벤트일 수도 있고 수화 언어 스트림일수도 또는 다른 다중 보기 사용에서 재생 조정을 원할 때 일 수도 있죠 실제로 보이는 모습을 설명했으니 앱에서 이 경험을 어떻게 만들 수 있는지 보여드리겠습니다 “AV Playback Coordination Medium API”는 기존 AVPlaybackCoordination 아키텍처 기반으로 구축되었고 이 아키텍처는 SharePlay에 있는 것입니다 각 AVPlayer에는 AVPlaybackCoordinator가 있습니다 플레이어와 다른 모든 연결된 플레이어의 플레이백 상태 사이에서 협상합니다 재생 코디네이터 및 작동 방식에 대한 자세한 내용을 알아보려면 “그룹 활동을 통한 미디어 경험 조정하기” 비디오를 보세요 비디오 플레이어가 여러 개 있는 경우 재생 코디네이터는 원격 상태 관리를 처리해야 합니다 각 플레이어가 다른 플레이어와 동기화 되었는지 확인해야 합니다 “AV 재생 조정 매체”는 상태 변경을 모든 재생 코디네이터에 걸쳐 전달합니다 조정 매체는 한 코디네이터로부터 상태를 다른 재생 코디네이터에게 전달 하고 모두 동기화를 유지합니다 이는 메시징을 통해 달성됩니다 조정 매체는 플레이어 간에 재생 속도와 시간, 다른 상태 변경을 포함한 중요한 상태 변경 사항에 대해 메시지를 전달합니다 예를 들어, 한 플레이어가 일시 정지하면 조정 매체에 그 메시지를 보냅니다 그 다음에는 조정 매체에서 이를 다른 모든 연결된 재생 코디네이터에 전달합니다 재생 코디네이터는 재생 상태를 처리하고 적용합니다 이렇게 하면 모든 플레이어가 동기화를 유지할 수 있습니다 코디네이션된 멀티뷰 콘텐츠를 재생할 때에도 동일합니다 구현에는 몇 줄의 코드가 필요합니다 각자 다른 애셋을 가진 AVPlayers를 설정하겠습니다 두 개의 비디오를 사용하겠습니다 하나는 클로즈업 샷을 위한 것이고 다른 하나는 조감도 샷을 위한 것입니다 다른 애셋을 별도로 관리 구성하고 있습니다 다음으로, 조정 매체를 만듭니다 그런 다음 각 플레이어를 조정 매체에 연결합니다 조정 메서드를 사용합니다 이 방법은 오류를 일으킬 수 있어 이를 처리하는 것이 중요합니다 끝으로 두 번째 플레이어인 조감도 샷에도 동일한 작업을 합니다 이제 두 재생 코디네이터 모두 조정 매체에 연결되어 있습니다 그리고 각 플레이어의 동작이 동기화됩니다 해야 할 일은 한 플레이어의 동작을 호출하는 것뿐입니다 다른 모든 연결된 플레이어도 마찬가지입니다 이 예는 2개의 플레이어만 썼으나 더 많은 플레이어도 연결 가능하죠 AVPlaybackCoordinationMedium은 멀티뷰 재생 조정에 좋습니다

다음은 모든 유형의 멀티뷰 재생에 적용할 수 있는 도구를 보겠습니다 재생이 조정되거나 되지 않은 경우 모두 사용할 수 있는 도구입니다 AirPlay는 놀라운 외부 재생 경험을 제공합니다 사용자는 집에서 더 큰 화면으로 비디오 스트림을 라우팅할 수 있죠 또는 오디오 스트림을 HomePod로 라우팅할 수 있습니다 오른쪽 뷰를 오른쪽 기기로 라우팅하는 것이 중요합니다 앱에서 멀티뷰 환경을 통한 AirPlay 지원 방법을 알려 드리죠 실제로 어떻게 작동하는지 보시죠 보여줄 예에서는 조감도 뷰를 바라보고 있습니다 트랙 클로즈업 영상과 함께 영상도 제공합니다 두 영상 모두 iPad에서 재생 중입니다 두 영상 모두 iPad에서 재생 중입니다 그러나 AirPlay를 통해 영상을 iPad에서 Apple TV로 보내려고요 AirPlay 수신기는 단일 스트림만 지원합니다 따라서 라우팅할 때 큰 화면에서 재생되는 조감도 영상을 선호합니다 세밀한 것까지 더욱 명확하게 볼 수 있죠 iPad에서 비디오 두 개를 재생하기 시작해 Apple TV로 라우팅합니다 그렇게 하면 클로즈업 뷰가 iPad에서 계속 재생됩니다 또한 조감도 영상이 큰 화면에 표시되죠 제 플레이어가 선호하는 뷰로 되어있기 때문입니다 TV에서 재생되는 비디오를 변경하려면 스트림 간에 전환할 수 있습니다 기본 플레이어를 클로즈업 스트림으로 업데이트하면 두 비디오 위치가 바뀌게 됩니다 이 iPad 앱에서 별 버튼을 누르면 이 작업이 수행됩니다 그러면 클로즈업 비디오가 기본 플레이어로 설정됩니다 이제 선택하여 클로즈업 스트림을 TV에서 재생합니다 iPad에서 조감도 뷰가 재생됩니다 이에 더해 일시 정지하고 재생할 수 있으며 그리고 스트림이 조정되면 동기화가 유지됩니다 이는 조정된 재생 사례의 예입니다 하지만, 미조정 멀티뷰 스트림도 AirPlay와 원활하게 작동합니다 AVRouting 프레임워크의 일부인 AVRoutingPlaybackArbiter는 AirPlay 멀티뷰 환경에 대한 지원을 쉽게 통합할 수 있습니다 재생 중재자는 멀티뷰가 AirPlay 또는 기타 외부 재생 경험과 원활하게 작동하도록 보장합니다 단일 비디오 또는 오디오 스트림만 지원했던 경우에도 그렇습니다 올바른 비디오/오디오 스트림으로 전환에 따른 복잡성을 관리하죠 AVRoutingPlaybackArbiter는 믹스가 불가한 오디오 경로에서 선호도를 관리하고 적용하는 역할을 담당합니다 이는 단일 오디오 스트림만 재생할 수 있는 오디오 경로입니다 수신기에서 동시 오디오 재생이 불가능합니다 재생 중재자는 또한 제한된 외부 재생 비디오 경로를 처리하죠 이는 수신기에서 단일 비디오 스트림만 재생할 수 있는 경로죠 AirPlay 비디오 및 Lightning 디지털 AV 어댑터와 같습니다 기차 멀티뷰 비디오와 같은 멀티뷰 재생 경험에서와 같이 위에서 내려다본 영상과 여러 장의 클로즈업 영상을 설정할 수도 있죠 AirPlay 비디오를 촬영할 때마다 조감도 뷰가 우선하기를 바랍니다 먼저 재생 중재자 한 개를 얻습니다 다음으로, 조감도 뷰를 “preferredParticipantForExternalPlayback”으로 설정하죠 재생 중재자의 속성입니다 이제 멀티뷰 콘텐츠를 재생할 때 iPad에서 Apple TV로 라우팅하면 조감도 뷰 비디오가 Apple TV로 라우팅됩니다 다른 영상은 제 iPad에서 로컬로 계속 재생됩니다 마찬가지로 여러 플레이어가 있는 경우 조감도 뷰는 오디오 우선권을 가져야 합니다 그러면 먼저 재생 중재자 한 개를 얻습니다 그리고 조감도 플레이어를 설정합니다 “preferredParticipant ForNonMixableAudioRoutes”로 말이죠 멀티뷰 콘텐츠가 재생되는 경우 내 iPad에서 HomePod로 오디오를 라우팅합니다 조감도 뷰 오디오가 재생됩니다 다음으로, API를 사용하는 방법의 예를 보여드리겠습니다 먼저 두 개의 AVPlayer를 설정했습니다 클로즈업 샷 중 하나와 조감도 샷 중 하나입니다 그럼 재생 중재자 한 개를 얻습니다 AVRoutingPlaybackArbiter의 인스턴스에서 말이죠 AirPlay로 라우팅할 때마다 조감도 영상을 큰 화면으로 보고싶네요 그래서 외부 재생을 위한 기본 참여자로 설정했습니다 그리고 HomePod로 라우팅하면 오디오를 듣고 싶습니다 그래서 이를 호환 불가한 오디오 경로에 대한 선호하는 참여자로 설정했습니다 이 예에서 두 속성 모두에 대해 동일한 플레이어를 선택했습니다 하지만 이것은 다른 플레이어로 설정될 수 있습니다 AVRoutingPlaybackArbiter를 사용하면 멀티뷰 앱에서 AirPlay 및 다른 외부 오디오/비디오 재생 경험과 원활한 통합을 보장할 수 있습니다 다음으로 이러한 스트림의 품질을 관리하는 법을 알려 드리겠습니다 멀티뷰 콘텐츠를 시청할 때 일부 스트림은 다른 스트림보다 더 중요할 수 있습니다 예를 들어, 멀티뷰에서 스포츠 경기를 시청할 때 한 스트림은 경기장을 위에서 내려다보는 모습입니다 다른 두 개의 스트림은 다른 시각의 경기장 모습일 것입니다 그리고 또 다른 스트림은 군중을 가까이서 찍은 뷰일 수 있습니다

이 예에서 저는 경기장을 조감하는 뷰에 더 관심이 갑니다 더 높은 품질로 재생해 좀 더 명확하게 보고 싶어요 군중의 클로즈업 모습은 별로 관심이 없어요 그래서 자세히 볼 필요는 없죠 이 뷰는 낮은 품질로 재생되어도 괜찮습니다 다중 뷰 시나리오에서 플레이어에 따라 품질 요건이 다를 수 있죠 AVPlayer의 networkResourcePriority 설정을 통해 이를 표시합니다 어떻게 작동하는지 자세히 설명하겠습니다 콘텐츠 스트리밍 시 각 플레이어가 네트워크 대역폭을 소모합니다 만약 이 플레이어의 크기가 같아 각각 동일한 양의 네트워크 대역폭을 소비하도록 만들고 같은 품질의 비디오를 플레이하도록 하고 싶을 수도 있죠 하지만 각 플레이어마다 네트워크 대역폭과 품질 요건이 다를 수 있죠 이를 지원하려면 AVPlayer의 networkResourcePriority을 설정하세요 각 플레이어는 기본 우선 순위 수준으로 시작합니다 우선 순위는 수준을 높거나 낮게 조정할 수 있습니다 높은 우선 순위는 플레이어가 높은 네트워크 리소스가 필요하다는 의미입니다 그리고 스트리밍 고품질 해상도가 중요합니다 낮은 우선 순위 수준은 플레이어가 최소 네트워크 대역폭이 필요하다는 것을 의미죠 그리고 고품질 해상도의 스트리밍이 비교적 덜 중요하죠

어떻게 할 수 있는지에 대한 예를 보여드리겠습니다 networkResourcePriority로 달성 가능합니다 먼저 AVPlayer를 생성합니다 그리고 networkResourcePriority에 따라 플레이어를 설정합니다 스포츠 게임 예에서는 현장 조감도 뷰가 가장 중요합니다 따라서 우선 순위를 높게 설정했습니다 군중의 클로즈업 뷰는 덜 중요하므로 낮게 설정했습니다 그 결과 조감도 뷰에는 더 높은 네트워크 우선 순위가 표시됩니다 군중 클로즈업 뷰에서는 더 낮은 것을 볼 수 있습니다 이러한 네트워크 우선 순위는 플레이어의 우선 순위를 나타내죠 시스템이 네트워크 대역폭 리소스를 할당할 때 말이죠 정확한 네트워크 대역폭 배포를 위해서는 고려해야 할 요소가 다양합니다 다른 플레이어 수와 비디오 레이어 크기, 하드웨어 제약 등 여러 가지가 있죠 다음으로 네트워크 우선 순위 실행의 데모를 보여드리겠습니다 이 예에서는 기차 멀티뷰 예제를 보여드리겠습니다 그리고 이것은 스포츠 경기 예시로 확장될 수 있습니다 또한 다양한 재생 품질이 필요한 기타 다중 보기 시나리오에도 확장되죠 두 개의 다른 스트림을 보고 있습니다 기차 선로의 조감도와 그리고 기차의 클로즈업 모습이죠 한 순간도 놓치지 않고 기차를 보는 것이 중요합니다 그래서 조감도 뷰를 정말로 명확히 보고 싶습니다 네트워크 리소스 우선 순위를 높은 조감도 뷰로 설정했습니다 두 비디오 모두 현재 고해상도로 재생되고 있습니다 해상도 태그는 다음과 같으며 비디오 하단에 있습니다 네트워크 상태가 좋지 않고 네트워크 대역폭이 제한되는 경우 오른쪽의 클로즈업 보기가 먼저 낮은 해상도로 전환됩니다 지금 이 일이 일어나고 있죠 왼쪽의 *더 중요한* 조감도 뷰는 고화질 해상도를 유지합니다 플레이어의 네트워크 자원 우선 순위를 설정함으로써 스트림 재생 품질을 더욱 효과적으로 제어할 수 있습니다 논의한 AVFoundation과 AVRouting API는 모두 함께 작동하여 원활한 멀티뷰 환경을 구축할 수 있습니다 이제 재생 조정과 AirPlay 통합, 품질 최적화 등 고급 멀티뷰 기능을 살펴보았습니다 멀티뷰로 나만의 앱을 만들고 강화하세요 AVPlaybackCoordinationMedium을 사용해 매력적이고 동기화된 멀티뷰 경험을 만들어보세요 좋아하는 스포츠 경기의 여러 카메라 각도를 동기화하세요 AVRoutingPlaybackArbiter를 탐색해 다중 뷰 앱을 개선하세요 AirPlay 통합을 활용하세요 ASL 스트리밍과 같은 다중 스트림 재생을 대형 화면으로 옮겨보세요 네트워크 대역폭 할당을 통해 재생 품질을 미세 조정하고 최적화하죠 중요한 스트림이 고화질로 재생되는지 확인합니다 여러분이 만들어낼 흥미진진한 멀티뷰 재생 경험이 기대됩니다 시청해 주셔서 감사합니다