Explore experiências de vídeo para o visionOS

Olá. Meu nome é Dave. Sou engineer na equipe visionOS Spatial Media.

Hoje, vamos explorar os diferentes tipos de mídia de vídeo disponíveis no visionOS, sendo que alguns são novidades no visionOS 26. O Vision Pro é um computador espacial que reproduz vídeos de alta qualidade do ambiente. Não importa para onde olhe, o Vision Pro acompanha você. Por isso, criadores de conteúdo têm uma tela de 360° para apresentar conteúdo envolvente. Não é apenas a uma tela plana na frente do espectador.

Isso possibilita diversas opções de reprodução de mídia, sendo que algumas só são possíveis em um computador espacial. Vamos explorar. Primeiro, vamos descobrir como reproduzir vídeos 2D e 3D no visionOS, além de algumas novidades interessantes do visionOS 26.

Vamos descobrir como o vídeo espacial permite que as pessoas façam seus próprios vídeos estéreo e como reproduzi-los no app. E vamos explorar os novos formatos imersivos para vídeo 180°, 360° e ultra-angular. Para ter a experiência imersiva definitiva, apresentamos o Apple Immersive Video.

Vamos aprender como criar conteúdo e ferramentas com o Apple Immersive.

Por fim, vamos comparar os três perfis de vídeo para ajudar você a escolher o perfil ideal para seu app.

Vamos começar com os vídeos 2D e 3D. O Vision Pro é excelente para assistir a programas de TV e filmes 2D. Como dispositivo estéreo, também é perfeito para assistir a filmes 3D estereoscópico.

Vídeos 2D podem ser reproduzidos em qualquer lugar da interface, com uma reprodução integrada, em que o vídeo aparece ao lado de outros elementos.

Este é um exemplo de reprodução de vídeo no Freeform como parte de um quadro cheio de conteúdo.

Ao incorporar um vídeo 3D, ele volta perfeitamente para a reprodução em 2D.

Os vídeos 2D e 3D podem ser reproduzidos em uma experiência expandida em uma tela flutuante no espaço compartilhado.

A experiência expandida é necessária para reproduzir um filme 3D de modo estereoscópico.

Os vídeos 2D e 3D também podem fazer a transição do dock para um ambiente virtual.

Este é um projeto de código de exemplo Destination Video, disponível em developer.apple.com, em que o vídeo desaparece da visualização expandida e reaparece, encaixado no ambiente de estúdio personalizado do próprio app, criado com o Reality Composer Pro.

O vídeo automaticamente exibe um derramamento de luz dinâmico para que pareça ser parte integrante do ambiente.

O encaixe em um ambiente é um ótimo exemplo de como a computação espacial permite à reprodução de vídeo ir além dos limites de uma tela fixa. E há muitas outras maneiras de a reprodução de vídeos 2D e 3D aproveitar ao máximo a tela infinita do Vision Pro.

O visionOS 2 lançou o vídeo com múltiplas perspectivas, que permite usar vários ângulos da câmera de um único evento ou várias fontes de vídeo simultaneamente no Vision Pro.

Novidade no visionOS 26: vídeos 2D e 3D podem especificar uma máscara dinâmica por quadro para alterar ou animar o tamanho e a proporção dos quadros, destacar um ponto da história ou combinar imagens de arquivo e do cotidiano em uma cena, sem exibir barras pretas para letterboxing ou pillar boxing.

As transições perfeitas, com enquadramento que melhor se adapta a cada foto, só são possíveis em um computador espacial. Para saber mais, consulte o documento "Metadados de carga de máscara retangular" em developer.apple.com.

O vídeo 3D é a melhor escolha para produções estéreo profissional projetadas para reprodução em tela grande. No entanto, o vídeo estéreo não precisa de um estúdio de cinema.

O Vision Pro é compatível com um novo tipo de mídia estéreo, o vídeo espacial, que as próprias pessoas podem gravar. Elas podem gravar conteúdo estéreo confortável e envolvente no iPhone, por exemplo, sem precisar conhecer as regras de filmagem 3D.

O vídeo espacial é um vídeo estéreo com metadados adicionais, que permite tratamento imersivo e em janelas no Vision Pro para atenuar as causas comuns do desconforto estéreo.

Por padrão, o vídeo espacial é renderizado através de uma janela, com um leve brilho nas bordas. E pode se expandir para uma reprodução imersiva, na qual o conteúdo é dimensionado para corresponder ao tamanho real dos objetos. A borda do quadro desaparece, e o conteúdo se mescla perfeitamente ao mundo real.

Os vídeos espaciais voltam para a apresentação 2D em outras plataformas, permitindo a reprodução em todos os dispositivos Apple. Dessa forma, as pessoas podem fazer conteúdo espacial para assistir

no Vision Pro e compartilhar suas memórias 2D com amigos e familiares que não têm um Vision Pro.

Descobrimos como vídeos 2D e 3D são reproduzidos em uma tela plana.

Nos vídeos espaciais, colocamos a tela plana atrás de uma janela e desfocamos as bordas da janela para suavizá-las. Isso ajuda a evitar problemas quando a janela corta o objeto mais do lado de um olho que do outro, o que causa desconforto.

Vídeos espaciais podem ser capturados no iPhone 15 Pro, iPhone 16 e iPhone 16 Pro, no app Câmera e no seu próprio app usando as APIs AVCaptureDevice. Também podem ser capturados no Apple Vision Pro e com as câmeras R7 e R50 da Canon com lente Canon Dual.

No visionOS 2, os vídeos espaciais podem ser reproduzidos com estilo espacial no app com a API QuickLook PreviewApplication.

No visionOS 26, trazemos esse mesmo estilo espacial para todo framework de reprodução de mídia da Apple. Também incluímos suporte a QLPreviewController no QuickLook e suporte no AVKit, RealityKit, Safari e WebKit, o que permite incorporar vídeos espaciais como você quiser no app, com suporte para HTTP Live Streaming ou HLS.

E, para editar e combinar vídeos espaciais no app para criar uma narrativa mais longa, o formato é compatível com as ferramentas de edição padrão de mercado, como Compressor, DaVinci Resolve Studio e Final Cut Pro.

Para conferir outros exemplos do que é possível fazer com vídeos e fotos espaciais, acesse o app Galeria Espacial no Vision Pro.

Para saber mais sobre os formatos de foto e vídeo espaciais, confira "Criar experiências de fotos e vídeos espaciais envolventes" da WWDC24. Para saber as novas formas de reproduzir vídeos espaciais no app, confira "Suporte à reprodução imersiva de vídeo em apps para visionOS".

Por falar em fotos espaciais, há uma nova API RealityKit no visionOS 26 para exibir fotos espaciais no app e converter fotos 2D em uma cena espacial 3D.

Para saber como apresentar fotos espaciais e criar cenas espaciais usando as novas APIS ImagePresentationComponent e Spatial3DImage, confira "Novidades no RealityKit".

Exploramos como os vídeos 2D, 3D e espaciais são reproduzidos em uma superfície plana no Vision Pro.

Isso ocorre porque eles normalmente usam uma projeção retilínea, como mostrado nesta foto do Apple Park Visitor Center.

Retilínea significa que as linhas retas são retas. Não há curvatura nem empenamento da lente no vídeo.

Por isso, esses vídeos parecem corretos quando reproduzidos em uma superfície plana sem curvatura ou deformação.

Aprendemos como a experiência de reprodução de vídeos retilíneos no Vision Pro amplia a superfície plana para preencher mais campo de visão, via incorporação para vídeos 2D e 3D e apresentação imersiva para vídeo espacial.

Mas, em um dispositivo de computação espacial, o limite não é uma superfície plana. Há ainda mais espaço ao redor que podemos preencher com pixels.

E existem outros tipos de vídeo não retilíneo, que são ótimos para preencher ainda mais o campo de visão, apresentando o vídeo em uma superfície curva, não plana.

O visionOS 26 inclui suporte nativo para três tipos de mídia não retilíneas: vídeos 180°, 360° e ultra-angular. Vamos explorar.

O vídeo 180° é reproduzido em uma meia esfera na frente do espectador.

Ele é projetado nessa meia esfera para preencher completamente o campo de visão do espectador.

O exemplo é um vídeo 180° do lago no Apple Park.

O espectador tem a sensação de estar lá. Essa é uma ótima maneira para criadores de conteúdo transportarem espectadores para locais incríveis.

O vídeo 180° é capturado em estéreo. E, por ser estéreo e preencher completamente o campo de visão frontal, parece que você está olhando para o objeto real.

O vídeo 360° vai além: preenche todo o mundo com conteúdo.

Com vídeo 360, o conteúdo literalmente envolve o espectador, dando a liberdade de olhar para onde quiser. Este é um exemplo de um vídeo 360° capturado sob o arco-íris no Apple Park. O espectador pode observar o ambiente em qualquer ângulo e sentir como se estivesse embaixo do arco-íris. A sensação é de que você realmente está lá.

Isso só é possível porque o vídeo 360° está em uma esfera que envolve completamente o espectador, centrado em nos olhos e preenchendo o campo de visão em todas as direções.

Isso é possível porque um quadro de vídeo retangular, com altura duas vezes maior do que a largura, é usado para cobrir 360° da cena na largura e 180° na altura.

Esse vídeo é mapeado em uma esfera ao redor do espectador com uma projeção equirretangular. O mapa-mundi é desenhado dessa forma: os polos norte e sul são esticados horizontalmente para mostrar uma representação plana de uma esfera.

A projeção do vídeo 180° é semelhante ao vídeo 360°, mas em meia esfera.

Isso é conhecido como uma projeção meio equirretangular. Vídeos meio equirretangulares são um quadrado e mapeiam o quadro de vídeo quadrado para a meia esfera, assim como vídeos 360° fazem para uma esfera completa.

No vídeo estéreo 180° temos dois quadrados de vídeo, um para cada olho.

Muitos vídeos estéreo 180° codificam esses dois quadrados lado a lado em um único buffer de pixel com o dobro da largura da resolução por olho. Isso é conhecido como codificação lado a lado ou empacotada em quadro.

No entanto, tudo é muito redundante. Por serem duas visões da mesma cena, as imagens do olho esquerdo e do olho direito são parecidas.

O Vision Pro aproveita essa semelhança para usar uma abordagem diferente para codificação de vídeo estéreo, conhecida como codificação com múltiplas perspectivas.

As plataformas Apple já têm suporte de hardware para HEVC, ou High Efficiency Video Coding, um codec moderno e rápido para compressão de vídeo.

Por isso, nos vídeos estéreo, usamos MV HEVC, ou MultiView HEVC.

No vídeo estéreo, o MV HEVC codifica cada olho em seu próprio buffer de pixels e grava esses dois buffers em uma única faixa de vídeo. Usa a semelhança da imagem para comprimir os pixels de um olho em relação ao outro, codificando apenas as diferenças para o segundo olho.

Isso proporciona um tamanho codificado menor de cada quadro, tornando os vídeos MV-HEVC estéreo menores e mais eficientes.

Isso é especialmente importante ao fazer o streaming de vídeo estéreo.

Para saber sobre codificação com múltiplas perspectiva e MV-HEVC, confira "Fornecer conteúdo de vídeo para experiências espaciais" da WWDC23.

Há um terceiro tipo de vídeo não retilíneo, uma novidade no visionOS 26: o vídeo ultra-angular de câmeras de ação, como a GoPro HERO13 e a Insta360 Ace Pro 2.

Essas câmeras de ação capturam imagens extremamente estabilizadas de qualquer aventura.

Elas capturam vídeo ultra-angular na horizontal, entre 120° e 180° e usam lentes semelhantes a olho de peixe que mostram a curvatura visível de linhas retas no mundo real.

Isso permite que capturar o máximo de visualização possível.

Esses tipos de vídeos são reproduzidos em dispositivos de tela plana, como o iPhone e o iPad, e são uma maneira divertida de reviver a aventura.

Mas, no visionOS 26, introduzimos uma nova forma de reprodução imersiva desse tipo de câmera de ação, recriando o perfil de lente grande-angular exclusivo de cada câmera como uma superfície curva em espaço 3D e colocando o espectador no centro da ação.

Como essa superfície curva corresponde ao perfil da lente da câmera, ela desfaz o efeito olho de peixe. O espectador vê linhas retas como retas, mesmo na borda da imagem.

Isso recria a sensação do mundo real capturada pela lente grande-angular, enquanto ainda exibe um campo de visão máximo.

As câmeras de ação ultra-angular têm muitos modos. O modo certo para usar depende do que você está gravando.

Alguns modos priorizam o meio da lente, para os casos em que é nesse local onde a ação acontece.

Outros priorizam as bordas da imagem para capturar imagem com o maior campo de visão. E há muito mais permutações. Para representar os diferentes modos e configurações de lente, precisamos de uma maneira mais expressiva de descrever como o mundo real é mapeado para pixels em uma imagem. Para tanto, usamos a matemática.

Cada lente tem sua própria forma e perfil.

Para modelar os diferentes perfis de lente, definimos vários parâmetros para, por exemplo, distância focal, inclinação e distorção da lente. Fabricantes de câmeras e lentes podem adaptar esses parâmetros para descrever uma grande variedade de lentes e como elas mapeiam o mundo real em pixels em uma imagem.

Por ser definida por parâmetros, chamamos essa projeção de projeção imersiva paramétrica.

No visionOS 26, os vídeos 180°, 360° e ultra-angular têm suporte nativo no visionOS por meio de um novo perfil de filme QuickTime chamado Apple Projected Media Profile (APMP).

Se você já trabalhou com filmes QuickTime e no formato de vídeo espacial, esse perfil parecerá muito familiar, com novos campos adicionados para descrever os novos tipos de projeção.

Atualizamos as especificações do documento "Edição de formato de mídia espacial e imersiva", em developer.apple.com, para descrever esse perfil. Também adicionamos conversão automática para APMP para muitos vídeos, em arquivos no Vision Pro e em seu próprio app.

Vídeos estéreo 180° capturados com o sistema EOS VR da Canon e convertidos com EOS VR Utility são automaticamente convertidos em APMP 180° no Vision Pro.

Vídeos 360° de dispositivos como a GoPro MAX e Insta360 X5 são automaticamente convertidos em APMP 360°.

Vídeos 180° e 360° que estão em conformidade com a versão equirretangular do Google Spherical Video v1 ou v2 também são detectados e convertidos.

E os vídeos direto das câmeras de ação recentes, como GoPro HERO13 e Insta360 Ace Pro 2, são automaticamente convertidos em APMP ultra-angular.

Isso é verdadeiro para capturas de lente única das câmeras 360° já mencionadas. E atualizamos a ferramenta de linha de comando "avconvert" no macOS para converter conteúdo 180° e 360° em APMP no Mac.

Como vídeos espaciais, o APMP é compatível com o visionOS 26 e as estruturas de mídia da Apple, incluindo suporte para HTTP Live Streaming.

O conteúdo APMP é compatível com reprodução expandida e imersiva, mas não com reprodução incorporada.

A reprodução imersiva posiciona o espectador no ponto exato da câmera, mesmo em cenas capturadas na ponta de uma prancha de surfe.

Isso significa que a reprodução imersiva é sensível ao movimento da câmera.

Para mitigar essa questão, adicionamos a detecção automática de movimento intenso no QuickLook, AVKit e RealityKit. A reprodução reduz automaticamente a imersão quando o movimento intenso é detectado, aumentando o conforto para o espectador durante cenas de movimento intenso. Há opções no app Ajustes para personalizar a detecção de movimento intenso de acordo com o nível de sensibilidade ao movimento de cada espectador.

Para se aprofundar ainda mais no novo Apple Projected Media Profile, incluindo como interpretá-lo e programá-lo para seu próprio conteúdo, confira "Saiba mais sobre o APMP".

Para obter a experiência imersiva definitiva, temos o Apple Immersive Video, disponibilizado para desenvolvedores e criadores de conteúdo pela primeira vez este ano. Este é um exemplo da série "Wildlife", no Apple TV+, que transporta espectadores para o Quênia, onde podem conhecer os elefantes no Sheldrick Wildlife Trust.

Essa cena seria quase impossível de vivenciar na realidade, mas com o Apple Immersive Video, parece que você está realmente lá.

Se você estiver usando a câmera Blackmagic URSA Cine Immersive, poderá criar, editar e distribuir Apple Immersive Video.

As especificações da câmera URSA Cine Immersive são surpreendentes.

Cada lente em cada câmera é calibrada individualmente na fábrica, usando a abordagem paramétrica que já vimos, mas ajustada a essa lente individual.

O Cine Immersive captura vídeo estéreo com 8160 x 7200 pixels por olho. São 59 megapixels por olho a 90 quadros por segundo.

São mais de 10 bilhões de pixels por segundo.

A URSA Cine Immersive captura vídeo ultra-angular a até 210° na horizontal e 180° na vertical, com uma nitidez próxima à do olho humano.

No visionOS 26, seu app pode reproduzir o Apple Immersive Video com todo framework de mídia do APMP, com suporte para HTTP Live Streaming. O conteúdo APMP, Apple Immersive Video, é compatível com reprodução expandida e imersiva, mas não com a reprodução incorporada.

Como os criadores levam o conteúdo com Apple Immersive para o Vision Pro? Há quatro etapas principais no pipeline de criação de conteúdo.

O primeiro é capturar vídeos na câmera imersiva URSA Cine.

Em seguida, editar esse vídeo no DaVinci Resolve Studio.

E visualizar e validar o conteúdo usando os novos apps Apple Immersive Video Utility para macOS e visionOS.

Por fim, segmentar o conteúdo no Compressor para distribuição via HTTP Live Streaming.

Desenvolvedores de apps que desejam criar ferramentas para o Apple Immersive Video, como um editor não linear ou uma ferramenta de pipeline personalizada, contam com o framework Immersive Media Support para macOS e visionOS 26. Esse framework permite interpretar e escrever conteúdo com Apple Immersive de modo programático.

Há muitos outros recurso do Apple Immersive Video que são exclusivos do formato, como mesclagem de borda por tomada, ambientes de fundo personalizados, o novo Apple Spatial Audio Format e pré-visualização ao vivo no Apple Vision Pro.

Vamos explorar um desses recursos: a mesclagem de bordas por tomada.

Cenas no Apple Immersive Video podem usar curvas de mesclagem personalizada para se adaptar ao conteúdo e ao enquadramento.

Essa não é uma máscara pré-processada. É uma curva dinâmica de mesclagem alfa que suaviza as bordas da tomada para fazer a transição para um fundo personalizado.

Isso é só uma amostra do que é possível fazer com o Apple Immersive Video. Para saber mais, consulte "Saiba mais sobre as tecnologias Apple Immersive Video".

Para encerrar, vamos analisar os perfis de mídia para ajudar a decidir quais são as opções ideais para a experiência de seu app.

Recapitulando, temos vídeos 2D e 3D em uma tela plana, vídeo espacial no qual o vídeo estéreo é inserido atrás de uma tela plana para uma apresentação em janela e exibido em escala real quando imersivo, vídeos 180° e 360° projetados em meia esfera e esfera completa, vídeo ultra-angular com malha curva que corresponde à projeção de uma lente grande-angular de uma câmera de ação e o Apple Immersive Video, com vídeo estéreo de alta resolução perfeitamente calibrado para cada lente da câmera que o capturou. Esses são os fundamentos para os perfis de vídeo, incluindo como eles podem ser capturados, suas características visuais, seu campo de visão horizontal e seu tipo de projeção.

Os vídeos 180°, 360° e ultra-angular podem ser mono ou estéreo. Normalmente, 180° é estéreo, e 360° e ultra-angular são mono.

Este é um lembrete de como todos os perfis podem ser apresentados durante a reprodução. A detecção de movimento intenso está ativada automaticamente nos três perfis APMP. Os vídeos 2D, 3D e espaciais oferecem reprodução 2D quando incorporados por causa de sua projeção retilínea.

O Vision Pro possibilita experiências de reprodução de vídeo empolgantes, de novas formas de reproduzir vídeos 2D e 3D a novos tipos de mídia que só fazem sentido em uma plataforma computação espacial.

Para começar a usar todos esses perfis de vídeo, confira nossos novos projetos de código Immersive Playback Sample para AVKit e RealityKit e novos projetos de código de exemplo para programar e usar o APMP e Apple Immersive Video.

Também fornecemos exemplos de downloads de vídeo e fluxos HLS para vídeo espacial, 180°, 360°, ultra-angular e Apple Immersive Video, disponíveis em developer.apple.com.

Para saber mais, confira as sessões de vídeo relacionadas sobre reprodução de vídeo imersiva, Apple Projected Media Profile e Apple Immersive Video. E como reproduzir todos esses tipos de mídia na web espacial no Safari e WebKit. E agora: Imersão... já!