-
Saiba mais sobre as tecnologias Apple Immersive Video
Explore os recursos das tecnologias Apple Immersive Video e Apple Spatial Audio Format para criar experiências realmente imersivas. Conheça o novo framework ImmersiveMediaSupport, que oferece recursos para ler e gravar os metadados necessários para ativar o Apple Immersive Video. Saiba as diretrizes para codificar e publicar conteúdo Apple Immersive Video em arquivos independentes para reprodução ou streaming via HLS. Para aproveitar ao máximo esta sessão, recomendamos primeiro assistir ao vídeo "Explore experiências de vídeo para o visionOS".
Capítulos
- 0:00 - Introdução
- 0:48 - Visão geral do Apple Immersive Video
- 2:36 - Metadados do Apple Immersive Video
- 5:13 - Ler arquivos AIVU
- 7:16 - Criar arquivos AIVU
- 8:43 - Publicar conteúdo Apple Immersive Video
- 10:29 - Conferir prévias de conteúdo Apple Immersive Video
- 11:21 - Apple Spatial Audio Format
- 12:39 - Apple Positional Audio Codec
Recursos
- Authoring Apple Immersive Video
- AVFoundation
- AVPlayerItemMetadataOutput
- Core Media
- HTTP Live Streaming (HLS) authoring specification for Apple devices
- Immersive Media Support
- What's new in HTTP Live Streaming
Vídeos relacionados
WWDC25
-
Buscar neste vídeo...
Olá! Meu nome é Blake. Sou engineer da equipe Apple Immersive Video. Neste vídeo, vou explicar os novos recursos do macOS e do visionOS 26 para criar o Apple Immersive Video. Com base nas experiências de vídeo do visionOS na WWDC25, vou explorar os perfis disponíveis no visionOS 26 e a visão geral do Apple Immersive Video. Assista primeiro a esse vídeo. Neste vídeo, vou abordar os recursos do Apple Immersive Video e tecnologias de Áudio Espacial para você criar experiências verdadeiramente imersivas. Vou começar com o Apple Immersive Video. O Apple Immersive Video é a experiência imersiva de alta qualidade para reprodução de vídeo no Apple Vision Pro, com vídeo de alta fidelidade e áudio totalmente imersivo: é como se você estivesse lá. Como o conteúdo é imersivo, ele requer câmeras específicas capazes de capturar vídeo de alta fidelidade, como o Blackmagic URSA Cine Immersive, projetado do zero para o Apple Immersive Video.
As câmeras para Apple Immersive Video são calibradas de fábrica para capturar a curvatura exata de cada lente estereoscópica.
As informações de calibração estão nos arquivos de vídeo. A calibração é usada nos metadados para projetar o vídeo.
Esta tabela, da WWDC25 "Explorar experiências de vídeo para visionOS" contém os diferentes formatos com suporte no visionOS 26. Para o Apple Immersive Video, ela usa um tipo de projeção paramétrica para as calibrações de câmera. O macOS e o visionOS 26 contam com o framework Immersive Media Support, que criam fluxos de trabalho personalizados. Ele permite ler e gravar os metadados essenciais para o Apple Immersive Video e fornece recursos para visualizar conteúdo em fluxos de trabalho editoriais. Para criar ferramentas de suporte a pipelines de produção de vídeo, como software de edição não linear ou ferramentas de compressão e codificação de vídeo, veremos como ler e escrever Apple Immersive Video, como publicar seu conteúdo e como visualizar seu conteúdo durante o processo de produção. Vou começar com os metadados, que permitem experiências do Apple Immersive Video. O Apple Immersive Video pode ser produzido usando várias câmeras. Como cada câmera tem uma calibração única, a combinação delas descreve os locais capturados. O tipo VenueDescriptor do framework Immersive Media Support contém uma combinação de todas as câmeras usadas no local. As informações do VenueDescriptor são armazenadas como Apple Immersive Media Embedded, ou AIMEData, que abordarei mais adiante. O tipo VenueDescriptor contém a referência às câmeras e ao modelo de visão da câmera, a capacidade de adicionar e remover câmeras, a referência ao seu AIMEData e a capacidade de salvá-lo em um URL, o que será importante mais tarde. Cada câmera usada é capaz de incluir mais informações do que apenas a calibração da câmera. Os pontos de uma máscara, ou mistura de bordas, usa alfa para mascarar as bordas do conteúdo.
Há outros recursos para calibrações de câmera, como definir as informações de posição de origem da câmera. Ambientes de fundo personalizados podem ser incluídos nas calibrações das câmeras. Para ver todos os recursos do VenueDescriptor e da ImmersiveCamera, consulte a documentação do Immersive Media Support. Como as calibrações da câmera são específicas para os quadros de vídeo no vídeo de saída, usamos metadados dinâmicos para definir a calibração para um determinado quadro. Há outros comandos de metadados dinâmicos cronometrados, representados como comandos de apresentação no framework Immersive Media Support e incluídos em seu arquivo de QuickTime de saída. Cada quadro de vídeo pode conter vários comandos de apresentação. Esses comandos acompanham todos os quadros da faixa de vídeo. Outro PresentationCommand é um shot flop, usado na edição por vários motivos, em que a imagem e os olhos são flopados sobre o eixo y. Como a câmera imersiva usa lentes estereoscópicas, ela torna um shot flop um processo editorial mais difícil, já que a imagem e os olhos são trocados. Mas usando o PresentationCommand, tudo isso é manipulado automaticamente pelo visionOS durante a reprodução. Além dos comandos de calibração da câmera e shot flop, há fades, que são renderizados dinamicamente e não embutidos no quadro de vídeo. Para obter mais detalhes sobre esses comandos, consulte os tipos PresentationDescriptor e PresentationCommand. Agora descreverei como usar Apple Immersive Video em seus próprios apps. Para segmentar conteúdo como HLS, editar arquivos do Apple Immersive Video ou criar um reprodutor personalizado, a leitura dos metadados é importante. Para uma experiência única com o Apple Immersive Video autônomo e baseado em arquivo, normalmente usado na produção, agora há um tipo de arquivo Apple Immersive Video Universal. O Apple Immersive Video Universal, ou arquivo AIVU, é um contêiner do seu vídeo de saída com o PresentationDescriptor incluído e tem o VenueDescriptor como metadados também incluído.
Os arquivos AIVU podem ser reproduzidos a partir do app Arquivos através da Visualização Rápida no visionOS. Para reproduzir o Apple Immersive Video em seu próprio app como um arquivo autônomo ou HLS, confira "Compatibilidade com a reprodução de vídeo imersiva em apps para visionOS", da WWDC25. Se estiver criando um app ou serviço para transmitir Apple Immersive Video ou compartilhar seu conteúdo com outras pessoas, os arquivos AIVU são a melhor maneira de ingerir ou compartilhar conteúdo com todos os metadados. Além do novo framework Immersive Media Support, há novas APIs no AVFoundation para auxiliar na leitura e gravação no formato Apple Immersive Video. Para ler o VenueDescriptor de um arquivo AIVU, use as APIs do AVFoundation familiares para carregar os metadados do ativo. Há um novo identificador quickTimeMetadataAIMEData para filtrar os metadados específicos para carregar AIMEData como um VenueDescriptor. Para ler os metadados do PresentationDescriptor, saiba o carimbo de data/hora do grupo de metadados da apresentação para os quadros de vídeo. Filtre com base no identificador quickTimeMetadataPresentationImmersiveMedia e decodifique o valor em um tipo de descritor de apresentação. Para obter mais informações sobre como obter o grupo de metadados cronometrados, consulte a API AVPlayerItemMetadataOutput no AVFoundation. Para escrever Apple Immersive Video, seja para uma ferramenta de produção ou como uma saída de um software de edição não linear, crie seus próprios arquivos AIVU. Ao criar Apple Immersive Video, há algumas coisas importantes a saber. Para o tipo de projeção de ativos de vídeo, você deve usar AppleImmersiveVideo. Esse tipo de projeção é definido como o tipo paramétrico específico para Apple Immersive Video, para saber como obter a projeção. Você também precisa gravar os valores VenueDescriptor e PresentationCommand nos metadados dos ativos de vídeo usando o AVAssetWriter. Use o descritor de local para recuperar o AIMEData a ser salvo em um AVMetadataItem com o identificador AIMEData. Para seus PresentationCommands, use o leitor PresentationDescriptor para obter os comandos por um tempo específico. Use o identificador de apresentação que mencionei antes para criar AVMetadataItems cronometrados que se alinham com a duração dos buffers de quadros de vídeo. Depois de criar os arquivos AIVU, você poderá verificá-los usando a função validate do AIVUValidator no framework Immersive Media Support. Isso gerará um erro para os problemas com a validação ou retornará true se for válido. Para obter detalhes sobre como usar o AVAssetWriter para gravar arquivos AIVU, consulte o projeto de exemplo "Criar Apple Immersive Video". Para publicar conteúdo imersivo da Apple, use a segmentação HLS para transmitir seu vídeo para o app. O Apple Vision Pro renderiza MV-HEVC em uma resolução recomendada de 4320 x 4320 por olho, 90 qps, com um espaço de cores P3-D65-PQ e Áudio Espacial da Apple sobre o qual falarei mais adiante neste vídeo. As camadas recomendadas para segmentar o Apple Immersive Video variam de um mínimo de 25 a 100 megabits por segundo para a largura de banda média e 50 a 150 megabits por segundo para o pico. É importante considerar a compensação entre qualidade e tamanho ao criar suas próprias camadas, mantendo a mesma resolução e taxa de quadros. Ao criar a lista de reprodução HLS, inclua seu VenueDescriptor como AIMEData salvo em um arquivo ao lado da lista de reprodução HLS para o Apple Vision Pro renderizar o conteúdo corretamente. Para criar seu arquivo AIME, salve o objeto VenueDescriptor usando a função de salvar e copie esse arquivo na lista de reprodução HLS. É importante manter o controle de metadados com seus segmentos de vídeo ao segmentar o arquivo QuickTime para manter os comandos PresentationDescriptor. Na lista de reprodução multivariantes HLS, há algumas tags importantes para chamar. O Apple Immersive Video requer a versão 12 ou superior, o ID de dados de descrição do local apontando para o arquivo AIME, um tipo de conteúdo totalmente imersivo e, além de usar o APAC Audio, sobre o qual falarei adiante neste vídeo, o layout de vídeo precisa ser estéreo e usar a projeção do Apple Immersive Video. Outra nova API importante no framework Immersive Media Support é o ImmersiveMediaRemotePreviewSender e Receiver. Esse método de visualização oferece suporte apenas a um desempenho de taxa de bits mais baixo do Apple Immersive Video e deve ser usado em fluxos de trabalho editoriais, em que a visualização rápida é útil e os arquivos de vídeo completos ainda não são processados. Um exemplo disso seria a visualização de conteúdo no Apple Vision Pro durante a edição do vídeo. Essas APIs foram projetadas para enviar quadros do Apple Immersive Video do Mac para o Apple Vision Pro. ImmersiveMediaRemotePreviewSender e Receiver permite enviar os quadros do Immersive Video para um ou vários receptores. Usando um compositor personalizado, ele permite a pré-visualização ao vivo no seu app para visionOS. Para obter mais informações, consulte a documentação do Immersive Media Support. O Áudio Espacial é tão importante quanto o vídeo para criar uma experiência imersiva. Criamos um novo formato para o Áudio Espacial chamado Apple Spatial Audio Format, ou ASAF. O ASAF é usado na produção para criar experiências de áudio verdadeiramente imersivas. O Apple Positional Audio Codec, ou APAC, é usado para codificar esse formato de áudio para fins de entrega. O ASAF permite experiências de áudio externalizadas, garantindo que pistas acústicas sejam usadas para renderizar o áudio. Ele é composto por novos metadados acoplados ao PCM linear e um novo e poderoso renderizador espacial integrado às plataformas Apple. Ele produz Áudio Espacial de alta resolução através de inúmeras fontes pontuais e cenas sonoras de alta resolução, ou ambissônicos de ordem superior. O áudio renderizado é completamente adaptável com base na posição e orientação do objeto, bem como na posição e orientação do ouvinte. Nada disso é embutido. Os sons no ASAF vêm de todas as direções, em qualquer posição e a qualquer distância. O ASAF é transportado dentro de arquivos de onda de transmissão com sinais PCM lineares e metadados. Normalmente, você usa ASAF na produção e, para transmitir áudio ASAF, precisará codificá-lo como um arquivo APAC mp4. O APAC distribui o ASAF de forma eficiente e o APAC é necessário para qualquer experiência com Apple Immersive Video. A reprodução do APAC está disponível em todas as plataformas Apple, exceto watchOS, e suporta canais, objetos, ambissônicos de ordem superior, diálogo, áudio binaural, elementos interativos e provisionamento para metadados extensíveis. Devido à eficiência desse codec, ele permite experiências espaciais imersivas em taxas de bits baixas como 64 kilobits por segundo. Para fornecer áudio espacial com HTTP Live Streaming, você precisa incluir a tag de mídia com as informações do canal de áudio e especificar APAC como um codec de áudio na tag de informações de fluxo. Para obter novos recursos no HLS, especificamente para suporte a áudio APAC, consulte o artigo Novidades no HLS. O conteúdo do ASAF pode ser criado e codificado no APAC usando os plug-ins Pro Tools da Apple, disponíveis em uma licença por usuário, ou o DaVinci Resolve Studio Editor da Blackmagic Design. Neste sessão, abordei os fundamentos dos metadados do Apple Immersive Video, como lê-lo e gravá-lo habilitado pelo framework Immersive Media Support e Áudio Espacial. Amplie seu app para oferecer suporte a experiências realmente imersivas com Apple Immersive Video e Áudio Espacial. Para aprender sobre outros formatos de vídeo imersivos para visionOS, consulte "Saiba mais sobre o perfil de mídia projetado da Apple". Para reproduzir o Apple Immersive Video, confira "Compatibilidade com a reprodução de vídeo imersiva em apps para visionOS" da WWDC25. Eu realmente amo assistir ao Apple Immersive Video, estou muito animado para que vocês criem mais experiências. Ah, e me envie seus arquivos Apple Immersive Video Universal para eu assisti-los. Obrigado.
-
-
6:23 - Read VenueDescriptor from AIVU file
func readAIMEData(from aivuFile: URL) async throws -> VenueDescriptor? { let avAsset = AVURLAsset(url: aivuFile) let metadata = try await avAsset.load(.metadata) let aimeData = metadata.filter({ $0.identifier == .quickTimeMetadataAIMEData }).first if let dataValue = try await aimeData.load(.value) as? NSData { return try await VenueDescriptor(aimeData: dataValue as Data) } return nil } -
6:50 - Read PresentationDescriptor from AIVU playback
func presentation(timedMetadata: [AVTimedMetadataGroup]) async throws -> [PresentationDescriptor] { var presentations: [PresentationDescriptor] = [] for group in timedMetadata { for metadata in group.items { if metadata.identifier == .quickTimeMetadataPresentationImmersiveMedia { let data = try await metadata.load(.dataValue) { presentations.append( try JSONDecoder().decode(PresentationDescriptor.self, from: data) ) } } } } return presentations } -
7:52 - Create AVMetadataItem from VenueDescriptor
func getMetadataItem(from metadata: VenueDescriptor) async throws -> AVMetadataItem { let aimeData = try await metadata.aimeData let aimeMetadataItem = AVMutableMetadataItem() aimeMetadataItem.identifier = .quickTimeMetadataAIMEData aimeMetadataItem.dataType = String(kCMMetadataBaseDataType_RawData) aimeMetadataItem.value = aimeData as NSData return aimeMetadataItem } -
8:02 - Create timed AVMetadataItem from PresentationDescriptorReader
func getMetadataItem(reader: PresentationDescriptorReader, time: CMTime, frameDuration: CMTime) -> AVMetadataItem? { let commands = reader.outputPresentationCommands(for: time) ?? [] if commands.isEmpty { return nil } let descriptor = PresentationDescriptor(commands: commands) let encodedData = try JSONEncoder().encode(descriptor) let presentationMetadata = AVMutableMetadataItem() presentationMetadata.identifier = .quickTimeMetadataPresentationImmersiveMedia presentationMetadata.dataType = String(kCMMetadataBaseDataType_RawData) presentationMetadata.value = encodedData as NSData presentationMetadata.time = time presentationMetadata.duration = frameDuration return presentationMetadata } -
8:20 - Validate AIVU file
func validAIVU(file aivuFile: URL) async throws -> Bool { return try await AIVUValidator.validate(url: aivuFile) } -
9:31 - Save AIME file
let aimeFile = FileManager.default.temporaryDirectory.appendingPathComponent("primary.aime") try? await venueDescriptor.save(to: aimeFile)
-
-
- 0:00 - Introdução
O visionOS 26 oferece novos recursos que permitem criar experiencias de Apple Immersive Video com Áudio Espacial.
- 0:48 - Visão geral do Apple Immersive Video
O Apple Immersive Video oferece reprodução de vídeo estereoscópica de alta fidelidade com áudio totalmente imersivo no Apple Vision Pro. Câmeras especializadas, como a Blackmagic URSA Cine Immersive, são calibradas para capturar a curvatura exata de cada lente estereoscópica, e essas informações de calibração são carregadas com os arquivos de vídeo para a projeção correta. O macOS e o visionOS 26 oferecem suporte a esse formato por meio do framework Immersive Media Support, permitindo fluxos de trabalho personalizados para criação, visualização e publicação de conteúdo.
- 2:36 - Metadados do Apple Immersive Video
O Apple Immersive Video pode ser produzido usando várias câmeras, cada uma com calibrações exclusivas. A combinação dessas câmeras descreve os locais capturados. Os VenueDescriptors incluem informações da câmera, máscaras de combinação de bordas, cenários personalizados e dados de calibração dinâmica para cada quadro de vídeo, armazenados como Apple Immersive Media Embedded, ou AIMEData. O framework Immersive Media Support permite integrar comandos de apresentação, como disparos de disquetes, fades e renderização dinâmica, que são manipulados automaticamente pelo visionOS durante a reprodução, simplificando o processo editorial de vídeos imersivos estereoscópicos. Consulte os tipos PresentationDescriptor e PresentationCommand para saber mais.
- 5:13 - Ler arquivos AIVU
O arquivo Apple Immersive Video Universal (AIVU) é um contêiner de saída de vídeo com metadados combinados. Você pode reproduzir arquivos AIVU em visionOS via Visualização Rápida na app Arquivos e em apps personalizados usando AVKit. O novo identificador de metadados AVAsset quickTimeMetadataAIMEData fornece acesso ao AIMEData como um VenueDescriptor, e os metadados PresentationDescriptor estão disponíveis por meio do AVTimedMetadataGroup.
- 7:16 - Criar arquivos AIVU
Para criar arquivos Apple Immersive Video (AIVU), use o tipo de projeção AppleImmersiveVideo e grave os valores VenueDescriptor e PresentationCommand nos metadados do seu ativo usando AVAssetWriter. A função validate do AIVUValidator pode então verificar os arquivos. Para obter mais informações, consulte o projeto de exemplo "Criar Apple Immersive Video".
- 8:43 - Publicar conteúdo Apple Immersive Video
Para publicar conteúdo imersivo da Apple, use a segmentação HLS com vídeo MV-HEVC a 4320 x 4320 por olho, 90 quadros por segundo e um espaço de cores P3-D65-PQ. As camadas recomendadas para segmentar Apple Immersive Video variam entre 25 e 150 Mbps para largura de banda média. Inclua seu arquivo AIME (VenueDescriptor) com a lista de reprodução multivariante HLS, bem como a faixa de áudio APAC. Sua playlist deve especificar a versão 12 ou superior, o tipo de conteúdo totalmente imersivo e o layout de vídeo estéreo com projeção Apple Immersive Video.
- 10:29 - Conferir prévias de conteúdo Apple Immersive Video
As novas APIs ImmersiveMediaRemotePreviewSender e Receiver no framework Immersive Media Support oferecem suporte à visualização ao vivo de baixa taxa de bits de Apple Immersive Video do Mac para Apple Vision Pro durante os fluxos de trabalho editoriais, permitindo a visualização em tempo real durante a edição. Confira a documentação do Immersive Media Support para saber mais.
- 11:21 - Apple Spatial Audio Format
O Apple Spatial Audio Format (ASAF) é um novo formato de produção que usa novos metadados, PCM linear e um renderizador espacial para criar Áudio Espacial de alta resolução. O ASAF permite áudio exteriorizado com som adaptativo de todas as direções, distâncias e posições. O ASAF é transportado dentro de arquivos de onda de transmissão com sinais PCM lineares e metadados.
- 12:39 - Apple Positional Audio Codec
Para transmitir áudio ASAF via HLS, codifique-o como um arquivo MP4 APAC usando os plugins Apple Pro Tools ou o DaVinci Resolve Studio Editor da Blackmagic Design. O APAC é necessário para qualquer experiência de Apple Immersive Video e está disponível em todas as plataformas Apple, exceto watchOS, permitindo a entrega eficiente de Áudio Espacial a baixas taxas de bits. Inclua a tag de mídia com informações de canal e especifique APAC na tag de informações de fluxo para fornecer áudio espacial com HLS.