Más información sobre Apple Projected Media Profile

Hola, soy Jon, ingeniero de Core Media Spatial Technologies. Hablaremos sobre la proyección de video no rectilínea en archivos QuickTime, actualizaciones a las estructuras Core Media, Video Toolbox y AVFoundation para leer, escribir y editar videos de Apple Projected Media Profile, o APMP, y el uso de Apple Positional Audio Codec para agregar audio espacial envolvente. Ya sea que ofrezcas cámaras con distintos campos de visión, desarrolles software de edición o apps con contenido multimedia, este video tendrá algo que te interese. Ve el video “Explora experiencias de video para visionOS” para obtener información importante sobre los videos inmersivos en visionOS 26. Repasemos lo que se dijo en esa sesión sobre los videos no rectilíneos. APMP es la novedad de visionOS 26. Admite videos de 180, 360 y campo de visión amplio. Dentro del perfil, un diferenciador clave es el tipo de proyección. Los videos 2D, 3D y espacial usan una proyección rectilínea. El video de 180 grados, usa proyección semiequirrectangular, el de 360 usa equirrectangular, y el de campo de visión amplio, una paramétrica. La equirrectangular, o proyección cilíndrica equidistante, es compatible con aplicaciones como Final Cut Pro. En ella, las coordenadas de pixeles son ángulos de latitud y longitud proyectados en las filas y columnas de un fotograma rectangular. El eje horizontal traza la longitud desde -180 a 180 grados. El vertical traza la latitud de -90 a 90 grados. La semiequirrectangular es similar, pero la X del fotograma es el rango de -90 a 90 grados. La paramétrica inmersiva representa parámetros intrínsecos y de distorsión de lentes, como los gran angular u ojo de pez. Los intrínsecos representan datos como la distancia focal, el centro óptico y la inclinación de los lentes. Los interpretamos como una matriz de 3x3, designada como “K” para la cámara matriz. Expresa el cambio de coordenadas 3D a 2D en el plano. Además, esta proyección puede representar parámetros de distorsión de lente, como distorsión radial. Estos corrigen la distorsión de barril: las líneas derechas se curvan según su distancia al centro óptico debido al diseño de lente gran angular. Aquí, los postes parecen estar curvados hacia el borde del lente. Se pueden especificar más características de distorsión de lente en esta proyección, como la distorsión tangencial o el límite de ángulo radial.

Ahora diré cómo usar las API de Apple para interactuar con el contenido APMP.

Describiré cómo se transmite el video APMP en archivos de película QuickTime y MP4. APMP permite señalizar el campo de visión de 180, 360 y el amplio en archivos QuickTime y MP4. Los archivos QuickTime contienen datos en jerarquía e incluyen pistas de audio y video, y los detalles de cada una. El formato ISO Base Media File Format o ISOBMFF para MP4 se adaptó de QuickTime. La unidad básica de organización de datos en un archivo ISOBMFF es un cuadro. Para visionOS 1, incluimos un cuadro de Video Extended Usage que indica el contenido estereoscópico o monoscópico. Para visionOS 26, agregamos cuadros a Video Extended Usage, o VEXU, para permitir la señalización del perfil. El cuadro Projection señala uno de los tipos de proyección. El cuadro Lens collection contiene parámetros para la proyección paramétrica inmersiva. View packing contiene datos de la disposición de los ojos en una imagen, ya sea de lado a lado o arriba y abajo. Este es un ejemplo de señalización mínima en un archivo equirrectangular monoscópico. El cuadro Projection con ProjectionKind que indica “equirrectangular”. Un archivo estereoscópico de 180 grados requiere también un cuadro Stereo view además de la proyección. Con estos bloques de construcción, se pueden señalizar otras combinaciones. Para más información sobre los cuadros de proyecciones en APMP, consulta QuickTime e ISO Base Media File Format, y las especificaciones de Medios envolventes y espaciales developer.apple.com. Ahora hablaré de capturar contenido APMP y flujos de trabajo APMP típicos. Pueden usarse diferentes cámaras para capturar contenido compatible con APMP. Por ejemplo, el sistema EOS VR de Canon para videos estereoscópicos de 180 grados. GoPro MAX o Insta360 X5 para videos de 360 grados. Y cámaras de acción, la como GoPro HERO 13 e Insta360 Ace Pro 2 para videos con campo de visión amplio. Final Cut Pro admite lectura y escritura de APMP para formatos de 360 grados. Pronto podrás exportar archivos MOV o MP4 con señalización APMP en software de edición de video. Para combinar, estabilizar y corregir la imagen estéreo en videos de 180 o 360, usa software del proveedor de la cámara. Si el editor ya está habilitado para APMP, exporta como MOV o MP4 con señalización. Por último, transfiere archivos al Apple Vision Pro con AirDrop o iCloud. Si el software no es compatible con Apple Projected Media, exporta como 180 o 360 con metadatos esféricos y usa la utilidad avconvert de macOS con la línea de comandos o una acción del Finder en uno o más archivos. Por último, transfiere archivos al Apple Vision Pro con AirDrop o iCloud. APMP sirve para señalizar videos mediante flujos de trabajo multimedia, como capturar o editar videos. En este flujo estereoscópico de 180, se puede usar señalización con APMP en cada paso. Captura el contenido con códecs HEVC, RAW o ProRes. Luego, edita usando ProRes. Para el contenido 3D, puedes usar archivos de película con fotogramas empaquetados, multivisualización, archivos separados para cada ojo o dos pistas de video. Aquí, la captura requiere dos archivos, y la edición se hace con contenido con fotogramas empaquetados en paralelo. Codifica y publica de forma eficiente con el códec de multivisualización HEVC o MV-HEVC en visionOS. Después de ver los flujos de trabajo y especificaciones de APMP, veamos cómo trabajar en macOS y visionOS 26 con archivos APMP usando las API existentes. Comenzaré con las capacidades de conversión de activos. Los desarrolladores de apps necesitan tiempo para adoptar la señalización con APMP, por lo que AVFoundation reconoce activos compatibles que usan señalización de metadatos V1 o V2. El contenido compatible de 180 o 360 tiene proyección equirrectangular y puede ser estereoscópico o monoscópico con fotogramas empaquetados. Usa la opción de creación de activos ShouldParseExternalSphericalTags para reconocer contenido esférico compatible y sintetizar extensiones de descripción de formato adecuadas. Esto hace que otras API traten el activo como si estuviera señalizado con APMP. Busca “convertedFromExternalSphericalTags” para determinar si se analizaron metadatos esféricos. visionOS 26 tiene admite parámetros de proyección de lentes y modos de campo de visión populares para cámaras como GoPro e Insta360. Vista Rápida te solicita convertir estos archivos al abrirlos. Convierte contenido de campo de visión amplio con ParametricImmersiveAssetInfo de la estructura ImmersiveMediaSupport. Crea una descripción con una proyección paramétrica inmersiva con parámetros de distorsión de lentes para cámaras compatibles. Con isConvertible, ve si se detectaron metadatos de una cámara compatible y reemplaza la descripción del formato con la nueva. Las API que usan este activo reconocerán el contenido como APMP de campo de visión amplio. Consulta “Convertir video proyectado a Apple Projected Media Profile” y aprende a crear formatos listos para entregar. Puedes leer videos APMP con API de contenido multimedia familiar. CoreMedia y AVFoundation identifican y leen contenido multimedia proyectado. Para identificar un archivo como conforme a un perfil APMP, usa la proyección no rectilínea en AVAssetPlaybackAssistant. Ve “Admitir reproducción de video inmersivo en apps visionOS” para más información.

Revisa las características para determinar si la pista indica una proyección no rectilínea. Luego, examina projectionKind para ver la proyección exacta señalada. ViewPackingKind identifica contenido con fotogramas empaquetados. Es compatible con fotogramas empaquetados en paralelo y por encima/por debajo. Edita contenido con AVVideoComposition de AVFoundation y familiarízate con CMTaggedBuffers. Los CMTaggedDynamicBuffers se usan en API para gestionar contenido estereoscópico, incluidas las API de edición, como VVideoComposition. Ofrecen una forma de especificar propiedades de los buffers subyacentes. Cada etiqueta CM contendrá una categoría y un valor. Esta etiqueta CM representa una categoría de StereoView que indica el ojo izquierdo.

Los CMTaggedDynamicBuffers pueden agruparse en búferes relacionados, como en este ejemplo. Agregamos una API para especificar el formato de búferes etiquetados producidos por un compositor y un método para pasarlos a solicitudes de composición. outputBufferDescription especifica qué tipo de CMTaggedBuffers producirá el compositor. Defínelo antes de comenzar la composición. Crea un par estereoscópico de CMTaggedBuffers, finaliza y pasa los búferes etiquetados.

Ahora hablaré de la escritura de activos de Apple Projected Media Profile.

Para un video monoscópico de 360 grados, uso AVAssetWriter para crear el activo. Con CompressionPropertyKey, especifico el tipo de proyección equirrectangular. Las propiedades de compresión se pasan a AVAssetWriterInput con AVVideoCompressionPropertiesKey.

Ahora, daré recomendaciones para publicar contenido APMP.

Estos son los límites recomendados para la reproducción en visionOS. Adapta los parámetros de codificación del códec a HEVC Main o Main 10 con 4:2:0. Se recomiendan los colores primarios de Rec 709 o P3-D65. El modo estéreo puede ser monoscópico o estereoscópico. La resolución para monoscópico es 7680x3840 y 4320x4320 por ojo para estereoscópico. Para velocidades de fotogramas, se recomiendan 30 cps para monoscópico 8K o estereoscópico 4K de 10 bits. La configuración de la tasa de bit depende del contexto y debe elegirse en función del caso de uso. Se recomienda no pasar de 150 megabits por segundo en la tasa de bits. Obtén más información en el documento “Perfil de interoperabilidad de video estéreo de Apple HEVC”. AVQT ahora es compatible con formatos de contenido 3D, espacial y APMP 180 y 360. Sirve para evaluar la calidad del contenido y ajustar los parámetros del codificador. También es útil para la optimización de la tasa de bits de los niveles HLS. Ahora puedes calcular métricas de calidad con el reconocimiento de proyecciones equirrectangulares y semiequirrectangulares. Mejoramos la especificación HTTP Live Streaming con compatibilidad para la transmisión de APMP y actualizamos las herramientas HLS para admitir APMP. Este es un manifiesto de ejemplo para un activo estereoscópico de 180 grados. El cambio clave está en la etiqueta EXT-X-STREAM-INFORMATION. El atributo REQ-VIDEO-LAYOUT especifica la proyección estéreo y semiequirrectangular. El segmento de mapa debe contener una extensión que indique la información de la proyección semiequirrectangular y de vista estéreo. Consulta “HLS Authoring Specification” en el sitio de Apple Developer para obtener más información. El Audio Espacial importa igual que el video al crear una experiencia envolvente. En el mundo real, el sonido puede venir de cualquier lugar. Para recrearlo, se requiere una tecnología capaz de representar todo el campo sonoro. Para este propósito diseñamos el Apple Positional Audio Codec, o APAC. Una capacidad importante de APAC es la codificación de audio ambisónico. Este audio es una técnica para grabar, mezclar y reproducir Audio Espacial.

Este tipo de grabación no está vinculada a un diseño de bocina específico, ya que el campo de sonido se codifica matemáticamente con funciones armónicas.

La captura de audio ambisónico graba el entorno de sonido 3D y usa el procesamiento de señales digital transformar las señales del micrófono con direccionalidad que se corresponde con los componentes armónicos esféricos. La combinación de estas señales representa con precisión el campo sonoro. “Orden” hace referencia a los componentes esféricos que representan una mezcla. El primero es de cuatro canales: uno omnidireccional y tres de audio orientados direccionalmente. Los de segundo orden usan nueve y, los de tercer orden, usan 16. Los ambisónicos de orden superior ofrecen una mayor resolución espacial. Apple Positional Audio Codec es un códec recomendado para codificar audio espacial, incluido el ambisónico. APAC decodifica en todas las plataformas de Apple, excepto watchOS. El codificador APAC accesible por AVAssetWriter admite ambisónicos de los tres órdenes. Estas son las configuraciones de salida necesarias para codificar los ambisónicos con AVAssetWriter. Las velocidades recomendadas para ambisónicos en APAC para APMP van de 384 kilobits por segundo para el primer orden a 768 para el tercero. El audio de APAC se puede segmentar y transmitir a través de HLS. Este video monoscópico equirrectangular tiene codificación de audio APAC y una pista ambisónica de tercer orden. Ahora que sabes sobre el tema, agrega compatibilidad con APMP a tu producto para que los usuarios puedan crear y compartir contenido envolvente. Si vendes cámaras, integra APMP para posibilitar la reproducción en el ecosistema de Apple. Usa Apple Positional Audio Codec para ofrecer un campo de audio envolvente con micrófonos ambisónicos. ¡Gracias por acompañarnos! Ahora, iré a capturar un video estereoscópico de 180 grados.