Explora experiencias de video para visionOS

Hola, soy Dave, un ingeniero del equipo visionOS Spatial Media.

Vamos a explorar todos los tipos de medios de video disponibles en visionOS, incluidos algunos nuevos en visionOS 26.

Vision Pro es una computadora espacial que muestra videos de alta calidad del mundo circundante.

Vision Pro está contigo dondequiera que mires, los creadores de contenido tienen 360° completos alrededor del espectador en los que pueden presentar contenido atractivo. No se limitan a una pantalla plana frente al espectador.

Esto permite una amplia gama de opciones de reproducción de medios, algunas que solo son posibles en una computadora espacial. Veamos cómo. Comenzaremos explorando cómo se pueden presentar videos 2D y 3D en visionOS, incluidas algunas nuevas características interesantes que llegarán en visionOS 26.

Veremos cómo el video espacial les permite a las personas capturar sus propios videos estéreo y algunas formas nuevas de reproducir esos videos en la app.

Aprenderemos sobre formatos de video inmersivo de 180°, 360° y campo de visión amplio.

Y, para disfrutar de la mejor experiencia inmersiva, existe Apple Immersive Video. Veremos cómo puedes crear tu propio contenido y herramientas inmersivas con Apple.

Por último, exploraremos cómo se comparan todos los diferentes perfiles para ayudarte a elegir el adecuado para tu app.

Empecemos con los videos 2D y 3D.

Vision Pro es un excelente dispositivo para disfrutar de películas y programas de TV en 2D y, como dispositivo estéreo, también es perfecto para ver películas en 3D.

Los videos 2D se pueden reproducir en línea en cualquier parte de la IU de la app mediante una experiencia de reproducción integrada, donde el video aparece junto con otros elementos de IU.

Se muestra un ejemplo de reproducción de video en línea en formato libre como parte de un tablero lleno de contenido.

Ten en cuenta que si insertas un video en 3D en línea, éste volverá sin problemas a reproducirse en 2D.

Tanto los videos 2D como los 3D se pueden reproducir en una experiencia ampliada en una pantalla flotante en el espacio compartido.

Ten en cuenta que se requiere una experiencia ampliada para reproducir una película en 3D estereoscópicamente.

Los videos 2D y 3D también pueden pasar a un estado acoplado en un entorno virtual.

Se muestra un ejemplo del proyecto de código de muestra de video de destino, disponible en developer.apple.com, donde el video se desvanece de la vista expandida y vuelve a aparecer, acoplado dentro del entorno de estudio personalizado de la app, creado con Reality Composer Pro.

El video muestra automáticamente un derrame de luz dinámico para que parezca una parte integral de ese entorno.

El acoplamiento a un entorno es un gran ejemplo de cómo la computación espacial permite que la reproducción de video vaya más allá de los límites de una única pantalla fija. Hay aún más formas en que la reproducción de video 2D y 3D puede aprovechar el lienzo infinito de Vision Pro.

visionOS 2 introdujo el video multivista, se puede disfrutar de múltiples ángulos de cámara de un solo evento o múltiples fuentes de video en Vision Pro.

Una novedad de visionOS 26 es que los videos 2D y 3D pueden usar máscaras dinámicas por cuadro para ajustar el tamaño y la relación de aspecto, acentuar momentos de la historia o combinar imágenes, sin mostrar barras negras.

Este tipo de transiciones fluidas, con un encuadre que se adapta mejor a cada toma, solo son posibles en una computadora espacial.

Para obtener más información, consulta "Metadatos de carga útil de máscara rectangular" en developer.apple.com.

El video 3D es el medio preferido para la producción de estéreo profesional diseñada para verse en una pantalla grande. Para obtener video estéreo no es necesario contar con un estudio cinematográfico.

Vision Pro admite un nuevo tipo de medios estéreo que las personas pueden capturar por sí mismas, conocido como video espacial.

Las personas pueden grabar contenido estéreo cómodo y atractivo en dispositivos como el iPhone sin necesidad de ser un experto en las reglas de la realización cinematográfica en 3D.

El video espacial es un video estéreo con metadatos adicionales, que permiten tratamientos inmersivos y en ventanas en Vision Pro para mitigar las causas comunes de incomodidad estéreo.

De forma predeterminada, el video espacial se renderiza a través de una ventana, con un brillo tenue alrededor de los bordes. También se puede expandir a una presentación inmersiva, donde el contenido se escala para que coincida con el tamaño real de los objetos. El borde dla estructura desaparece y el contenido se funde perfectamente con el mundo real.

Los videos espaciales vuelven automáticamente a la presentación 2D en otras plataformas, lo que permite reproducirlos en todos los dispositivos Apple.

Esto les permite capturar contenido espacial para disfrutarlo en Vision Pro y incluso compartir recuerdos en 2D con amigos y familiares que aún no lo tienen.

Vimos anteriormente cómo se presenta el video 2D y 3D en una pantalla plana. Para los videos espaciales, insertamos esa pantalla plana detrás de una ventana y difuminamos los bordes de la ventana para suavizarlos. Esto ayuda a evitar problemas cuando un objeto queda atrapado en la ventana más en un ojo que en el otro, lo que puede resultar incómodo de ver.

Hoy se pueden capturar videos espaciales en los iPhone 15 Pro, 16 y 16 Pro, en la app de cámara y en su propia app a través de las API AVCaptureDevice.

También, se pueden capturar videos espaciales con Apple Vision Pro y con las cámaras R7 y R50 de Canon con los lentes dual Canon.

En visionOS 2, los videos espaciales se pueden reproducir con estilo espacial en su propia app con la API QuickLook PreviewApplication.

En visionOS 26, traemos ese mismo estilo espacial a todos las estructuras de reproducción multimedia de Apple. Agregamos compatibilidad con QLPreviewController en QuickLook, además de compatibilidad con AVKit, RealityKit, Safari y WebKit, lo que permitirá incorporar videos espaciales como elijas en la app, con compatibilidad con HTTP Live Streaming o HLS.

Si buscas editar y combinar videos espaciales en la app para crear una narrativa más larga, el formato ahora es compatible con las herramientas de edición estándar de la industria, como Compressor, DaVinci Resolve Studio y Final Cut Pro.

Para ver más ejemplos de lo que es posible con los videos y las fotografías espaciales, consulta la app Galería Espacial en Vision Pro.

Para obtener información sobre los formatos de fotografía y video espaciales, mira "Crear experiencias atractivas de fotografía y video espaciales" de WWDC24.

Para obtener información sobre las formas en que puedes reproducir videos espaciales en la app, mira "Admitir reproducción de video inmersivo en apps visionOS". Hablando de fotos espaciales, hay una nueva API RealityKit en visionOS 26 para mostrar fotos espaciales en la app y para convertir fotos 2D en una escena espacial 3D.

Para aprender a presentar fotografías espaciales y generar escenas espaciales mediante las nuevas API ImagePresentationComponent y Spatial3DImage, consulta "Novedades de RealityKit".

Vimos anteriormente cómo los videos 2D, 3D y espaciales se reproducen en una superficie plana en Vision Pro. Estos videos generalmente utilizan lo que se conoce como proyección rectilínea, como se ve en esta foto del centro de Visitantes de Apple Park.

Rectilíneo simplemente significa que las líneas rectas son rectas. No hay curvatura ni deformación del lente en el video.

Y gracias a esto, este tipo de videos se sienten correctos cuando se ven en una superficie plana que tampoco tiene ninguna curvatura o deformación.

Vimos cómo la experiencia de reproducción de estos videos rectilíneos en Vision Pro expande esa superficie plana para rellenar más del campo de visión del espectador, mediante acoplamiento para video 2D y 3D y presentación inmersiva para video espacial.

En un dispositivo de computación espacial, no estamos restringidos a una superficie plana frente al espectador. Hay más espacio alrededor de ellos que podemos llenar con píxeles.

Hay otros tipos de video no rectilíneos que son excelentes para llenar aún más el campo de visión del espectador, al presentar el video en una superficie curva, no plana.

visionOS 26 agrega soporte nativo para tres de estos tipos de medios no rectilíneos: Video de 180°, video de 360° y video con campo de visión amplio. Veamos cómo.

El video de 180 grados se presenta en una media esfera directamente frente al espectador.

El video se proyecta sobre esa media esfera para llenar completamente el campo de visión frontal del espectador.

En este ejemplo, se trata de un video de 180 grados del estanque en Apple Park.

Desde el punto de vista del espectador es como estar allí. Esta es una excelente manera para que los creadores de contenido transporten a sus espectadores a lugares increíbles.

El video de 180 grados normalmente se captura en estéreo. Como es estéreo y llena completamente tu campo de visión frontal, parece como si estuvieras viendo algo real.

El video 360° lleva todo un paso más allá, llenando el mundo entero de contenido.

Con el video 360° el contenido rodea literalmente al espectador, dándole la libertad de mirar donde quiera. Aquí hay un ejemplo de un video de 360° capturado bajo el arcoíris en Apple Park. El espectador puede mirar alrededor desde cualquier ángulo y sentirse como si estuviera allí mismo, debajo del arcoíris. Todo parece igual que si estuvieran allí en persona.

Para lograrlo, el video 360° se envuelve en una esfera que rodea completamente al espectador, centrado en sus ojos y llenando su campo de visión sin importar donde mire.

Para lograr esto se utiliza un marco de video rectangular, con el doble de ancho que de alto, cubriendo 360° de la escena en su ancho y 180° en su alto.

Este video se proyecta en una esfera alrededor del espectador con una proyección equirectangular.

Esto es como cuando se dibuja un mapa del mundo, donde los polos norte y sur se estiran horizontalmente para mostrar una representación plana de una esfera.

La proyección de un video de 180° es similar a la de un video de 360°, pero para media esfera.

Esto se conoce como media proyección equirectangular. Los videos con media proyección equirectangular forman un cuadrado y mapean su cuadro sobre la media esfera igual que lo hacen los videos de 360°.

Para el video estéreo 180°, simplemente tenemos dos cuadrados de video, uno para cada ojo.

Muchos videos estéreo de 180° codifican estos dos cuadrados, uno al lado del otro, en un único búfer de píxeles que es el doble de ancho que la resolución por ojo. Esto se conoce como codificación lado a lado o empaquetada en cuadros.

Sin embargo, aquí hay mucha redundancia. Como son dos vistas de la misma escena, las imágenes del ojo izquierdo y derecho son similares.

Vision Pro aprovecha esta similitud para utilizar un enfoque diferente para codificar video estéreo, conocido como codificación multivista.

Las plataformas de Apple ya tienen soporte de hardware para HEVC, o codificación de video de alta eficiencia, un códec moderno y rápido para la compresión de video.

Por lo tanto, para los videos estéreo, usamos MV HEVC o MultiView HEVC.

Para el video estéreo, MV-HEVC codifica cada ojo en su propio búfer de píxeles y escribe esos dos búferes juntos en una sola pista de video. Aprovecha la similitud de la imagen para comprimir los píxeles de un ojo, en relación con el otro, codificando solo las diferencias para el segundo ojo.

Proporciona un tamaño codificado más pequeño para cada fotograma, haciendo que los videos MV-HEVC estéreo sean más pequeños y eficientes.

Es particularmente importante cuando se transmite video estéreo.

Para obtener información sobre codificación multivista y MV-HEVC, mira "Entrega de contenido de video para experiencias espaciales" del WWDC23.

Hay un tercer tipo de videos no rectilíneo nuevo en visionOS 26: Video de campo de visión amplio de cámaras de acción como GoPro HERO13 e Insta360 Ace Pro 2.

Estas cámaras de acción capturan imágenes altamente estabilizadas de cualquier aventura en la que las lleves. Capturan un amplio campo de visión horizontal, entre 120° y 180° y a menudo utilizan lentes tipo ojo de pez que muestran la curvatura visible de las líneas rectas.

Esto les permite capturar la mayor parte de la vista.

Tradicionalmente, este tipo de videos se disfrutaron en dispositivos de pantalla plana como iPhone y iPad y esta es una forma divertida de revivir la aventura.

En visionOS 26 presentamos una nueva forma de reproducción inmersiva para este tipo de cámaras de acción, recreando el perfil único de lente gran angular de cada cámara como una superficie curva en el espacio 3D y colocando al espectador en el centro de la acción.

Porque esa superficie curva coincide con el perfil de la lente de la cámara, deshace efectivamente el efecto de ojo de pez y el espectador ve las líneas rectas como rectas, en el borde de la imagen.

Esto recrea la sensación del mundo real capturado por la lente gran angular, sin dejar de mostrar un campo de visión máximo.

Las cámaras de acción con campo de visión amplio tienen muchos modos diferentes y el modo correcto para usar depende de lo que fotografies.

Algunos modos priorizan el centro del lente, para los casos en los que ahí es donde está la acción.

Otros modos dan prioridad a los bordes del encuadre para capturar un campo de visión lo más amplio posible. Y hay muchas más transformaciones. Para representar todos estos diferentes modos y configuraciones de lentes, necesitamos una forma más expresiva de describir cómo se asigna el mundo real a los píxeles de una imagen. Para ello, utilizamos las matemáticas.

Los diferentes lentes tienen diferentes formas y perfiles.

Para modelar estos diferentes perfiles de lente, definimos un montón de parámetros para cosas como la distancia focal, el sesgo y la distorsión de la lente. Los fabricantes de cámaras y lentes pueden adaptar estos parámetros para describir una amplia variedad de lentes y cómo mapean el mundo real en píxeles.

Ya que está definida por parámetros, llamamos a esta proyección una inmersiva paramétrica.

En visionOS 26, estos videos inmersivos, de 180°, 360° y video con campo de visión amplio, son compatibles con visionOS a través de un nuevo perfil de película de QuickTime llamado Apple Projected Media Profile o APMP.

Si ya trabajaste con películas QuickTime y el formato de video espacial, este perfil te resultará familiar, con nuevos campos para describir cada uno de los nuevos tipos de proyección.

Actualizamos la especificación de la edición de formato multimedia espacial e inmersivo en el developer.apple.com para cubrir todos los detalles de este nuevo perfil. También, agregamos la conversión automática a APMP para muchos videos existentes, tanto en archivos Vision Pro como en tu propia app.

Los videos estéreo de 180° capturados con el sistema EOS VR de Canon y convertidos con la utilidad EOS VR se convierten automáticamente a 180° APMP cuando se abren en Vision Pro.

Los videos de 360° en dispositivos como GoPro MAX e Insta360 X5 se convierten automáticamente a 360° APMP.

Se detectan y convierten videos de 180° y 360° que se ajustan a la versión equirrectangular del video esférico V1 o V2 de Google.

Los videos directamente de las cámaras, como la GoPro HERO13 y la Insta360 Ace Pro 2, se convierten automáticamente a formato APMP con campo de visión amplio.

Lo mismo ocurre con las capturas de un solo lente de las cámaras de 360° mencionadas anteriormente. Actualizamos la herramienta de línea de comandos AV Convert en macOS para convertir el contenido existente de 180° y 360° a APMP en Mac.

APMP se puede reproducir en visionOS 26 por todos las estructuras de reproducción de medios de Apple, con soporte para HTTP Live Streaming.

Ten en cuenta que el contenido APMP es compatible con la reproducción expandida e inmersiva, pero no con la reproducción en línea incrustada.

La reproducción inmersiva de video pone al espectador justo donde estaba la cámara, incluso si esa cámara estaba en el extremo de una tabla de surf.

Esto significa que la reproducción inmersiva es especialmente sensible al movimiento de la cámara.

Para ayudar a mitigarlo, agregamos detección automática de alto movimiento en QuickLook, AVKit y RealityKit.

La reproducción reducirá automáticamente la inmersión cuando se detecte mucho movimiento, lo que puede ser más cómodo para el espectador durante las escenas de alto movimiento.

Hay opciones en la app Configuración para personalizar la detección de movimiento para que coincida con el nivel personal de sensibilidad al movimiento del espectador.

Para profundizar aún más en el nuevo perfil de medios proyectados de Apple, incluso cómo leerlo y escribirlo, consulta "Más información sobre el perfil de medios proyectados de Apple".

Para disfrutar de la mejor experiencia, está Apple Immersive Video, que está disponible para desarrolladores y creadores de contenido por primera vez este año.

Este es un ejemplo de la serie de Apple TV+, “Wild Life”, que transporta a los espectadores a conocer a los elefantes en el Sheldrick Wildlife Trust en Kenia.

Esta escena sería casi imposible de experimentar en la realidad, pero con Apple Immersive Video, se siente como si realmente estuvieras allí.

Si trabajas con la cámara inmersiva Blackmagic URSA Cine, puedes crear, editar y distribuir Apple Immersive Video tú mismo.

Las especificaciones de la cámara inmersiva URSA Cine son asombrosas.

Cada lente de cada cámara se calibra individualmente en la fábrica, utilizando el enfoque paramétrico que vimos anteriormente, pero ajustado a esa lente individual.

El Cine Immersive captura video estéreo con 8.160 x 7.200 píxeles por ojo. Es decir, 59 megapíxeles por lente a 90 fotogramas por segundo.

Eso es más de 10 mil millones de píxeles por segundo.

La cámara inmersiva URSA Cine captura hasta 210° de campo de visión horizontal y 210° verticalmente, con una nitidez que se acerca a la del ojo humano.

En visionOS 26, tu app puede reproducir Apple Immersive Video con las mismas estructuras de contenido multimedia que APMP, compatible con HTTP Live Streaming. Como APMP, contenido de inmersivo de Apple es compatible con la reproducción expandida e inmersiva, pero no con la reproducción en línea incrustada.

¿Cómo llevan los creadores su contenido inmersivo de Apple a Vision Pro? Hay cuatro pasos principales en el proceso de creación de contenido.

Primero, capturan el video con la cámara inmersiva URSA Cine.

A continuación, edita ese video en DaVinci Resolve Studio.

A continuación, previsualizan y validan el contenido con las nuevas apps de la Utilidad de Apple Immersive Video para macOS y visionOS.

Por último, segmentan el contenido en Compressor para distribuirlo a través de HTTP Live Streaming.

Para los desarrolladores de apps profesionales que quieran crear sus propias herramientas para trabajar con el Apple Immersive Video, como un editor no lineal o una herramienta de canalización personalizada, presentamos la estructura Immersive Media Support para macOS y visionOS 26. Esta estructura te permite leer y escribir contenido inmersivo de Apple mediante programación.

Hay muchas más capacidades de Apple Immersive Video que son exclusivas del formato, incluso las mezclas de bordes por toma, los entornos de fondo personalizados, el nuevo formato audio espacial de Apple y la vista previa en vivo en Apple Vision Pro.

Profundicemos un poco más solo en una de estas mezclas de bordes por toma.

Cada toma de un Apple Immersive Video puede definir una curva de fusión de bordes personalizada que se adapte mejor a su contenido y encuadre.

No es una mascarilla horneada. Se trata de una curva de mezcla alfa dinámica que difumina los bordes de la toma para convertirla en un fondo personalizado.

Eso es solo una muestra de lo que es posible con Apple Immersive Video. Consulta "Conoce las tecnologías de Apple Immersive Video" para obtener más información.

Terminemos mirando todos estos perfiles de medios juntos para ayudar a decidir cuáles son los adecuados para la experiencia de la app.

Para recapitular, tenemos video 2D y 3D presentado en una pantalla plana, video espacial donde el video estéreo se inserta detrás de una pantalla plana para una presentación en ventana y se muestra a escala real cuando está inmersivo, video de 180° y 360° proyectado en una media esfera y una esfera completa, video de campo de visión amplio con una malla curva que coincide con la proyección de una lente gran angular de una cámara de acción y Apple Immersive Video, con video estéreo de alta resolución perfectamente calibrado para cada lente de la cámara que lo capturó.

Estos son todos los fundamentos de estos diferentes perfiles de video, incluida la forma en que se pueden capturar, sus características visuales, su campo de visión horizontal y su tipo de proyección.

Ten en cuenta que los videos de 180°, 360° y campo de visión amplio pueden estar en modo monocromático o estéreo. 180° es estéreo y 360° y un campo de visión amplio son mono.

Hay un recordatorio de cómo se pueden presentar todos los diferentes perfiles durante la reproducción. Ten en cuenta que la detección de alto movimiento se habilita automáticamente para los tres perfiles APMP. Los videos 2D, 3D y espaciales ofrecen reproducción en 2D cuando se incrustan en línea debido a su proyección rectilínea.

Vision Pro permite muchas experiencias emocionantes de reproducción de video, desde nuevas formas de experimentar videos 2D y 3D, hasta nuevos tipos de medios que solo tienen sentido en una plataforma de computación espacial. Para empezar a utilizar todos estos perfiles de video, mira los nuevos proyectos de código de muestra de reproducción inmersiva para AVKit y RealityKit y a los nuevos proyectos de código de muestra para escribir y trabajar con APMP y Apple Immersive Video.

Proporcionamos ejemplos de descargas de video y transmisiones HLS, 180°, 360°, campo de visión amplio y Apple Immersive Video, disponibles en developer.apple.com.

Para obtener información, consulta las sesiones relacionadas con reproducción de video inmersivo, perfil de medios proyectados de Apple y Apple Immersive Video. Y cómo reproducir todos estos tipos de medios en la web espacial en Safari y WebKit.

Ahora: ¡Vamos a... sumergirnos!