Incorpora la conversión avanzada de voz a texto a tu app con SpeechAnalyzer

¡Hola! Soy Donovan, ingeniero del equipo de la estructura Speech. Y yo soy Shantini, ingeniera del equipo de Notas. Este año, presentamos la próxima evolución de la API y tecnología de detección de voz: SpeechAnalyzer. Hablaremos de la API SpeechAnalyzer y sus conceptos más importantes. Como también de algunas de las nuevas funcionalidades del modelo de la API. Y haremos una demo de codificación en vivo de cómo usar la API. SpeechAnalyzer ya potencia funcionalidades de muchas apps del sistema, como Notas, Notas de Voz, Diario y más.

Cuando combinamos SpeechAnalyzer y Apple Intelligence, creamos funcionalidades potentes, como Resumen de Llamadas. Luego te mostraré cómo crear tu propia funcionalidad de transcripción en vivo con la API. Primero, Donovan te describirá la nueva API SpeechAnalyzer. La conversión de voz a texto o reconocimiento automático de voz, ASR, es una tecnología versátil que crea una gran experiencia de usuario convirtiendo la voz en tiempo real o grabada en texto fácil de mostrar o interpretar por un dispositivo. Las apps almacenan, buscan o transmiten ese texto en tiempo real o lo envían a un gran modelo de lenguaje basado en texto.

En iOS 10, presentamos SFSpeechRecognizer. Esa clase te dio acceso al modelo de voz a texto de Siri. Funcionó bien para dictados cortos y podía usar servidores Apple en dispositivos con recursos limitados. Pero no resolvía algunos casos de uso tan bien como queríamos y dependía del usuario para agregar idiomas. En iOS 26, presentamos una nueva API para todas las plataformas, llamada SpeechAnalyzer, que admite más casos de uso y los ejecuta mejor. La nueva API usa el poder de Swift para procesar voz a texto y administrar los activos del modelo en el dispositivo del usuario con muy poco código. Además, ofrecemos un nuevo modelo de conversión de voz a texto que ya funciona en las apps en nuestras plataformas. El nuevo modelo es más rápido y flexible que el disponible a través de SFSpeechRecognizer. Es ideal para audio de larga duración y a distancia, como conferencias, reuniones y conversaciones. Debido a estas mejoras, Apple usa este nuevo modelo (y nueva API) en Notas y en otras apps que mencionamos antes. Puedes usar estas nuevas capacidades para crear tu propia app con las mismas funcionalidades de conversión de voz a texto de Notas y nuestras otras apps. Pero primero, veamos el diseño de la API. La API consta de la clase SpeechAnalyzer junto con varias otras clases. La clase SpeechAnalyzer administra una sesión de análisis. Puedes agregar una clase “módulo” a la sesión para ejecutar un análisis específico. Agregar un módulo transcriptor a la sesión la convierte en una sesión de transcripción que procesa de voz a texto. Los búferes de audio se pasan al analizador, que los conduce del transcriptor a su modelo de conversión de voz a texto. El modelo predice el texto que corresponde al audio y devuelve ese texto, junto con algunos metadatos, a tu app.

Funciona de forma asíncrona. Tu app puede agregar audio a medida que esté disponible en una tarea y mostrar o procesar los resultados en otra tarea aparte. Las secuencias asíncronas de Swift almacenan y desacoplan la entrada y los resultados.

La sesión “Conoce AsyncSequence” de la WWDC21 cubre cómo proveer una secuencia de entrada y cómo leer la secuencia de resultados.

La API usa el código de tiempo del audio pertinente para relacionar la entrada con los resultados. Las operaciones de la API se programan con códigos de tiempo en la línea de tiempo de audio, por lo que su orden es predecible y no depende de su ejecución. Los códigos de tiempo son precisos hasta en una muestra de audio individual. Mira cómo el transcriptor entrega resultados en secuencia. Cada uno cubre su propio rango de audio sin solaparse. Así es como suele funcionar. Pero, como opción, la transcripción puede ser iterativa en un rango de audio. Puede ser útil para dar una respuesta más inmediata en la IU de la app. Puedes mostrar un resultado inicial de inmediato y, a los segundos, mostrar mejores iteraciones de ese resultado. Les decimos “resultados volátiles” a los resultados iniciales. Se entregan casi tan pronto como se dicen, pero son conjeturas menos precisas. Sin embargo, mejora su transcripción a medida que obtiene más audio con más contexto. Al final, el resultado será lo mejor posible y el transcriptor entregará un último “resultado final”. Una vez que hace eso, el transcriptor no entregará más resultados para este rango de audio y pasará al siguiente rango. Mira cómo los códigos de tiempo muestran que los resultados mejorados reemplazan los anteriores. Esto solo sucede cuando habilitas resultados volátiles. Normalmente, el transcriptor solo entrega resultados finales y ninguno reemplaza los anteriores. Puedes crear una opción de transcripción en una sola función si lo que necesitas es leer el archivo y devolver la transcripción. Es un trabajo que no necesita manejo de resultados volátiles ni mucha concurrencia. Aquí está la función. Aquí creamos el módulo transcriptor. Le indicamos la ubicación a la que queremos transcribir. Aún no tiene resultados, pero los leeremos a medida que lleguen y usaremos la versión AsyncSequence de “reduce” para concatenarlos. Haremos esto en segundo plano con “async let”. Aquí creamos el analizador y agregamos el módulo transcriptor. Luego analizaremos el archivo. El método analyzeSequence lee el archivo y agrega su audio a una secuencia de entrada. Tras leer el archivo, le decimos al analizador que termine, porque no tenemos previsto trabajar con más audio. Finalmente, devolvemos la transcripción que estamos ensamblando en segundo plano. Serán las palabras habladas en el archivo, como una cadena con un solo atributo. Y terminamos. Ya vimos los conceptos y el uso básico de la API. Agregas módulos a una sesión de análisis para realizar la transcripción. Funciona concurrente y asíncronamente, desacoplando la entrada de audio de los resultados. Correlaciona audio, resultados y operaciones con la línea de tiempo de audio de la sesión. Algunos de los resultados son volátiles, si así deseamos, y el resto son definitivos y no cambiarán. Y mostré cómo las piezas encajan en un caso de uso de una sola función. Shantini demostrará cómo se puede expandir el trabajo de esa función a diferentes vistas, modelos y modelos de vista. Te mostrará varios métodos y propiedades de las clases SpeechAnalyzer y Transcriber que puedes usar para ocuparte de algunas necesidades comunes. También podrás leer sobre esto en la documentación. Ahora, describiremos algunas ventajas del nuevo modelo de conversión de voz a texto de la clase SpeechTranscriber. SpeechTranscriber funciona con un nuevo modelo diseñado por Apple para admitir un amplio espectro de casos de uso. Queríamos un modelo que admitiera casos de uso conversacionales y de larga duración en los que los oradores no están cerca del micrófono, como al grabar una reunión. También queríamos habilitar transcripciones en vivo que exijan baja latencia sin sacrificar la precisión ni la legibilidad, y mantener la privacidad del discurso. El nuevo modelo en el dispositivo logra todo eso. Colaboramos con socios internos para diseñar una gran experiencia para los desarrolladores. Y ahora puedes admitir los mismos casos de uso en tus propias apps. Con SpeechTranscriber, obtienes un modelo de conversión de voz a texto que no tienes que adquirir ni administrar por tu cuenta. Solo instala los activos relevantes del modelo con la nueva API AssetInventory. Podrás descargarlos cuando los necesites. El modelo se guarda en el almacenamiento del sistema y no aumenta el tamaño de descarga o almacenamiento de tu app. Tampoco aumenta el tamaño de la memoria en tiempo de ejecución. Opera fuera del espacio de memoria de tu app, por lo que no tienes que preocuparte por exceder el límite de tamaño. Mejoramos constantemente el modelo y el sistema instala automáticamente las actualizaciones cuando estén disponibles. SpeechTranscriber puede transcribir estos idiomas y otros por venir, y está disponible para todas las plataformas excepto watchOS, con ciertos requisitos de hardware. Si necesitas un idioma o dispositivo no compatible, ofrecemos otra clase de transcriptor: DictationTranscriber. Admite los mismos idiomas, modelo de conversión de voz a texto y dispositivos que SFSpeechRecognizer en el dispositivo iOS 10. Pero NO necesitas decirles a tus usuarios que vayan a Configuración y activen Siri o el dictado del teclado para cualquier idioma en particular. Esta es la introducción a la nueva API y modelo. Bastante abstracto, pero ya lo volveremos concreto. Vayamos con Shantini, te mostrará cómo integrar SpeechAnalyzer en tu app. ¡Gracias por ese gran resumen, Donovan! Quizás ya viste las funcionalidades que agregamos a Notas en iOS 18 para grabar y transcribir llamadas telefónicas, audio en tiempo real y grabado. Además, las integramos con Apple Intelligence para obtener resúmenes útiles y eficientes. Colaboramos con el equipo de Speech para conseguir que SpeechAnalyzer y SpeechTranscriber nos permitan ofrecer una funcionalidad Notas de alta calidad. SpeechTranscriber es una gran opción porque es rápida, precisa incluso a grandes distancias y en el dispositivo. Una de nuestras metas adicionales fue permitirte a ti, el desarrollador, crear funcionalidades como las de Notas y personalizarlas a las necesidades de tus usuarios. Me encantaría empezar con eso. Veamos una app que estoy creando con transcripción en tiempo real. Mi app es para niños, y graba y transcribe cuentos para dormir que luego puedes reproducir. Aquí están los resultados de la transcripción en tiempo real.

Cuando reproduces el audio, se resalta el segmento de texto correspondiente, para que puedan seguir la historia. Veamos la configuración del proyecto.

En el código de muestra, tengo una clase Recorder y una SpokenWordTranscriber. Las hice a ambas observables.

Hice este modelo de historia para encapsular la transcripción y otros detalles relevantes para mostrar. Aquí tengo la vista de transcripción, con la transcripción y reproducción en tiempo real, y botones de grabación y reproducción. También administra el estado de grabación y reproducción. Primero veamos la transcripción. La podemos ajustar en tres pasos: Configurar SpeechTranscriber, garantizar la presencia del modelo y manejar los resultados. Inicializamos SpeechTranscriber con un objeto de configuración regional y las opciones que necesitamos. El código de idioma de la configuración regional corresponde al idioma de la transcripción. Como se mencionó, los resultados volátiles son conjeturas inmediatas y los resultados finales son las mejores conjeturas. Aquí se usan ambos, los resultados volátiles en una opacidad más clara y se sustituyen por los finales cuando llegan. Para configurarlo en nuestro SpeechTranscriber, configuraremos estos tipos de opciones. Agrego la opción audioTimeRange para que obtengamos información de tiempo.

Nos permite sincronizar la reproducción del texto con el audio.

También hay ajustes preestablecidos que ofrecen diferentes opciones.

Ahora vamos a configurar el objeto SpeechAnalyzer con nuestro módulo SpeechTranscriber.

Esto nos permite obtener el formato de audio que necesitamos usar.

Y podemos garantizar que el modelo de conversión de voz a texto esté implementado.

Por último, queremos guardar las referencias a la entrada AsyncStream e iniciar el analizador.

Ahora que terminamos de configurar SpeechTranscriber, veamos cómo obtenemos los modelos.

En el método ensureModel, agregaremos controles para comprobar si SpeechTranscriber admite la transcripción del idioma que queremos.

También comprobaremos si el idioma está descargado e instalado.

Si el idioma es compatible pero no se descarga, podemos continuar y enviar una solicitud a AssetInventory para descargar el soporte.

La transcripción se realiza totalmente en el dispositivo, pero los modelos deben obtenerse.

La solicitud de descarga incluye un objeto “progress” que puedes usar para que tu usuario sepa lo que está pasando.

Tu app puede tener soporte para una cantidad limitada de idiomas a la vez. Si excede el límite, puedes solicitarle a AssetInventory que desasigne uno o más de ellos para liberar un lugar.

Ya tenemos nuestros modelos, pasemos a la parte divertida: los resultados.

Junto a nuestro código, estoy creando una tarea y guardando una referencia.

Y estoy creando dos variables para rastrear los resultados volátiles y finales.

SpeechTranscriber devuelve resultados a través de AsyncStream. Cada objeto de resultado tiene algunos campos diferentes.

El primero que queremos es “text”, que lo representa un AttributedString. Este es el resultado de la transcripción de un segmento de audio. Cada vez que obtenemos un resultado en el flujo, verificaremos si es volátil o final con la propiedad “isFinal”.

Si es volátil, lo guardaremos en volatileTranscript.

Cuando obtenemos un resultado final, borramos el volatileTranscript y agregamos el resultado a finalizedTranscript.

Si no eliminamos los resultados volátiles, podríamos terminar con duplicados.

Cuando obtenemos un resultado final, también lo escribiré en el modelo de historia para usarlo después.

También configuro algún formato condicional con las API AttributedString de SwiftUI.

Así podremos visualizar los resultados de la transcripción a medida que pasan de volátiles a finales.

Si te preguntas cómo obtendré los datos de tiempo de la transcripción, son parte de la cadena atribuida.

Cada ejecución tiene un atributo “audioTimeRange” representado como CMTimeRange. Lo usaré en mi código de vista para resaltar el segmento correcto. Ahora veamos cómo configurar la entrada de audio.

En mi función de grabar, que invoco cuando se presiona “Grabar”, solicito permiso de audio e iniciar AVAudioSession. También garantizamos que la app está configurada para usar el micrófono en la configuración del proyecto. Luego invoco la función setUpTranscriber que creamos antes.

Por último, manejo la entrada de mi transmisión de audio. Veamos cómo lo configuré. Están pasando varias cosas aquí: Configuramos AVAudioEngine para devolver una transmisión asíncrona y pasar los búferes entrantes a la transmisión.

También grabamos el audio en disco.

Finalmente, iniciamos audioEngine.

En mi función de grabar, estoy pasando la entrada AsyncStream al transcriptor.

Las fuentes de audio tienen varios formatos de salida y rangos de muestra. SpeechTranscriber nos dio bestAvailableAudioFormat que podemos usar.

Paso los búferes de audio por un paso de conversión para asegurarme de que coincide con bestAvailableAudioFormat.

Luego enrutaré la transmisión asíncrona al objeto inputBuilder desde SpeechTranscriber. Cuando dejamos de grabar, queremos hacer algunas cosas. Detuve el motor de audio y el transcriptor. Es importante cancelar tus tareas e invocar “finalize” en tu flujo de analizador. Esto garantiza que se concreten todos los resultados volátiles. Veamos cómo se conecta todo esto a nuestra vista.

Mi TranscriptView tiene un enlace a la historia actual y uno a nuestro SpokenWordTranscriber. Si grabamos, aparece una concatenación de la transcripción final con la transcripción volátil que vemos desde nuestra clase SpokenWordTranscriber. Para la reproducción, mostramos la transcripción final del modelo de datos. Agregué un método para dividir las frases y reducir el desorden visual.

Una función clave que mencioné fue resaltar cada palabra mientras se reproduce. Uso algunos métodos auxiliares para calcular si cada ejecución debe resaltarse según su atributo audioTimeRange y el tiempo de reproducción actual.

La precisión de SpeechTranscriber es estupenda por muchas razones, entre ellas la de usar Apple Intelligence para realizar transformaciones útiles en la salida.

Aquí uso la nueva API FoundationModels para cuando termine mi historia. La API facilita la creación de títulos ingeniosos, así no tengo que pensar en uno. Si quieres saber más sobre las API FoundationModels, revisa la sesión “Conoce la estructura FoundationModels”.

¡Veamos nuestra funcionalidad en acción! Toco el botón + para crear una nueva historia.

Luego empiezo a grabar. “Había una vez en la mística tierra de Magenta, una niña llamada Delilah que vivía en un castillo en la colina. Delilah pasaba sus días explorando el bosque y cuidando a los animales”.

Cuando el usuario termina, puede reproducirlo y cada palabra se resalta al ritmo del audio.

Había una vez, en la mística tierra de Magenta, una niña llamada Delilah que vivía en un castillo en la colina.

Delilah pasaba sus días explorando el bosque y cuidando a los animales. Gracias a SpeechAnalyzer y SpeechTranscriber, pudimos crear una app completa en muy poco tiempo. Consulta la documentación de la estructura Speech si quieres revisar la app de ejemplo que creamos. ¡Y esto es SpeechAnalyzer! Sabemos que crearás funcionalidades increíbles. ¡Gracias por acompañarnos!