Integre a conversão de fala em texto avançada ao seu app com o SpeechAnalyzer

Olá! Sou Donovan, engineer da equipe Speech framework. E eu sou Shantini, engineer da equipe do Notes. Este ano, apresentamos a próxima evolução da nossa API e tecnologia de conversão de fala em texto: SpeechAnalyzer. Nesta sessão, vamos falar sobre a API SpeechAnalyzer e seus conceitos mais importantes. Também vamos abordar alguns dos novos recursos do modelo por trás dela. Ao final, vamos fazer uma demonstração ao vivo de como usar a API. A SpeechAnalyzer já está presente em muitos apps, como o Notas, o Gravador, o Diário e outros.

Quando a combinamos com a Apple Intelligence, criamos recursos poderosos, como o resumo de ligações. Já, já, vou mostrar como usar a API para criar seu próprio recurso de transcrição ao vivo. Primeiro, Donovan vai dar uma visão geral da nova API SpeechAnalyzer. A conversão de fala em texto, conhecida como reconhecimento automático de fala, ou ASR, é uma tecnologia que permite criar experiências usando fala ao vivo ou gravada, convertendo-a em texto para ser exibido ou interpretado por um dispositivo. Os apps armazenam, pesquisam ou transmitem o texto em tempo real ou o transferem para um modelo de linguagem baseado em texto.

No iOS 10, apresentamos a SFSpeechRecognizer. Com essa classe, tivemos acesso ao modelo de conversão de fala em texto presente na Siri. Ela funcionava bem para ditados curtos e usava servidores da Apple em dispositivos com recursos limitados, mas não atendia a alguns casos de uso tão bem quanto gostaríamos, e cabia ao usuário adicionar idiomas. Agora, no iOS 26, estamos introduzindo uma nova API chamada SpeechAnalyzer, que oferece suporte a mais casos de uso. Ela aproveita o poder do Swift para processar a conversão de fala em texto e gerenciar ativos de modelo no dispositivo do usuário com muito pouco código. Também criamos um novo modelo de conversão de fala em texto que já está presente nos recursos dos apps das nossas plataformas. O novo modelo é mais rápido e flexível do que o disponibilizado pela SFSpeechRecognizer. Ele é bom para áudios longos e à distância, como palestras, reuniões e conversas. Devido a essas melhorias, a Apple está usando esse novo modelo (e a nova API) no Notas e nos outros apps que já mencionamos. Você pode usar essas novas funcionalidades para criar seu próprio app com os mesmos recursos que o Notas e os outros apps oferecem. Antes, vamos conferir o design da API. A API consiste na classe SpeechAnalyzer e várias outras. A classe SpeechAnalyzer gerencia uma sessão de análise. Você pode adicionar uma classe de módulo à sessão para executar um tipo específico de análise. Adicionar um módulo Transcriber à sessão a transforma em uma sessão de transcrição que converte fala em texto. Você envia buffers de áudio para a instância do analisador, que os direciona pelo modelo de conversão de fala em texto do transcritor. O modelo prevê o texto que corresponde ao áudio falado e retorna esse texto com alguns metadados para seu app.

Tudo isso funciona de forma assíncrona. Seu app adiciona áudio conforme a disponibilidade em uma tarefa e exibe ou processa os resultados de forma independente em outra tarefa. As sequências assíncronas do Swift armazenam em buffer e desvinculam a entrada dos resultados.

A sessão "Conhecer o AsyncSequence" da WWDC21 aborda como fornecer uma sequência de entrada e ler a sequência de resultados.

Para correlacionar a entrada aos resultados, a API usa a marcação de tempo do áudio. As operações da API são programadas usando as marcações na linha do tempo do áudio, tornando a ordem delas previsível e independente de quando são acionadas. As marcações de tempo são precisas até mesmo em uma amostra de áudio individual. Note como o transcritor fornece resultados em sequência, cada um deles abrangendo a própria faixa de áudio, sem sobreposição. Normalmente, é assim que funciona. Mas, como recurso opcional, você pode deixar a transcrição iterativa dentro de uma faixa de áudio. Faça isso se quiser oferecer feedback mais imediato na interface do app. Você pode mostrar um resultado aproximado e, em seguida, mostrar iterações melhores desse resultado nos próximos segundos. Chamamos os resultados imediatos de "resultados voláteis". Eles são fornecidos logo depois de falados, mas são "palpites" menos precisos. No entanto, o modelo melhora a transcrição conforme recebe mais áudio com mais contexto. No fim, o resultado será o melhor possível, e a transcrição fornece um último "resultado finalizado". Feito isso, o transcritor para de fornecer resultados para essa faixa de áudio e passa para a próxima. Note como as marcações de tempo mostram que os resultados posteriores substituem os anteriores. Isso só acontece quando você ativa os resultados voláteis. Normalmente, o transcritor só fornece resultados finalizados, e nenhum deles substitui os anteriores. Se você só precisa ler o arquivo e retornar a transcrição, pode criar um recurso de transcrição em apenas uma função. Essa tarefa não exige processamento de resultados voláteis ou muita simultaneidade. Aqui temos a função. Aqui criamos o módulo Transcriber. Nós informamos o idioma da transcrição. Ele ainda não tem resultados, mas vamos lê-los conforme forem entrando e usar a versão de "reduce" do AsyncSequence para concatená-los. Vamos fazer isso em segundo plano usando "async let". Aqui, criamos o analisador e adicionamos o módulo Transcriber. Depois, começamos a analisar o arquivo. O método analyzeSequence lê o arquivo e adiciona o áudio a uma sequência de entrada. Depois disso, pedimos ao analisador para terminar, porque não estamos planejando trabalhar em nenhum outro áudio. Por fim, retornamos a transcrição que fomos montando em segundo plano. Serão as palavras faladas no arquivo, na forma de uma única string atribuída. E pronto. Falei sobre os conceitos e o uso básico da API. Você adiciona módulos a uma sessão de análise para fazer uma transcrição, por exemplo. Ele funciona de forma simultânea e assíncrona, desvinculando a entrada de áudio dos resultados. Você correlaciona áudio, resultados e operações usando a marcação de tempo do áudio da sessão. Alguns desses resultados são voláteis, se você quiser que sejam, e o restante é definitivo. Também mostrei como isso funciona em uma função. Mais tarde, Shantini vai demonstrar como usar essa função em diferentes visualizações, modelos e modelos de visualização. Ela vai mostrar vários métodos e propriedades das classes SpeechAnalyzer e Transcriber que você pode usar em situações comuns. Você também pode ler sobre isso na documentação. Agora, queremos descrever algumas vantagens do novo modelo da classe SpeechTranscriber. A SpeechTranscriber funciona com um novo modelo projetado pela Apple para dar suporte a vários casos de uso. Queríamos criar um modelo que aceitasse falas longas e conversacionais em que os palestrantes estão longe do microfone, como gravar uma reunião. Também queríamos oferecer experiências de transcrição ao vivo que exigissem baixa latência sem sacrificar a precisão ou a legibilidade, além de manter a privacidade. Nosso novo modelo faz tudo isso, no dispositivo. Trabalhamos com parceiros internos para criar uma ótima experiência para você. Agora, você pode dar suporte aos mesmos casos de uso nos seus apps. Com a SpeechTranscriber, você tem um modelo de conversão de fala em texto sem precisar adquirir e gerenciar nada. Basta instalar os ativos de modelo relevantes pela nova API AssetInventory. Você pode baixá-los quando precisar. O modelo fica armazenado no sistema e não aumenta o tamanho do download ou do armazenamento do seu app. Ele também não aumenta o tamanho da memória do tempo de execução. Ele funciona fora do espaço de memória do seu app, para você não se preocupar em exceder o limite de tamanho. Estamos sempre melhorando o modelo, para que o sistema instale as atualizações conforme forem disponibilizadas. A SpeechTranscriber pode transcrever estes idiomas (outros em breve) e está disponível para todas as plataformas, exceto watchOS, com certos requisitos de hardware. Se precisar de um idioma ou dispositivo ainda não aceitos, temos uma segunda classe de transcritor: DictationTranscriber. Ela aceita os mesmos idiomas, modelo de conversão de fala em texto e dispositivos que a SFSpeechRecognizer do iOS 10. Porém, você NÃO vai precisar pedir aos usuários para entrar em Ajustes e ativar o ditado da Siri ou do teclado para um idioma específico. Essa foi nossa introdução à nova API e ao novo modelo. Ficou bem abstrata, mas vamos ser mais concretos agora. Vou passar para Shantini, que vai mostrar como integrar a SpeechAnalyzer ao seu app. Obrigada por essa excelente visão geral, Donovan! Você já deve ter visto os recursos que adicionamos ao Notas no iOS 18 para gravar e transcrever ligações, áudio em tempo real e áudio gravado. Além disso, integramos esses recursos à Apple Intelligence, resultando em resumos que economizam tempo. Trabalhamos em parceria com a equipe de Speech para garantir que a SpeechAnalyzer e a SpeechTranscriber oferecessem um recurso de qualidade. A SpeechTranscriber é ótima porque é rápida, precisa em longas distâncias e funciona no dispositivo. Um dos nossos objetivos era que você criasse recursos semelhantes aos que adicionamos ao Notas e os personalizasse para seus usuários. Vou mostrar como começar. Vamos ver um app que criei com um recurso de transcrição ao vivo. Meu app é voltado para crianças. Ele grava e transcreve histórias para dormir, permitindo reprodução. Estes são os resultados da transcrição em tempo real.

Ao reproduzir o áudio, o segmento de texto correspondente é destacado, para as crianças poderem acompanhar a história. Aqui está a configuração do projeto.

No exemplo de código, tenho uma classe Recorder e uma classe SpokenWordTranscriber. Transformei as duas em observáveis.

Também criei o modelo Story para registrar as informações de transcrição e detalhes relevantes para exibição. Temos a visualização da transcrição, com visualizações de transcrição ao vivo e reprodução, além de botões de gravação e reprodução. Ele também processa estados de gravação e reprodução. Vamos analisar a transcrição primeiro. Podemos configurar a transcrição ao vivo em 3 etapas: configurar a SpeechTranscriber, verificar se o modelo está presente e gerenciar os resultados. Na configuração, inicializamos o transcritor com um objeto de localidade e as opções necessárias. O código de idioma da localidade corresponde ao idioma em que a transcrição será feita. Como Donovan já falou, resultados voláteis são "palpites" em tempo real, e resultados finalizados são os melhores "palpites". Aqui ambos são usados, com os resultados voláteis em uma opacidade mais leve sendo substituídos pelos resultados finalizados que entram. Para configurar isso no transcritor, vamos definir os seguintes tipos de opção. Vou adicionar a opção audioTimeRange para termos informações sobre tempo.

Isso permite sincronizar a reprodução do texto com o áudio.

Há também ajustes pré-configurados com diferentes opções.

Agora vamos configurar o objeto SpeechAnalyzer com o módulo SpeechTranscriber.

Isso nos permite ter o formato de áudio que precisamos usar.

Assim também garantimos que o modelo de conversão de fala em texto está ativo.

Para concluir a configuração do transcritor, vamos salvar referências à entrada AsyncStream e iniciar a análise.

Agora que terminamos a configuração, vamos ver como obter os modelos. No nosso método "verificar se o modelo está presente", vamos verificar se o transcritor faz transcrições para o idioma desejado.

Também vamos checar se o idioma foi baixado e instalado.

Se o idioma é aceito, mas não foi baixado, podemos fazer uma solicitação à AssetInventory para baixá-lo.

Lembre-se: a transcrição é feita inteiramente no dispositivo, mas os modelos precisam ser obtidos. A solicitação de download inclui um objeto "progress" que você pode usar para informar ao usuário o que está acontecendo.

Seu app pode dar suporte a um número limitado de idiomas ao mesmo tempo. Se você exceder o limite, poderá pedir à AssetInventory para realocar um ou mais deles e liberar uma vaga.

Agora que já temos os modelos, vamos para a parte divertida: os resultados.

Ao lado do código de configuração do transcritor, vou criar uma tarefa e salvar uma referência a ela.

Também vou criar duas variáveis para acompanhar os resultados voláteis e finalizados.

A SpeechTranscriber retorna resultados via AsyncStream. Cada objeto de resultado tem campos diferentes.

O primeiro que queremos obter é "text", que é representado por uma string atribuída. Este é o resultado da transcrição de um segmento de áudio. Toda vez que tivermos um resultado no fluxo, vamos verificar se ele é volátil ou finalizado usando a propriedade "isFinal".

Se for volátil, vamos salvá-lo em volatileTranscript.

Sempre que tivermos um resultado finalizado, vamos apagar volatileTranscript e adicionar o resultado a finalizedTranscript.

Se não apagarmos os resultados voláteis, poderemos ter duplicações.

Sempre que tivermos um resultado finalizado, também vou adicioná-lo ao modelo Story para usar depois.

Também vou definir formatações condicionais usando APIs com strings atribuídas da SwiftUI.

Assim podemos visualizar os resultados da transcrição conforme passarem de voláteis para finalizados.

Caso você esteja se perguntando sobre os dados de tempo da transcrição, eles fazem parte da string atribuída.

Cada execução tem um atributo audioTimeRange representado como CMTimeRange. Vou usá-lo no meu código de visualização para destacar o segmento correto. Agora vamos configurar a entrada de áudio.

Na função de gravação, acionada quando o usuário pressiona o botão de gravar, vou solicitar permissão de áudio e iniciar a AVAudioSession. Também devemos garantir que o app esteja configurado para usar o microfone, nas configurações do projeto.

Em seguida, vou acionar a função setUpTranscriber que criamos antes.

Por fim, vou processar a entrada do fluxo de áudio. Vamos ver como configurei isso. Algumas coisas estão acontecendo aqui. Configuramos o AVAudioEngine para retornar um fluxo assíncrono e enviamos os buffers de entrada para o fluxo.

Também gravamos o áudio no disco.

Agora, estamos iniciando o audioEngine.

Voltando à função Record, vou enviar a entrada AsyncStream para o transcritor.

As fontes de áudio têm formatos de saída e taxas de amostragem diferentes. A SpeechTranscriber nos deu um bestAvailableAudioFormat que podemos usar.

Vou submeter os buffers de áudio a uma etapa de conversão para garantir que o formato corresponda a bestAvailableAudioFormat.

Depois, vou direcionar o fluxo assíncrono da SpeechTranscriber para o objeto inputBuilder. Ao parar a gravação, precisamos fazer algumas coisas. Parei o mecanismo de áudio e o transcritor. É importante cancelar as tarefas e acionar a finalização no fluxo de análise. Isso garante a finalização dos resultados voláteis. Vamos ver como conectar tudo isso à nossa visualização.

A TranscriptView tem uma vinculação com a história atual e uma com a SpokenWordTranscriber. Se estivermos gravando, mostramos uma concatenação da transcrição finalizada com a transcrição volátil observada na classe SpokenWordTranscriber. Na reprodução, mostramos a transcrição final do modelo de dados. Inseri um método para dividir as frases e deixar o visual mais limpo.

Um recurso importante que mencionei foi destacar as palavras conforme são reproduzidas. Usei alguns métodos auxiliares para calcular se cada execução deve ser destacada, com base no atributo audioTimeRange e no tempo de reprodução atual.

A precisão da SpeechTranscriber é ótima por muitas razões, entre elas o uso da Apple Intelligence para fazer transformações úteis nos resultados.

Aqui usei a nova API FoundationModels para gerar um título para minha história quando ela terminar. A API facilita a criação de títulos criativos, então nem preciso pensar em um! Para saber mais sobre as APIs FoundationModels, confira a sessão "Conhecer o framework Foundation Models".

Vamos ver nosso recurso em ação! Vou tocar no botão + para criar uma nova história.

Depois, vou começar a gravar. "Era uma vez, no reino místico de Magenta, uma menina chamada Delilah, que vivia em um castelo na colina. Delilah passava os dias explorando a floresta e cuidando dos animais de lá."

Ao terminar, o usuário poderá reproduzir o áudio, e cada palavra será destacada em sincronia com ele.

"Era uma vez, no reino místico de Magenta, uma menina chamada Delilah, que vivia em um castelo na colina.

Delilah passava os dias explorando a floresta e cuidando dos animais de lá." A SpeechAnalyzer e a SpeechTranscriber nos permitiram criar um app inteiro em pouco tempo. Para saber mais, confira a documentação do framework Speech, que inclui o exemplo de app que criamos. E essa é a SpeechAnalyzer! Temos certeza de que você vai criar recursos incríveis com ela. Agradecemos sua participação.