Aprimore seu app com efeitos de vídeo baseados em aprendizado de máquina

Olá! Meu nome é Makhlouf. Sou engineer na equipe Video Processing. O Video Toolbox é um dos frameworks mais usados em apps de vídeo. Ele tem uma rica coleção de recursos para várias necessidades de vídeo. No macOS 15.4, o Video Toolbox foi aprimorado com a API VTFrameProcessor, algoritmos de processamento de vídeo baseados em ML otimizados para Apple Silicon. Agora essa API também está disponível no iOS 26. Neste vídeo, começarei mostrando os efeitos já disponíveis com a API VTFrameProcessor. Depois, vou falar das etapas básicas para integrar os efeitos no seu app. Por fim, demonstrarei como implementar alguns exemplos para os principais casos de uso. A API VTFrameProcessor oferece uma variedade de efeitos para muitos usos. Conversão de taxa de quadros, super-resolução e desfoque de movimento são ideais para edição de vídeo avançada. Interpolação de quadros de baixa latência e super-resolução são ideais para apps com processamento em tempo real. O filtro de ruído temporal pode ser usado nos dois casos. Vou mostrar os resultados possíveis com esses efeitos. A conversão de taxa de quadros ajusta o número de quadros por segundo do clipe para coincidir com o FPS desejado. Ela também pode criar um efeito de câmera lenta. À esquerda, temos um vídeo de jogadoras de futebol comemorando um gol. À direita, vemos o mesmo vídeo com o efeito de câmera lenta. Ao desacelerar a ação, o vídeo captura a intensidade da comemoração e destaca as emoções das jogadoras. O escalador de super-resolução aumenta a resolução do vídeo e recupera detalhes em vídeos antigos, sendo ideal para apps de melhoria de fotos e restauração de mídia. Neste exemplo, aplicar o efeito de super-resolução aumenta a nitidez e a clareza do vídeo, fazendo com que os barcos à direita pareçam mais detalhados e menos borrados. Dois modelos de ML estão disponíveis para super-resolução, um para imagens e outro para vídeos. O desfoque de movimento, um recurso popular no cinema, é essencial para criar movimentos naturais que o público espera. Também pode ser usado para criar vários efeitos. Neste exemplo, o desfoque de movimento é aplicado ao vídeo à direita, fazendo com que o ciclista pareça estar em um ritmo bem mais rápido. Além disso, o efeito ajuda a suavizar o movimento brusco do vídeo à esquerda, e é mais agradável de assistir. Outro efeito muito útil é a filtragem de ruído temporal. É baseado em estimativa de movimento usando quadros de referência passados e futuros. Ele ajuda a suavizar ruídos temporais e remover artefatos do vídeo, facilitando a compactação e melhorando a qualidade. À esquerda, temos o vídeo de uma árvore com muito ruído de cor. Depois de aplicar o efeito, o vídeo à direita fica muito mais limpo, com menos ruído, principalmente na placa. A interpolação de quadros de baixa latência aumenta a taxa de quadros com desempenho em tempo real. Opcionalmente, a resolução também pode ser aumentada. À esquerda, um vídeo instável com poucos quadros mostra uma mulher andando e falando com a câmera. O vídeo aprimorado à direita é mais suave e agradável de assistir. A super-resolução de vídeo de baixa latência é um superescalador leve. Ele é otimizado para melhorar a experiência de videoconferência mesmo quando a condição da rede é ruim. Ele reduz artefatos de codificação e realça as bordas para gerar quadros de vídeo aprimorados. À esquerda, há um vídeo de baixa resolução e baixa qualidade de um homem falando. O vídeo processado à direita tem resolução mais alta, artefatos de compressão reduzidos, bordas mais nítidas e recursos faciais mais detalhados. No próximo tópico, vou falar sobre como um app pode integrar esses efeitos. Vou explicar como os dados são trocados entre o app e o framework. E descreverei as principais etapas para processar um clipe. Para acessar a API VTFrameProcessor, os apps precisam importar o framework Video Toolbox. Depois, há duas etapas principais para processar um clipe. A primeira é selecionar o efeito. Nesse estágio, o app inicia uma sessão de processamento fornecendo uma configuração que descreve como usar o efeito em toda a sessão. Depois que a sessão é criada, o app obtém um objeto VTFrameProcessor pronto para processar quadros. A VTFrameProcessor é uma API baseada em quadros, então o app deve enviar os quadros de vídeo de entrada com seus parâmetros, um por um. Depois do processamento, o framework retorna o quadro de saída. Há muitos casos de uso que podem se beneficiar da API VTFrameProcessor. Vou mostrar alguns exemplos e como implementá-los. Mas antes disso, quero mencionar que há um código de exemplo totalmente funcional anexado a esta apresentação como referência. O app de demonstração tem clipes de teste para testar esses efeitos. Vou focar em dois casos de uso: edição de vídeo e aprimoramento de vídeo ao vivo. Conversão de taxa de quadros, super-resolução, desfoque de movimento e filtro de ruído temporal são adequados para apps de edição de vídeo, nos quais a qualidade do vídeo é a principal preocupação. Vou começar com a conversão de taxa de quadros. A conversão da taxa de quadros é o processo de aumentar o número de quadros em um clipe de vídeo. Isso é feito com a sintetização de novos quadros e inserção deles entre os já existentes. O objetivo é melhorar a fluidez da reprodução, em especial em casos de tremores causados por diferença na taxa de quadros entre a origem e a tela de exibição. Ela ajuda a preencher as lacunas criadas pela falta de quadros. Também pode ser usada para criar efeito de câmera lenta, frequente em filmes para desacelerar as cenas de ação, deixando-as visualmente mais impressionantes. No esporte, a câmera lenta é usada para destacar e analisar momentos-chave de um jogo. À esquerda, temos um vídeo de um homem fazendo uma coreografia. À direita, vemos o mesmo vídeo com o efeito de câmera lenta. Aplicar o efeito dá aos espectadores mais tempo para apreciar a complexidade dos movimentos de dança, tornando-o ainda mais cativante. Agora veremos como implementar a conversão de taxa de quadros usando a API VTFrameProcessor. O primeiro passo é criar a sessão para o efeito. Para fazer isso, criarei um objeto VTFrameProcessor. Depois, crio o objeto de configuração. Para conversão de taxa de quadros, use o tipo VTFrameRateConversionConfiguration. Para inicializar a configuração, preciso fornecer algumas definições, como largura e altura do quadro de entrada, se o fluxo óptico foi pré-calculado, nível de qualidade e revisão de algoritmo. Agora invoco o método startSession para inicializar o mecanismo de processamento de quadros. A segunda etapa é usar o objeto de parâmetros para processar quadros. Neste caso, o objeto deve ser do tipo VTFrameRateConversionParameters. Mas antes de usar a classe de parâmetros, preciso alocar todos os buffers necessários. Em geral, todos os buffers de quadros de entrada e saída são alocados pelo chamador. Os atributos de buffer de pixel de origem e destino da classe de configuração podem ser usados para configurar pools CVPixelBuffer. Primeiro, crio os objetos da fonte atual e do próximo quadro. Em seguida, a matriz interpolationPhase é criada para indicar onde inserir os quadros interpolados. O tamanho dela indica quantos quadros devem ser interpolados. Finalmente, a matriz de destino é criada com buffers para receber a saída. Ela é do mesmo tamanho que a matriz interpolationPhase. Agora que meus buffers estão prontos, posso definir os outros parâmetros. Defini o opticalFlow para nil, permitindo que o processador calculasse o fluxo para mim. Também defini o modo de envio para indicar se os quadros são enviados em sequência ou em ordem aleatória. Depois da criação de VTFrameRateConversionParameters, posso chamar a função process para o processamento. Em resumo, cada efeito é definido por dois tipos de classes: a classe VTFrameProcessorConfiguration, que descreve como configurar a sessão de processamento para o efeito e a classe VTFrameProcessorParameters, que descreve os quadros de entrada e saída, e os parâmetros associados.

Uma decisão importante ao desenvolver seu app é a de pré-calcular ou não o fluxo óptico. O cálculo de fluxo pode ser caro, e alguns apps fazem isso com antecedência para melhorar o desempenho na fase de renderização. Para calcular o fluxo óptico de antemão, use as classes VTOpticalFlowConfiguration e VTOpticalFlowParameters.

Quando o parâmetro usePrecomputedFlow é definido como false na configuração, o framework calcula o fluxo em tempo real.

Vamos abordar outro recurso importante de edição de vídeo: o desfoque de movimento. Ele simula uma velocidade de obturador lenta e cria um efeito desfocado em objetos em movimento. A intensidade do desfoque pode ser ajustada com a API. Ele é usado em muitas situações, como para deixar o movimento natural, ou por razões artísticas, como dar mais sensação de velocidade a objetos em movimento. À esquerda, há um vídeo em time-lapse de uma estrada. Depois de aplicar o desfoque de movimento, o vídeo à direita ficou mais fluido. A aplicação do desfoque de movimento a vídeos em time-lapse replica o movimento natural, tornando-os mais realistas, sem parecer várias imagens estáticas. Ao criar uma sessão de processamento de desfoque de movimento use a classe VTMotionBlurConfiguration. Como referência, consulte o exemplo de conversão de taxa de quadros, que tem configurações parecidas. Agora, mostrarei como inicializar o objeto VTMotionBlurParameters para processar quadros. O desfoque de movimento exige dois quadros de referência: próximo e anterior. Para o primeiro quadro do clipe, o quadro anterior deve ser definido como nil. Ao fim do clipe, o próximo quadro também deve ser nil. Agora que tenho os buffers de quadros, posso criar o VTMotionBlurParameters. Deixo o processador calcular o fluxo óptico definindo os parâmetros de fluxo para nil. Depois, escolho a intensidade do desfoque, que varia de 1 a 100. Depois de criar parâmetros de desfoque de movimento, chamo a função process para iniciar o processamento. Agora, discutirei alguns recursos voltados a cenários de uso em tempo real, como videoconferência e streaming ao vivo. Filtragem de ruído temporal, interpolação de quadros de baixa latência e super-resolução são projetados para usos em tempo real. Eles fornecem melhorias com foco no desempenho. Para efeitos de baixa latência, o aprimoramento geralmente é realizado nos dispositivos receptores. Agora vou falar de alguns desses efeitos. Primeiro, a super-resolução de baixa latência. Para implementar esse efeito, preciso usar as classes LowLatencySuperResolutionScalerConfiguration e Parameters. Ambas são simples de usar. A classe de configuração só precisa de largura de quadro, altura e taxa de dimensionamento, e a classe de parâmetros requer buffers de quadro de origem e destino. Este exemplo demonstra como a super-resolução de baixa latência pode melhorar a videoconferência. O vídeo à esquerda mostra um homem de barba em uma chamada de vídeo, falando, sorrindo e gesticulando. Sua imagem está borrada pela baixa resolução. Com o efeito de super-resolução, como mostra o vídeo à direita, o rosto do homem fica bem mais nítido, especialmente a textura de sua barba. A interpolação de quadros de baixa latência também foi criada para melhorar as videoconferências em tempo real. Ela é muito benéfica para apps de chamadas de vídeo, especialmente quando a conexão é lenta. Para aplicar esse efeito, use a versão apropriada das classes LowLatencyFrameInterpolationConfiguration e Parameters.

Há pouco, mostrei como a interpolação de quadros de baixa latência pode suavizar tremores e gerar uma experiência de streaming agradável. Temos um utilitário adicional nesta API que combina duplicação da taxa de quadros e ampliação de resolução em um só filtro.

Após o processamento, os traços faciais da mulher e o fundo ficam mais nítidos, e o vídeo mais fluido. O framework Video Toolbox já oferece muitos recursos, como acesso direto a recursos de codificação e decodificação de vídeo por hardware. Ele permite serviços como compactação e descompactação de vídeo e conversões de formato de pixel. Com a adição da API VTFrameProcessor, agora os desenvolvedores podem criar apps ainda mais envolventes. Agora que você aprendeu sobre a API VTFrameProcessor, é hora de integrar esses efeitos ao seu app. Aprimore seus recursos de edição de vídeo com novos efeitos, como desfoque de movimento e câmera lenta. Melhore suas experiências de streaming ao vivo com super-resolução de baixa latência e interpolação de quadros. Esses são apenas alguns exemplos do que você pode fazer com a API VTFrameProcessor. Obrigado por assistir ao meu vídeo, e estou ansioso para ver os seus.