-
Aprimore seu app com efeitos de vídeo baseados em aprendizado de máquina
Descubra como adicionar efeitos como conversão de taxa de quadros, super-resolução e filtros de ruídos para melhorar as experiências de edição de vídeo e streaming ao vivo. Vamos explorar os algoritmos de processamento de vídeo baseados em ML otimizados para o Apple Silicon disponíveis no framework Video Toolbox. Saiba como integrar esses efeitos para aprimorar os recursos do seu app para casos de uso reais.
Capítulos
- 0:00 - Introdução
- 1:04 - Visão geral dos efeitos de vídeo
- 4:55 - Adicionar efeitos ao seu app
- 6:46 - Exemplo de uso: conversão de taxa de quadros
- 11:16 - Exemplo de uso: efeito de desfoque de movimento
- 13:46 - Exemplo de uso: efeito de super-resolução de baixa latência
- 14:55 - Exemplo de uso: interpolação de quadros de baixa latência
Recursos
-
Buscar neste vídeo...
-
-
8:06 - Frame rate conversion configuration
// Frame rate conversion configuration let processor = VTFrameProcessor() guard let configuration = VTFrameRateConversionConfiguration(frameWidth: width, frameHeight: height, usePrecomputedFlow: false, qualityPrioritization: .normal, revision: .revision1) else { throw Fault.failedToCreateFRCConfiguration } try processor.startSession(configuration: configuration) -
8:56 - Frame rate conversion buffer allocation
// Frame rate conversion buffer allocation //use sourcePixelBufferAttributes and destinationPixelBufferAttributes property of VTFrameRateConversionConfiguration to create source and destination CVPixelBuffer pools sourceFrame = VTFrameProcessorFrame(buffer: curPixelBuffer, presentationTimeStamp: sourcePTS) nextFrame = VTFrameProcessorFrame(buffer: nextPixelBuffer, presentationTimeStamp: nextPTS) // Interpolate 3 frames between reference frames for 4x slow-mo var interpolationPhase: [Float] = [0.25, 0.5, 0.75] //create destinationFrames let destinationFrames = try framesBetween(firstPTS: sourcePTS, lastPTS: nextPTS, interpolationIntervals: intervals) -
9:48 - Frame rate conversion parameters
// Frame rate conversion parameters guard let parameters = VTFrameRateConversionParameters(sourceFrame: sourceFrame, nextFrame: nextFrame, opticalFlow: nil, interpolationPhase: interpolationPhase, submissionMode: .sequential, destinationFrames: destinationFrames) else { throw Fault.failedToCreateFRCParameters } try await processor.process(parameters: parameters) -
12:35 - Motion blur process parameters
// Motion blur process parameters sourceFrame = VTFrameProcessorFrame(buffer: curPixelBuffer, presentationTimeStamp: sourcePTS) nextFrame = VTFrameProcessorFrame(buffer: nextPixelBuffer, presentationTimeStamp: nextPTS) previousFrame = VTFrameProcessorFrame(buffer: prevPixelBuffer, presentationTimeStamp: prevPTS) destinationFrame = VTFrameProcessorFrame(buffer: destPixelBuffer, presentationTimeStamp: sourcePTS) guard let parameters = VTMotionBlurParameters(sourceFrame: currentFrame, nextFrame: nextFrame, previousFrame: previousFrame, nextOpticalFlow: nil, previousOpticalFlow: nil, motionBlurStrength: strength, submissionMode: .sequential, destinationFrame: destinationFrame) else { throw Fault.failedToCreateMotionBlurParameters } try await processor.process(parameters: parameters)
-
-
- 0:00 - Introdução
Video Toolbox, um framework amplamente utilizado para apps de vídeo, é aprimorado com a API "VTFrameProcessor" ・・ um novo conjunto de algoritmos de processamento de vídeo baseados em ML e otimizados para o Apple Silicon. Essa API, introduzida pela primeira vez no macOS 15.4, já está disponível no iOS 26. Este vídeo demonstra os efeitos disponíveis, as etapas de integração do app e os exemplos de implementação para os principais casos de uso.
- 1:04 - Visão geral dos efeitos de vídeo
A API "VTFrameProcessor" fornece efeitos de edição de vídeo, incluindo conversão de taxa de quadros para câmera lenta, super-resolução para melhorar vídeos de baixa qualidade, desfoque de movimento para movimento natural, filtragem de ruído temporal para suavização, além de interpolação de baixa latência e super-resolução para apps em tempo real, como videoconferência, melhorando a qualidade e a clareza em vários cenários de vídeo.
- 4:55 - Adicionar efeitos ao seu app
Essa API, disponível pelo framework do Video Toolbox, permite que apps processem clipes de vídeo por meio de um processo de duas etapas: seleção de um efeito e envio de quadros de entrada para processamento, com o framework retornando quadros de saída. A API é adequada para edição de vídeo e aprimoramento de vídeo ao vivo, com recursos como conversão de taxa de quadros, super-resolução, desfoque de movimento e filtragem de ruído temporal. O código de exemplo de referência está anexado a esta apresentação.
- 6:46 - Exemplo de uso: conversão de taxa de quadros
A conversão de taxa de quadros é uma técnica de processamento de vídeo que aumenta o número de quadros em um clipe, sintetizando novos quadros. Esse recurso melhora a suavidade da reprodução, elimina vibrações e ativa efeitos de câmera lenta, normalmente usados em filmes e esportes, para melhorar o impacto visual e a análise. O processo de implementação envolve o uso da API "VTFrameProcessor" em duas etapas principais. A primeira etapa é criar uma sessão com um objeto de configuração que especifica ajustes como tamanho do quadro de entrada, nível de qualidade e revisão de algoritmo. A segunda etapa é processar quadros usando um objeto de parâmetros que gerencia buffers de entrada e saída e ajustes de interpolação. Uma decisão importante para desenvolvedores é pré-calcular o fluxo óptico, um processo computacionalmente caro, pois pode afetar o desempenho do app.
- 11:16 - Exemplo de uso: efeito de desfoque de movimento
O desfoque de movimento na edição de vídeo simula a velocidade lenta do obturador, desfocando objetos móveis para deixar o movimento mais natural e adicionar velocidade. Você pode aplicá-lo usando a classe "VTMotionBlurConfiguration", exigindo dois quadros de referência (próximo e anterior) com intensidade de desfoque ajustável de 1 a 100.
- 13:46 - Exemplo de uso: efeito de super-resolução de baixa latência
A super-resolução de baixa latência melhora os fluxos de vídeo em tempo real ao aumentar a resolução. O processo envolve duas classes simples: uma classe de configuração e uma classe de parâmetros. Um exemplo demonstra como esses recursos melhoram a nitidez de uma chamada de vídeo.
- 14:55 - Exemplo de uso: interpolação de quadros de baixa latência
A interpolação de quadros de baixa latência ajuda a melhorar os fluxos de vídeo em tempo real, especialmente em conexões lentas, suavizando vibrações e tornando os fluxos mais agradáveis de assistir. A API também oferece um filtro que combina duplicação da taxa de quadros e aumento da resolução, resultando em recursos faciais mais nítidos, planos de fundo e fluxos mais suaves. Além desses recursos, a API permite criar apps atraentes com recursos como câmera lenta, desfoque de movimento e experiências aprimoradas de transmissão ao vivo.