O suporte de interpolacao de frames acelerado por GPU da NVIDIA foi integrado ao FFmpeg atraves de uma API Vulkan, conforme anunciado pelos desenvolvedores do projeto. O FFmpeg e um conjunto de software amplamente utilizado que alimenta grande parte do processamento multimidia moderno do mundo, incluindo plataformas como You Tube e muitos outros servicos e aplicativos. Esta ferramenta agora aproveita as GPUs NVIDIA GeForce RTX para prever e gerar o proximo frame sem envolver o pipeline grafico tradicional.

NVIDIA estende essa capacidade para a codificacao de video, permitindo que os usuarios aumentem a taxa de quadros de seus videos atraves da tecnologia de geracao de quadros. O Optical Flow Accelerator da NVIDIA (NVOFA) nas GPUs da NVIDIA aplica a mesma logica de fluxo optico usada em renderizacao grafica a videos, prevendo o proximo frame e aumentando as taxas de frames atraves de frames gerados por IA. A NVIDIA chama esse processo de Engine-assisted Frame-rate Up Conversion (FRUC).

O FRUC e mais do que um algoritmo convencional de suavizacao de frames, pois usa o Optical Flow Accelerator dedicado da NVIDIA para calcular o movimento entre frames consecutivos de origem. O NVENC fornece os dados de frame do lado do encoder, enquanto o hardware de fluxo optico gera vetores de movimento que descrevem como os objetos se movem entre frames. O FFmpeg pode entao usar essa informacao de movimento para sintetizar um frame intermediario, aumentando efetivamente a taxa de quadros do video sem re-renderizar o conteudo original.

Isso e mais eficiente do que interpolacao baseada em software, que pode colocar demandas computacionais significativamente maiores no CPU. A nova implementacao Vulkan da FFmpeg da acesso direto ao hardware da NVIDIA enquanto evita a dependencia de software proprietario que impediu o patch de 2023 de ser mesclado. O Optical Flow Accelerator foi introduzido durante a era das NVIDIA GeForce RTX 20-Series "Turing".

No entanto, esta implementacao baseada em API Vulkan oficialmente suporta apenas NVIDIA GeForce RTX 30-Series "Ampere" e versoes posteriores. Isso significa que os proprietarios da GeForce RTX 30, RTX 40 e RTX 50 series podem se beneficiar da nova funcionalidade. As taxas de quadros de video agora serao dobradas, permitindo que videos de 30 FPS sejam exibidos a 60 FPS, e videos cinematograficos de 24 FPS sejam mostrados a 48 FPS com interpolacao de frames assistida por GPU.

Para aproveitar isso, basta executar a ferramenta FFmpeg do seu lado.