El soporte de interpolación de marcos acelerado por GPU de NVIDIA se ha integrado en FFmpeg a través de una API de Vulkan, tal como anunciaron los desarrolladores del proyecto. FFmpeg es un conjunto de software ampliamente utilizado que impulsa gran parte del procesamiento multimedia moderno del mundo, incluidas plataformas como You Tube y muchos otros servicios y aplicaciones. Esta herramienta ahora aprovecha las GPUs NVIDIA GeForce RTX para predecir y generar el siguiente fotograma sin involucrar el pipeline gráfico tradicional.

NVIDIA está extendiendo esta capacidad a la codificación de video, permitiendo a los usuarios aumentar la velocidad de fotogramas de sus videos mediante tecnología de generación de fotogramas. El Acelerador de Flujo Óptico de NVIDIA (NVOFA) en las GPU de NVIDIA aplica la misma lógica de flujo óptico utilizada en el renderizado gráfico a los videos, prediciendo el siguiente fotograma y mejorando las tasas de fotogramas mediante fotogramas generados por IA. NVIDIA llama a este proceso Engine-assisted Frame-rate Up Conversion (FRUC).

FRUC es más que un algoritmo convencional de suavizado de fotogramas, ya que utiliza el dedicado Acelerador de Flujo Óptico de NVIDIA para calcular el movimiento entre fotogramas consecutivos de origen. NVENC proporciona los datos de fotograma del lado del codificador, mientras que el hardware de flujo óptico genera vectores de movimiento que describen cómo se mueven los objetos entre fotogramas. FFmpeg luego puede usar esa información de movimiento para sintetizar un fotograma intermedio, aumentando efectivamente la velocidad de fotogramas del video sin volver a renderizar el contenido original.

Esto es más eficiente que la interpolación basada en software, que puede colocar cargas computacionales significativamente mayores en la CPU. La nueva implementación de Vulkan le da a FFmpeg acceso directo al hardware de NVIDIA mientras evita la dependencia de software propietario que impidió que la parche de 2023 se fusionara. El Acelerador de Flujo Óptico se introdujo originalmente durante la era de las NVIDIA GeForce RTX 20-Series "Turing".

Sin embargo, esta implementación basada en API de Vulkan oficialmente solo soporta NVIDIA GeForce RTX 30-Series "Ampere" y versiones posteriores. Esto significa que los propietarios de GeForce RTX 30, RTX 40 y RTX 50 series pueden beneficiarse de la nueva característica. Las velocidades de fotogramas de video ahora se duplicarán, permitiendo que videos de 30 FPS se muestren a 60 FPS, y videos cinematográficos de 24 FPS se muestren a 48 FPS con asistencia GPU de interpolación de fotogramas.

Para aprovechar esto, simplemente necesita ejecutar la herramienta FFmpeg en su lado.