Le support d'interpolation de frames accélérée par GPU de NVIDIA a été intégré à FFmpeg via une API Vulkan, comme l'ont annoncé les développeurs du projet. FFmpeg est une suite logicielle largement utilisée qui alimente une grande partie du traitement multimédia moderne dans le monde, incluant des plateformes comme You Tube et de nombreux autres services et applications. Cette outil utilise désormais les GPU NVIDIA GeForce RTX pour prédire et générer le prochain frame sans impliquer le pipeline graphique traditionnel.

NVIDIA étend cette capacité à l'encodage vidéo, permettant aux utilisateurs d'augmenter le taux de trames de leurs vidéos grâce à la technologie de génération de frames. Le Accélérateur de flux optique NVIDIA (NVOFA) dans les GPU NVIDIA applique la même logique de flux optique utilisée dans le rendu graphique aux vidéos, prédisant la prochaine frame et améliorant les taux de trames grâce aux frames générées par IA. NVIDIA appelle ce processus Engine-assisted Frame-rate Up Conversion (FRUC).

Le FRUC est bien plus qu'un algorithme de lissage de frames conventionnel, car il utilise l'Accélérateur de flux optique dédié de NVIDIA pour calculer le mouvement entre les frames consécutives de source. NVENC fournit les données de frame du côté encodeur, tandis que le matériel de flux optique génère des vecteurs de mouvement décrivant comment les objets se déplacent entre les frames. FFmpeg peut alors utiliser ces informations de mouvement pour synthétiser un frame intermédiaire, augmentant ainsi le taux de trames de la vidéo sans re-rendering le contenu d'origine.

Ceci est plus efficace que l'interpolation basée sur logiciel, qui peut imposer des exigences informatiques considérablement plus lourdes au CPU. La nouvelle implémentation Vulkan donne à FFmpeg un accès direct au matériel NVIDIA tout en évitant la dépendance logicielle propriétaire qui a empêché le patch de 2023 d'être fusionné. L'Accélérateur de flux optique a été introduit à l'ère des NVIDIA GeForce RTX 20-Series "Turing".

Cependant, cette implémentation basée sur API Vulkan prend officiellement en charge uniquement NVIDIA GeForce RTX 30-Series "Ampere" et versions ultérieures. Cela signifie que les propriétaires de GeForce RTX 30, RTX 40 et RTX 50 series peuvent bénéficier de la nouvelle fonctionnalité. Les taux de trames vidéo vont désormais être doublés, permettant l'affichage de vidéos 30 FPS à 60 FPS, et des vidéos cinématographiques 24 FPS à 48 FPS avec interpolation de frames assistée par GPU.

Pour en profiter, il suffit d'exécuter l'outil FFmpeg de votre côté.