Die NVIDIA GPU-accelerated Frame-Interpolation wurde über eine Vulkan-API in FFmpeg integriert, wie von den Projektentwicklern angekündigt. FFmpeg ist eine weit verbreitete Software-Suite, die viel der modernen Multimedia-Verarbeitung der Welt antreibt, einschließlich Plattformen wie You Tube und vielen anderen Diensten und Anwendungen. Dieses Tool nutzt nun NVIDIA GeForce RTX GPUs, um vorherzusagen und den nächsten Frame zu generieren, ohne den traditionellen Grafikrendering-Pipeline zu verwenden.

NVIDIA erweitert diese Fähigkeit auf die Videokodierung, sodass Benutzer die Frame-Rate ihrer Videos durch Frame-Generierungstechnologie erhöhen können. Der NVIDIA Optical Flow Accelerator (NVOFA) in NVIDIA-GPUs wendet dieselbe Logik an, die für Grafikrendering verwendet wird, auf Videos an, prognostiziert den nächsten Frame und erhöht die Frame-Rate durch KI-generierte Frames. NVIDIA nennt diesen Prozess Engine-assisted Frame-rate Up Conversion (FRUC).

FRUC ist mehr als ein konventionelles Frame-Smoothing-Algorithmus, da er den dedizierten NVIDIA Optical Flow Accelerator verwendet, um die Bewegung zwischen aufeinanderfolgenden Quell-Frames zu berechnen. NVENC stellt die encoderseitigen Frame-Daten bereit, während die Optical-Flow-Hardware Bewegungsvektoren generiert, die beschreiben, wie Objekte zwischen Frames bewegen. FFmpeg kann dann diese Bewegungsinformationen verwenden, um einen intermediären Frame zu synthetisieren, die Frame-Rate des Videos effektiv zu erhöhen, ohne den Originalinhalt neu zu rendern.

Dies ist effizienter als software-basierte Interpolation, die erheblich höhere Rechenlasten auf der CPU ausüben kann. Die neue Vulkan-Implementierung gibt FFmpeg direkten Zugriff auf die NVIDIA-Hardware, während sie die proprietäre Software-Abhängigkeit umgeht, die verhindert hat, dass der Patch von 2023 integriert wurde. Der Optical Flow Accelerator wurde ursprünglich während der Ära der NVIDIA GeForce RTX 20-Series „Turing“ eingeführt.

Diese Vulkan-API-basierte Implementierung unterstützt jedoch offiziell nur NVIDIA GeForce RTX 30-Series „Ampere“ und neuer. Das bedeutet, dass Besitzer von GeForce RTX 30, RTX 40 und RTX 50 Series von der neuen Funktion profitieren können. Die Videoframe-Raten werden nun verdoppelt, sodass 30 FPS-Videos mit 60 FPS angezeigt werden können und cineastische 24 FPS-Videos mit 48 FPS mit GPU-unterstützter Frame-Interpolation gezeigt werden.

Um davon zu profitieren, müssen Sie lediglich das FFmpeg-Tool auf Ihrer Seite ausführen.