Поддержка ускорения интерполяции кадров NVIDIA интегрирована в FFmpeg через API Vulkan, как объявили разработчики проекта. FFmpeg — широко используемый набор программного обеспечения, обеспечивающий большую часть современной мультимедиа-обработки в мире, включая платформы вроде You Tube и множество других сервисов и приложений. Эта функция теперь использует видеокарты NVIDIA GeForce RTX для предсказания и генерации следующего кадра без вовлечения традиционного графического конвейера. NVIDIA расширяет эту возможность на видеокодирование, позволяя пользователям увеличивать частоту кадров своих видео с помощью технологии генерации кадров. Оптический ускоритель потока NVIDIA (NVOFA) в видеокартах NVIDIA применяет ту же логику потока, что и в графическом рендеринге, к видео, предсказывая следующий кадр и повышая частоту кадров с помощью ИИ-генрированных кадров.

NVIDIA называет этот процесс Engine-assisted Frame-rate Up Conversion (FRUC). FRUC — это не просто обычный алгоритм сглаживания кадров, так как он использует выделенный оптико-механический ускоритель NVIDIA для расчета движения между последними кадрами источника. NVENC предоставляет данные кадра с стороны энкодера, а аппаратный ускоритель потока генерирует векторы движения, описывающие, как объекты движутся между кадрами.

FFmpeg может затем использовать эту информацию о движении для синтеза промежуточного кадра, эффективно увеличивая частоту кадров видео без перерендеринга исходного контента. Это эффективнее, чем программная интерполяция, которая может значительно повысить вычислительные нагрузки на CPU. Новая реализация через Vulkan дает FFmpeg прямой доступ к оборудованию NVIDIA, избегая проприетарной зависимости, которая помешала интеграции патча 2023 года. Оптический ускоритель потока изначально был представлен в эпоху видеокарт NVIDIA GeForce RTX 20-Series «Turing». Однако это реализация на основе API Vulkan официально поддерживает только видеокарты NVIDIA GeForce RTX 30-Series «Ampere» и новее. Это означает, что владельцы видеокарт GeForce RTX 30, RTX 40 и RTX 50 series могут воспользоваться новым функционалом. Частоты кадров видео теперь будут удвоены, позволяя видео 30 FPS отображаться при 60 FPS, и кинематографичные видео 24 FPS отображаться при 48 FPS с помощью GPU-ускоренной интерполяции кадров. Чтобы воспользоваться этим, достаточно запустить инструмент FFmpeg у себя.