Этот проект представляет агентный оптимизатор ядер CUDA, который преобразует описания рабочих нагрузок в реализации GPU с помощью автоматической генерации кода, проверок корректности, бенчмаркинга и уточнения. Работает на LangGraph, агент исследует реализации ядер и конфигурации запуска, запрашивает свойства GPU и может изучать документацию NVIDIA для получения рекомендаций по оптимизации. Он также проверяет счетчики Nsight Compute, чтобы информировать свой следующий эксперимент. Каждый эксперимент записывается, и сохраняется самая быстрая проверенная реализация.

Модель может изменять как код ядра, так и конфигурации запуска для каждого случая. Автономная оболочка C++ компилирует ядра с помощью NVRTC, запускает их через API драйвера CUDA и сохраняет выводы. Python отвечает за сравнение и выбор кандидатов. Система требует Python 3.12+, GPU NVIDIA и совместимый набор инструментов/драйвер CUDA, а также CMake 3.24+ и компилятор C++17. Настройка включает создание виртуального окружения, установку зависимостей и конфигурацию сборки с помощью Visual Studio 2026.

Пользователи могут запускать оптимизатор с описанием рабочей нагрузки, например, "Одинарная точность GEMM с прямоугольными матрицами", и указывать максимальное количество итераций. Модель по умолчанию — gpt-5-mini со средними усилиями рассуждения, и использование API оплачивается со счета пользователя. Необязательные флаги включают профилирование с помощью Nsight Compute и получение рекомендаций по исследованию от NVIDIA перед генерацией ядер.

Ключевые сущности: Компании: NVIDIA, OpenAI | Местоположения: Windows, RTX 3060 Laptop GPU

Часто задаваемые вопросы: Что такое агентный оптимизатор ядер CUDA?

Это система, которая использует ИИ-агентов для автоматической генерации, тестирования и улучшения ядер CUDA на основе описаний рабочих нагрузок, используя LangGraph для управления рабочим процессом и Nsight Compute для профилирования производительности.