1. Обзор проекта

CUDA-Agent — первая известная модель, обученная на RL, которая превзошла продвинутые модели, такие как Claude Opus-4.6 и Gemini 3 Pro, по высокопроизводительной генерации ядра CUDA. Она достигает передовых результатов на KernelBench, стабильно превосходя базовый уровень torch.compile на всех уровнях сложности, с особенно сильным приростом в самых сложных случаях. Для поддержки сообщества генерации CUDA на базе LLM мы выпустили наши обучающие данные, экспертно разработанную SKILL.md и среду агентов.

2. Выпуск набора данных: CUDA-Agent-Ops-6K

Мы выпустили обучающий набор данных CUDA-Agent-Ops-6K:

• URL набора данных: BytedTsinghua-SIA/CUDA-Agent-Ops-6K
• Масштаб: 6 000 обучающих образцов
• Строительный конвейер:
• Собирать эталонные операторы из torch и transformers
• Использовать LLM для композиции нескольких операторов в объединённые задачи
• Применение фильтрации на основе правил для сохранения исполняемых, детерминированных и нетривиальных образцов
• Критерии фильтрации:
• Должно выполняться правильно как в режиме eager, так и в torch.compile
• Убрать стохастические операторы и вырожденные выходы
• Контроль диапазона выполнения и удаление образцов, очень похожих на тесты KernelBench, для снижения риска загрязнения

3.

CUDA-Agent: Large-Scale Agentic RL for High-Performance CUDA Kernel Generation

1. Project Overview

CUDA-Agent is the first known RL-trained model to surpass advanced models such as Claude Opus-4.6 and Gemini 3 Pro on high-performance CUDA kernel generation. It achieves state-of-the-art results on KernelBench, consistently outperforming the torch.compile baseline across difficulty levels, with especially strong gains on the hardest cases. To support the LLM-based CUDA generation community, we have released our training data, expert-designed SKILL.md and agent environment.

2. Dataset Release: CUDA-Agent-Ops-6K

We released the training dataset CUDA-Agent-Ops-6K:

• Dataset URL: BytedTsinghua-SIA/CUDA-Agent-Ops-6K
• Scale: 6,000 training samples
• Construction pipeline:
  • Collect reference operators from torch and transformers
  • Use an LLM to compose multiple operators into fused tasks
  • Apply rule-based filtering to keep executable, deterministic, and non-trivial samples
• Filtering criteria:
  • Must execute correctly in both eager mode and torch.compile
  • Remove stochastic operators and degenerate outputs
  • Control runtime range and remove samples highly similar to KernelBench tests to reduce contamination risk

3. agent_workdir Overview

agent_workdir is a standardized agent workspace example for the full loop: implement CUDA kernels -> compile -> verify correctness -> profile performance -> iterate.

Key files in this directory:

• SKILL.md: workflow constraints and optimization rules for agent execution
• model.py: original PyTorch baseline model
• model_new.py: optimized model using the custom CUDA extension
• binding.cpp / binding_registry.h: shared Python binding registration infrastructure
• kernels/: custom CUDA/C++ kernels and their bindings
• utils/compile.py + utils/compile.sh: extension build scripts
• utils/verification.py: correctness validation script
• utils/profiling.py: performance comparison against baseline and torch.compile

Common commands (run inside agent_workdir):

bash utils/compile.sh
python3 -m utils.verification
python3 -m utils.profiling