1.プロジェクト概要

CUDA-Agentは、Claude Opus-4.6やGemini 3 Proなどの高性能モデルを高性能CUDAカーネル生成で上回る、既知の初の強化学習モデルです。KernelBenchでは最先端の結果を達成し、難易度レベルを問わずtorch.compileベースラインを一貫して上回り、特に最も難しいケースで大きな向上を遂げています。LLMベースのCUDA生成コミュニティを支援するため、私たちはトレーニングデータ、専門家が設計した SKILL.md およびエージェント環境を公開しました。

2.データセットリリース:CUDA-Agent-Ops-6K

私たちはトレーニングデータセットCUDA-Agent-Ops-6Kを公開しました:

• データセットURL:BytedTsinghua-SIA/CUDA-Agent-Ops-6K
• スケール:6,000件の訓練サンプル
• 建設パイプライン:
• torchおよびtransformersから参照演算子を収集する
• LLMを用いて複数のオペレーターを統合タスクにまとめる
• 実行可能で決定的かつ非自明なサンプルを保持するためのルールベースフィルタリングの適用
• フィルタリング基準:
• 急激モードと[[T2]の両方で正しく実行しなければならない]
• 確率演算子と縮退出力の除去
• KernelBenchテストに非常に似たサンプルの処理範囲を制御し、汚染リスクを低減する

3.

CUDA-Agent: Large-Scale Agentic RL for High-Performance CUDA Kernel Generation

1. Project Overview

CUDA-Agent is the first known RL-trained model to surpass advanced models such as Claude Opus-4.6 and Gemini 3 Pro on high-performance CUDA kernel generation. It achieves state-of-the-art results on KernelBench, consistently outperforming the torch.compile baseline across difficulty levels, with especially strong gains on the hardest cases. To support the LLM-based CUDA generation community, we have released our training data, expert-designed SKILL.md and agent environment.

2. Dataset Release: CUDA-Agent-Ops-6K

We released the training dataset CUDA-Agent-Ops-6K:

• Dataset URL: BytedTsinghua-SIA/CUDA-Agent-Ops-6K
• Scale: 6,000 training samples
• Construction pipeline:
  • Collect reference operators from torch and transformers
  • Use an LLM to compose multiple operators into fused tasks
  • Apply rule-based filtering to keep executable, deterministic, and non-trivial samples
• Filtering criteria:
  • Must execute correctly in both eager mode and torch.compile
  • Remove stochastic operators and degenerate outputs
  • Control runtime range and remove samples highly similar to KernelBench tests to reduce contamination risk

3. agent_workdir Overview

agent_workdir is a standardized agent workspace example for the full loop: implement CUDA kernels -> compile -> verify correctness -> profile performance -> iterate.

Key files in this directory:

• SKILL.md: workflow constraints and optimization rules for agent execution
• model.py: original PyTorch baseline model
• model_new.py: optimized model using the custom CUDA extension
• binding.cpp / binding_registry.h: shared Python binding registration infrastructure
• kernels/: custom CUDA/C++ kernels and their bindings
• utils/compile.py + utils/compile.sh: extension build scripts
• utils/verification.py: correctness validation script
• utils/profiling.py: performance comparison against baseline and torch.compile

Common commands (run inside agent_workdir):

bash utils/compile.sh
python3 -m utils.verification
python3 -m utils.profiling