Awesome Kernel Skills

English | 中文

将 AutoKernel 的 6 层调优手册拆解为 18 个独立 SKILL.md（约 1,500 行），覆盖 7 个 LLM 核心算子 + NVIDIA/AMD 双平台。

两种用法：

1. 工程师学习路径：两周读完 18 个 SKILL.md + 自测，系统掌握 kernel 优化的 profile → 诊断 → 调优闭环 → 详见 LEARNING_PATH.md
2. AI 智能体技能注入：将 skills/ 目录挂载到 Cursor / Claude Code / Codex，智能体自动获得算子优化的领域知识

已验证平台：NVIDIA RTX 4090 + AMD MI300X —— 7/7 算子在两个平台均通过。

与 AutoKernel 的关系

本项目的知识体系蒸馏自 AutoKernel——一个自主 GPU 算子优化智能体。

AutoKernel 将所有知识打包在一个 900 行的 program.md 中，由 orchestrate.py 驱动 agent 自动跑实验。本项目做的事情是把这些知识拆解、模块化、补充双平台细节，让人类工程师可以逐个消化。

AutoKernel                              awesome_kernel_skills
┌──────────────────────┐                ┌──────────────────────────────────┐
│ program.md (900行)   │   拆解为 →     │ 18 个 SKILL.md（各 49~251 行）    │
│  Tier 1~6 playbook   │                │  6 个 optimization tier skills   │
│  9 kernel starters   │                │  7 个 kernel skills              │
│  orchestration loop  │                │  5 个 system skills              │
├──────────────────────┤                ├──────────────────────────────────┤
│ orchestrate.py       │                │ optimize-loop/SKILL.md           │
│ bench.py / verify.py │   对应 →       │ benchmark/ + verification/       │
│ reference.py         │                │ test_*.py (PyTorch 对比)          │
│ kernels/*.py         │                │ triton_template.py (双平台)       │
└──────────────────────┘                └──────────────────────────────────┘

学习路径（两周，每天 2~3 小时）

18 个 SKILL.md 按依赖关系分三层阅读，详见 LEARNING_PATH.md：

毕业标志：给定一个未见过的算子，30 分钟内完成瓶颈判断 → tier 优先级 → kernel 伪代码 → pitfalls → NVIDIA/AMD 差异。

快速开始（运行模板 + 测试）

# NVIDIA GPU（PyTorch NGC 容器）
docker run --gpus all --rm -it --ipc=host -v $(pwd):/workspace nvcr.io/nvidia/pytorch:25.12-py3
cd /workspace && python scripts/run_all_tests.py

# AMD GPU（ROCm PyTorch 容器）
docker run --device=/dev/kfd --device=/dev/dri --group-add video --rm -it --ipc=host \
  -v $(pwd):/workspace rocm/pytorch:rocm7.2_ubuntu24.04_py3.12_pytorch_release_2.8.0
cd /workspace && python scripts/run_all_tests.py

技能索引

系统技能

优化技能（6 层调优手册）

算子技能

使用方式

场景一：工程师学习（主要场景）

18 个 SKILL.md 已全部写完，覆盖 AutoKernel 6 层调优手册的全部知识。每个 SKILL.md 包含：

• Core Technique：算法原理 + back-of-envelope 分析
• Common Pitfalls：高频踩坑点（算子技能）
• Autotune Configs / Notes：NVIDIA + AMD 双平台参数
• Agent Instructions：给 AI 的执行指令（学习时可跳过）

阅读顺序和自测问题详见 LEARNING_PATH.md。

LLM 推理常见任务与技能映射：

场景二：AI 智能体技能注入

将 skills/ 目录添加到智能体的技能路径（如 .cursor/rules/ 或技能引用），智能体自动获得 GPU 算子优化知识。

你：帮我写一个 causal FlashAttention Triton kernel，head_dim=128，需要跑在 MI300X 上。

智能体读取：
  1. flash-attention/SKILL.md      → online softmax 算法、tiled QK/AV 结构
  2. tier5-arch-amd-rocm/SKILL.md  → wavefront-64、MFMA、num_stages>=1
  3. tier1-block-tiling/SKILL.md   → D=128 时的 BLOCK_M/N 选择
  4. flash-attention/triton_template.py → 可运行的起点代码

智能体输出：一个可运行的、AMD 调优过的 FlashAttention kernel + 测试脚本。

项目结构

skills/
  system/         -- 工作流技能（性能分析、验证、基准测试、诊断）
  optimization/   -- 优化技术技能（来自 AutoKernel 的 6 层调优手册）
  kernels/        -- 算子技能（SKILL.md + triton_template.py + 测试脚本）
experiments/      -- 实验日志（实验驱动文档格式）
scripts/          -- 共享工具（GPU 检测、测试运行器）

每个算子技能目录包含：

• SKILL.md —— 智能体可读的技能文档（Cursor SKILL.md 规范）
• triton_template.py —— 可运行的 Triton 算子，含 NVIDIA/AMD 双平台自动调优
• test_*.py —— 正确性 + 性能基准测试脚本

相关项目

智能体技能集合

算子智能体系统

Triton 算子合集

本项目的定位

awesome_kernel_skills = AutoKernel 知识的模块化拆解 + 工程师学习路径

演进路线

第零层：补充学习基础设施

第一层：新增算子技能（硬件驱动）

随着新指令和数据格式的引入，将持续新增算子技能：

第二层：更新优化知识（范式变迁）

新硬件不只是新增指令 —— 它改变了 kernel 的设计范式：

第三层：更智能的优化循环（最根本的演进）

从"人写规则、agent 选择"演进到自我提升的 agent：

当前：     人工策展 SKILL.md  →  智能体遵循指令
                                  ↓
近期：     智能体记录成功的优化  →  存储为新的可复用技能
           （optimize-loop 反馈 → experiments/ → 新 SKILL.md 条目）
                                  ↓
未来：     智能体读 ISA spec + 做实验  →  自主发现优化规则
           （RL 驱动，类似 CUDA-Agent）

近期可落地的一步：增强 optimize-loop/SKILL.md，让每次成功优化后 agent 自动追加一条结构化记录到 learned-patterns/ 目录 —— 构建一个随使用增长的项目级技能记忆。

知识来源

蒸馏自以下项目：

• AutoKernel —— 6 层调优手册 + 9 个算子基线
• HF Custom CUDA Kernels Skills —— SKILL.md 格式参考
• agent-gpu-skills —— 多层 GPU 智能体技能（cuda-skill / cutlass-skill / triton-skill / sglang-skill），侧重 CUDA 生态
• GEAK —— AMD CDNA3 知识库
• KernelAgent —— PyTorch 多智能体编排
• Triton Tutorials —— 参考实现
• KernelSkill —— 多智能体框架 + 专家优化技能
• CUDA-Agent —— 智能体 RL 驱动的 CUDA 算子生成