skill-evolver

三层架构的 Skill 自进化系统：autoresearch 骨架 + skill-creator 评测 + Meta-Harness trace 诊断

核心思想

外循环（autoresearch）
    ↓ 试错-回滚-保留骨架
内循环（skill-creator 评测）
    ↓ 量化"好不好"
证据层（Meta-Harness trace）
    ↓ 把失败变成可诊断的证据

架构分层

第1层：外循环（autoresearch）

• 无限迭代优化循环
• Git 棘轮机制（只保留改进）
• 自动回滚失败的尝试

第2层：内循环（skill-creator）

• 功能评测：能不能完成任务？
• 触发评测：会不会正确激活？
• 量化分数：可测量的改进指标

第3层：证据层（Meta-Harness trace）

• 完整执行轨迹记录
• 精准定位失败步骤
• 自动诊断根因
• 生成针对性改进方案

目录结构

skill-evolver/
├── core/                 # 核心引擎
│   ├── evolver.py       # 主循环控制器
│   ├── git_ratchet.py   # Git 棘轮机制
│   └── config.py        # 配置管理
├── evaluators/           # 评测器
│   ├── functional.py    # 功能评测
│   ├── trigger.py       # 触发评测
│   └── scorer.py        # 评分计算
├── tracers/             # 追踪器
│   ├── trace_collector.py  # trace 收集
│   ├── trace_analyzer.py   # trace 分析
│   └── diagnoser.py        # 根因诊断
├── templates/           # 模板文件
│   ├── SKILL.md.template
│   └── test-prompts.json.template
├── tests/               # 测试用例
├── logs/                # 运行日志
└── README.md

核心优势

vs Darwin-skill

从"分数驱动"到"证据驱动"

Darwin-skill：

“边界条件维度得分 6/10（低于平均）”

skill-evolver：

“测试 prompt 2 的 step 3 失败：遇到空文件时未 fallback，建议在 step 2 后增加 if-empty 检查”

使用场景

全量优化

python skill-evolver/core/evolver.py --all

单个优化

python skill-evolver/core/evolver.py --skill 

仅评测

python skill-evolver/core/evolver.py --eval-only

实施路线图

Phase 1: 核心基础（第1周）

• [x] 项目结构搭建
• [ ] Meta-Harness trace 收集器
• [ ] trace 分析器
• [ ] 根因诊断器

Phase 2: 评测系统（第2周）

• [ ] 功能评测器
• [ ] 触发评测器
• [ ] 评分计算引擎

Phase 3: 外循环（第3周）

• [ ] autoresearch 主循环
• [ ] Git 棘轮机制
• [ ] 自动回滚逻辑

Phase 4: 集成优化（第4周）

• [ ] 端到端测试
• [ ] 性能优化
• [ ] 文档完善

设计灵感

• Karpathy autoresearch: 外循环骨架
• Anthropic skill-creator: 评测标准
• Stanford Meta-Harness: trace 诊断

License

MIT