衡量AI编码代理技能、规则和MCP设置是否真的能提升你的任务。
概览
衡量技能、规则文件或MCP设置是否能提升你的代理在任务上的表现——然后只安装实验中幸存下来的部分。 代理配置生态系统已经解决了问题（NPX技能添加、插件市场、MCP注册表），但还没有。证据表明未经验证的配置可能会带来伤害： - 策划技能平均提升通过率——但代理自生成技能得分和聚焦技能优于大批量（SkillsBench，arXiv：2602.12670）- LLM生成上下文文件得分，推理成本提升20%+（苏黎世联邦理工学院，arXiv：2602.11988）- 36%的扫描公开技能包含即时注入（Snyk ToxicSkills，2026-02） skillfit 是缺失的测量层：配对的 A/B 实验，配合确定性验证器、统计判决和触发率测量——以任何人都能运行的 CLI 形式打包。 围绕你自己的任务构建案例：钉住起始文件，编写请求，定义正确结果必须做什么。
概述（AI 翻译）
在你自己的任务中衡量配置结果、成本和激活情况。
将技能、规则文件或MCP设置与你的代理的基线进行比较—— 然后利用录音证据及其限制来决定哪些内容需要支持。
英语 ·简体中文
文档 ·快速入门 ·实验台指南 ·指标方案 ·证据
为什么
代理配置生态系统已经解决了分发（npx skills add）、插件市场、MCP注册库），但还没有selection。证据表明未经验证的配置可能会带来伤害：
- 策划技能在87个任务和18种模型-工具配置中平均通过率提升了**+16.6pp**;提升因配置而异（SkillsBench v4）。
- LLM生成的上下文文件未显示统计学上显著的成功率提升，而在SWE-bench上平均推理成本增加了20%，在CTXbench上增加了23%（评估 AGENTS.md v3）。
- 在Snyk于2026年2月5日的研究中，36.82%的扫描公开技能存在至少一项安全问题（ToxicSkills发现）。
本页由 AI 翻译，技术细节请以原文为准。
README
以下为原文 README 节选，完整内容请查看原文。
Install
npx [email protected] --help
npx [email protected] doctor
Requires Node.js 22+. Both commands above are offline and make no model calls: --help lists the eight commands, and doctor is a read-only health report that detects which supported agents you have, inspects their rules files, and flags invalid or conflicting Skills. Choose your build owns the package/source boundary, availability checks and older release documentation.
See a real report before you spend
No agent CLI, no login, no model calls. These read the benches shipped inside the package and take a few seconds:
npx [email protected] bench check code-review
npx [email protected] bench self-test code-review --suite existing-mock-arms --runs-root ./runs --run-group controls-001 --yes
npx [email protected] report eval ./runs/controls-001/existing-mock-arms
推荐工具
换一个关键词，或者移除筛选条件。
安装
npx skillfish add remote-controlled-man/skillfit