教你的经纪人如何处理评估：当你真正需要评估或基准时，如何构建一个经得起考验的基准，以及如何解读它告诉你的信息。确定论优先，工具无关。
概览
Eval Genius 关于你的AI系统的合理回答，而不是氛围。 这是任何AI编码代理的技能，它告诉你什么时候需要评估，它适合哪里，如何构建，以及如何读取结果。 原生运行于Claude Code、Codex和Droid——或者任何加载 SKILL.md 的代理。 英语 ·简体中文 ·西班牙语 ·한국어 ·日本語翻译 追踪本页面的早期版本。 评估突然无处不在。每一个AI演讲、每条发布帖子、每个招聘帖子都说你需要它们。然后你坐下来真正去做，问题就开始了。 提示调整真的需要评估吗，还是说这有点过头了？在构建的哪个阶段，第一个评估应该放进去？“评估束带”具体来说是什么？除了一个叫evals/的文件夹？评判模型到底算什么指标，有多少个例子？当一个数字最终出来时，40个里有34个是合格的吗？3分的增益是真实的，还是杂音？还是说这次运行只是悄无声息地崩溃，然后报告通过？
概述（AI 翻译）
评估天才 关于你的AI系统的合理回答，而不是氛围。
这是任何AI编码代理的技能，它能告诉你何时需要评估， 它适合哪里，如何构建，以及如何阅读最终呈现的内容。
原生运行于 Claude Code、Codex 和 Droid 中——或者任何加载 SKILL.md 的代理。
英语 ·简体中文 ·西班牙语 ·한국어 ·日本語 翻译记录了本页的早期版本。
每个人都说“你需要评估”。几乎没人说什么时候。
评估突然无处不在。每一个AI演讲、每条发布帖子、每个招聘帖子都说你需要它们。然后你坐下来真正去做，问题就开始了。
提示调整真的需要评估吗，还是说这有点过头了？在构建的哪个阶段，第一个评估应该放进去？“评估束”具体来说是什么，除了一个名为evals/的文件夹？评判模型算哪些指标，有多少个例子？当一个数字最终出来时，40个里有34个是好的吗？3分的提升是真实的吗，还是噪音？还是说这次运行只是悄无声息地崩溃并报告通过？
本页由 AI 翻译，技术细节请以原文为准。
README
以下为原文 README 节选，完整内容请查看原文。
Eval Genius Defensible answers about your AI system, instead of vibes.
A skill for any AI coding agent that tells you when you need an eval, where it fits, how to build it, and how to read what comes out.
Runs natively in Claude Code, Codex, and Droid — or any agent that loads a SKILL.md.
English · 简体中文 · Español · 한국어 · 日本語 Translations track an earlier version of this page.
Everyone says “you need evals.” Almost nobody says when.
Evals are suddenly everywhere. Every AI talk, every launch post, every hiring thread says you need them. Then you sit down to actually do it, and the questions start.
Does a prompt tweak really need an eval, or is that overkill? At which point in the build does the first one go in? What is an “eval harness”, concretely, beyond a folder named evals/? Which metric, how many examples, does a judge model even count? And when a number finally comes out, is 34 out of 40 good? Is a 3-point gain real, or noise? Or did the run just crash quietly and report a pass?
推荐工具
换一个关键词，或者移除筛选条件。
安装
npx skillfish add alexgreensh/eval-genius