alexgreensh/eval-genius

楕円形の天才 vibesの代わりに、AIシステムに関する防御可能な回答。

楕円形が必要なときにあなたに言うAIコーディングエージェントのためのスキル、 どこに収まるか、どのように構築するか、そして何が出てくるかを読んでください。

 

 

Claudeコード、Codex、Droid、SKILL.mdをロードする任意のエージェントでネイティブに実行します。

English · Español · Español · Español · Français · Español · Español · Español 翻訳は、このページの以前のバージョンを追跡します。

お問い合わせ

誰もが「あなたは楕円形を必要とします」と言っています。 ほとんど誰も言っていません when.

Evals は、突然どこにいても発生します。 すべてのAIは、すべての起動ポスト、すべての採用スレッドは、あなたがそれらを必要とすると言います。 それからあなたは実際にそれを行うために座って、質問は始まります。

プロンプトが本当に楕円形を必要とするか、またはそのオーバーキルですか? ビルドのどの点で最初の点が入りますか? 「楕円形のハーネス」とは、具体的に「evals/]というフォルダを超えたことですか? メトリック、例数、判断モデルのカウントは? ついに数字が出てきたら、40歳から34歳になるの? 3点のゲインは実物か騒音ですか。 または、実行は静かにクラッシュし、パスを報告しましたか?

Eval Genius Defensible answers about your AI system, instead of vibes.

A skill for any AI coding agent that tells you when you need an eval, where it fits, how to build it, and how to read what comes out.

 

 

Runs natively in Claude Code, Codex, and Droid — or any agent that loads a SKILL.md.

English · 简体中文 · Español · 한국어 · 日本語 Translations track an earlier version of this page.

---

Everyone says “you need evals.” Almost nobody says when.

Evals are suddenly everywhere. Every AI talk, every launch post, every hiring thread says you need them. Then you sit down to actually do it, and the questions start.

Does a prompt tweak really need an eval, or is that overkill? At which point in the build does the first one go in? What is an “eval harness”, concretely, beyond a folder named evals/? Which metric, how many examples, does a judge model even count? And when a number finally comes out, is 34 out of 40 good? Is a 3-point gain real, or noise? Or did the run just crash quietly and report a pass?