alexgreensh/eval-genius
Developer toolsЭта страница переведена автоматически. Технические детали смотрите в оригинале. Открыть оригинал
Научите своего агента работать с эвалами: когда вам действительно нужен эвал или эталон, как создать тот, который держится, и как читать то, что он говорит вам. Детерминист-первый, инструмент-агностик.
Обзор
Eval Genius Defensible — ответы о вашей системе ИИ вместо вибраций. Это навык для любого агента по кодированию ИИ, который говорит вам, когда вам нужен эвал, где он подходит, как его построить и как читать то, что выходит. Запускается изначально в Claude Code, Codex и Droid — или любом агенте, который загружает SKILL.md. Английский язык · .中. · Español · . Переводы отслеживают более раннюю версию этой страницы. Эвалы внезапно повсюду. Каждый разговор об ИИ, каждый запуск, каждая нить найма говорит, что они вам нужны. Затем вы садитесь, чтобы сделать это, и начинаются вопросы. Действительно ли быстрая настройка нуждается в эвале, или это перебор? В какую точку сборки входит первая? Что такое «животная упряжка», конкретно, за папкой под названием Evals /? Какую метрику, сколько примеров, может считать модель судьи? И когда число, наконец, выходит, 34 из 40 хорошо? Является ли 3-точечный выигрыш реальным или шумным? Или бег просто тихо разбился и сообщил о пропуске?
Обзор (машинный перевод)
Эвал Гений Защищенные ответы о вашей системе ИИ, а не вибрации.
Навык для любого агента по кодированию ИИ, который говорит вам, когда вам нужен эвал, Где он подходит, как его построить и как читать то, что выходит.
Запускается изначально в Claude Code, Codex и Droid — или любом агенте, который загружает SKILL.md.
Английский язык · 中 · Español ·
Переводы отслеживают более раннюю версию этой страницы.
Все говорят: “Вам нужны эвалы”. Почти никто не говорит «когда».
Эвалы внезапно повсюду. Каждый разговор об ИИ, каждый запуск, каждая нить найма говорит, что они вам нужны. Затем вы садитесь, чтобы сделать это, и начинаются вопросы.
Действительно ли быстрая настройка нуждается в эвале, или это перебор? В какую точку сборки входит первая? Что такое «жизненная упряжка», конкретно, за папкой с именем evals/? Какую метрику, сколько примеров, может считать модель судьи? И когда число, наконец, выходит, 34 из 40 хорошо? Является ли 3-точечный выигрыш реальным или шумным? Или бег просто тихо разбился и сообщил о пропуске?
Эта страница переведена автоматически. Технические детали смотрите в оригинале.
README
Показан фрагмент оригинального README. Открыть оригинал.
Eval Genius Defensible answers about your AI system, instead of vibes.
A skill for any AI coding agent that tells you when you need an eval, where it fits, how to build it, and how to read what comes out.
Runs natively in Claude Code, Codex, and Droid — or any agent that loads a SKILL.md.
English · 简体中文 · Español · 한국어 · 日本語 Translations track an earlier version of this page.
Everyone says “you need evals.” Almost nobody says when.
Evals are suddenly everywhere. Every AI talk, every launch post, every hiring thread says you need them. Then you sit down to actually do it, and the questions start.
Does a prompt tweak really need an eval, or is that overkill? At which point in the build does the first one go in? What is an “eval harness”, concretely, beyond a folder named evals/? Which metric, how many examples, does a judge model even count? And when a number finally comes out, is 34 out of 40 good? Is a 3-point gain real, or noise? Or did the run just crash quietly and report a pass?
Рекомендуемые инструменты
Попробуйте другой запрос или уберите фильтр.
Установка
npx skillfish add alexgreensh/eval-genius