Skill Eval Harness - это Python CLI, который измеряет **причинный подъем ** Агентского навыка: он запускает тот же случай, модель и повторение с навыком и без него, подтверждает эту точную экспериментальную идентичность, а затем сообщает, что изменилось, что прошло, и утечка ли Эвал своего собственного ответа. Он читает evals/shared-benchmark.json, испускает строки задач с ключом ответа, ранжирует файлы под eval-runs/ локально и детерминировано — ни одного вызова модели в пути оценки — и пишет отчеты о тестах, которые вы можете диффундировать по вариантам.

Общие рамки эвалов (openai/evals, vitest-evals, viteval) оценивают один выход по рубрике. Этот измеряет *различие, которое делает навык *, и тратит свою площадь поверхности на то, чтобы сохранить эту разницу честной: в паре с / без сравнения, tune / holdout / holdback разделенная дисциплина, вмятина утечки, материализованные абляции с провенансными воротами и подъем по модели. Ни одна из этих структур не имеет их, и именно они делают зарегистрированное число надежным, а не просто зеленым.

Вопросы, которые помогут ответить

| Вопрос | Командование/отчет об использовании | [скрыто] [скрыто]

Skill Eval Harness

Skill Eval Harness is a Python CLI that measures the causal lift of an Agent Skill: it runs the same case, model, and repetition with and without the skill, validates that exact experimental identity, then reports what changed, what passed, and whether the eval leaked its own answer. It reads evals/shared-benchmark.json, emits answer-key-safe task rows, grades files under eval-runs/ locally and deterministically — no model call in the grade path — and writes benchmark reports you can diff across variants.

General eval frameworks (openai/evals, vitest-evals, viteval) score one output against a rubric. This one measures the difference the skill makes, and spends its surface area on keeping that difference honest: paired with/without comparison, tune/holdout/holdback split discipline, leakage lint, materialized ablations with provenance gates, and per-model lift. None of those frameworks have them, and they are what make a reported number trustworthy rather than merely green.

Questions this helps answer