Skill Eval Harness は、Agent Skill の causal Lift を測定する Python CLI です。同じケース、モデル、そして、スキルなしで繰り返し実行し、その正確な実験的アイデンティティを検証し、何が変更されたのか、何が渡されたのか、そして eval が独自の答えを漏らしたかどうかを検証します。 [evals/shared-benchmark.json] を読み込み、回答キーセーフなタスク行、 [eval-runs/] の下のグレードファイルをローカルおよび決定的に出力します。 グレードパスでモデルコールなし、 バリアント間で差分できるベンチマークレポートを記述します。

一般的なevalフレームワーク(openai/evals、vitest-evals、viteval)は、 rubricに対して1つの出力をスコアします。 この1つは、differenceのスキルがになり、その違いを正直に保つためにその表面領域を費やします:比較なしでペアリング、[tune]/holdout]]/[holdback]]])分裂の規準、漏れのライニング、実証されたゲートと、およびモデルごとの上昇の彩色。 それらのフレームワークのどれもそれらを持っているし、彼らは単に緑色ではなく、報告された数の信頼性を作るものです。

質問 これは答えるのを助けます

| 質問 | コマンド・レポート | お問い合わせ

Skill Eval Harness

Skill Eval Harness is a Python CLI that measures the causal lift of an Agent Skill: it runs the same case, model, and repetition with and without the skill, validates that exact experimental identity, then reports what changed, what passed, and whether the eval leaked its own answer. It reads evals/shared-benchmark.json, emits answer-key-safe task rows, grades files under eval-runs/ locally and deterministically — no model call in the grade path — and writes benchmark reports you can diff across variants.

General eval frameworks (openai/evals, vitest-evals, viteval) score one output against a rubric. This one measures the difference the skill makes, and spends its surface area on keeping that difference honest: paired with/without comparison, tune/holdout/holdback split discipline, leakage lint, materialized ablations with provenance gates, and per-model lift. None of those frameworks have them, and they are what make a reported number trustworthy rather than merely green.

Questions this helps answer