Skill Eval 하네스는 에이전트 스킬의 ** 카우스 리프트 **를 측정하는 Python CLI입니다. 그것은 동일한 케이스, 모델 및 반복을 실행하고 기술없이, 정확한 실험 정체성을 검증 한 다음 변경 사항을보고, 어떤 전달, 그리고 eval이 자신의 대답을 유출 여부. 그것은 evals/shared-benchmark.json을 읽는다, 응답 키 안전한 작업 행을 방출, eval-runs/ 로컬과 deterministically의 밑에 파일 등급 경로에 모델 통화 없음 - 벤치 마크는 변형을 통해 디퓨프 할 수보고.

일반 eval 프레임 워크 (openai/evals, vitest-evals, viteval)는 루퍼에 대한 하나의 출력을 점수. difference는 기술 make를 측정하고, 그 차이를 지키기에 그것의 표면 지역을 정직합니다: 비교 없이/, tune]/holdout]/[holdback 쪼개는 분야, 누설 lint, 입증된 문 및 per-model 상승을 가진 materialized ablations. 그 프레임 워크의 아무도 그들을 가지고, 그들은 단지 녹색보다보고 된 번호가 신뢰할 수있는 것.

이 도움말 대답

| 문제 | 명령/통역 | |—|||

Skill Eval Harness

Skill Eval Harness is a Python CLI that measures the causal lift of an Agent Skill: it runs the same case, model, and repetition with and without the skill, validates that exact experimental identity, then reports what changed, what passed, and whether the eval leaked its own answer. It reads evals/shared-benchmark.json, emits answer-key-safe task rows, grades files under eval-runs/ locally and deterministically — no model call in the grade path — and writes benchmark reports you can diff across variants.

General eval frameworks (openai/evals, vitest-evals, viteval) score one output against a rubric. This one measures the difference the skill makes, and spends its surface area on keeping that difference honest: paired with/without comparison, tune/holdout/holdback split discipline, leakage lint, materialized ablations with provenance gates, and per-model lift. None of those frameworks have them, and they are what make a reported number trustworthy rather than merely green.

Questions this helps answer