fullsend-ai/agent-eval-harness

만든 at 

에이전트 Eval 하네스

에이전트 성능 보장 - 및 improvable

Agent Eval 마구는 1개의 declarative를 가진 기술 그리고 대리인 기능을 평가합니다 eval.yaml: 분석 → 생성 사례 → 실행 → 판단 → MLflow에서 추적 → 최적화. 노트북, 하버 컨테이너 또는 EvalHub에 동일한 구성.

· 시작하기 빠른 시작 · 실행 모델

왜 대리인 Eval 마구

• 모든 구성. eval.yaml 로컬 실행, 하버, EvalHub 드라이브.
• Skill 또는 신속한 모드. 포장된 기술, 또는 대리인 기능을 직접 시험하십시오 (소셜 문서 검사 포함).
• ** 튼튼한 득점.** LLM + 코드 판단, 쌍방향 A/B, 문턱 및 HTML 보고서.
• MLflow-native 추적. Opt-in 실험, 데이터 세트 및 계층적 GenAI 추적.
• ** 루프를 닫습니다. ** /eval-optimize 실패와 재 실행에서 기술 수정을 제안합니다.

실행 모델

하네스는 **([execution.mode]])를 **(execution.skill] 또는 execution.prompt])로 나뉩니다.

실행 모드

• 케이스: 테스트 케이스당 원입(기본) 케이스에 하네스 루프.

Made at 

Agent Eval Harness

Make agent performance measurable — and improvable

Agent Eval Harness evaluates skills and agent capabilities with one declarative eval.yaml: analyze → generate cases → run → judge → trace in MLflow → optimize. Same config on your laptop, Harbor containers, or EvalHub.

Docs · Get started · Quick start · Execution model

Why Agent Eval Harness

• One config everywhere. eval.yaml drives local runs, Harbor, and EvalHub.
• Skill or prompt mode. Test packaged skills, or agent capabilities directly (including agentic documentation checks).
• Robust scoring. LLM + code judges, pairwise A/B, thresholds, and HTML reports.
• MLflow-native traces. Opt-in experiments, datasets, and hierarchical GenAI traces.
• Close the loop. /eval-optimize proposes skill fixes from failures and re-runs.

Execution Model

The harness separates how many invocations (execution.mode) from what to execute (execution.skill or execution.prompt):

Execution Mode

• case: One invocation per test case (default). The harness loops over cases.
• batch: One invocation for all cases via batch.yaml. The skill/agent loops internally.

What to Execute

• Skill mode (execution.skill): Test predefined skill implementations (/my-skill --args). Evaluates skill correctness, quality, and cost efficiency.
• Prompt mode (execution.prompt) ✨ NEW: Test agent capabilities directly by sending prompts without a skill wrapper. Extensible to any agent evaluation scenario.

Implemented flavor - Agentic Documentation Testing (see examples/openshift-agentic-docs.md):

• Documentation effectiveness: Can agents navigate and use your docs?