fullsend-ai/agent-eval-harness

作り付け 

代理店の楕円形の馬具

エージェントのパフォーマンスを測定可能にする — 即興

エージェント・エバー・ハーネスは、スキルとエージェントの能力を1つの宣言で評価 [eval.yaml: 解析 → 生成例 → 実行 → 判定 → MLflow → 最適化のトレース。 ノートパソコン、ハーバーコンテナ、または EvalHub 上で同じ構成。

ドキュメント・ 始める · クイックスタート・ 実行モデル

なぜエージェントの無効ハーネス

-**[eval.yaml]は、ローカルラン、ハーバー、EvalHubを駆動します。

• スキルまたはプロンプトモード。 パッケージスキルやエージェント能力を直接テスト (エージェントのドキュメントチェックを含む) -ローバストスコアリング。 LLM +コードは、A / B、しきい値、およびHTMLレポートを対等に判断します。 -MLflow-nativeトレース。 実験、データセット、および階層的なGenAIのトレース。 -ループを閉じます。 [/eval-optimize]は、失敗と再実行からスキルの修正を提案します。

実行モデル

ハーネスは、([execution.mode])から([execution.skill])または[execution.promptを分離します。

実行モード

-case:テストケースごとの1つの呼び出し(デフォルト)。 ハーネスはケースをループします.

Made at 

Agent Eval Harness

Make agent performance measurable — and improvable

Agent Eval Harness evaluates skills and agent capabilities with one declarative eval.yaml: analyze → generate cases → run → judge → trace in MLflow → optimize. Same config on your laptop, Harbor containers, or EvalHub.

Docs · Get started · Quick start · Execution model

Why Agent Eval Harness

• One config everywhere. eval.yaml drives local runs, Harbor, and EvalHub.
• Skill or prompt mode. Test packaged skills, or agent capabilities directly (including agentic documentation checks).
• Robust scoring. LLM + code judges, pairwise A/B, thresholds, and HTML reports.
• MLflow-native traces. Opt-in experiments, datasets, and hierarchical GenAI traces.
• Close the loop. /eval-optimize proposes skill fixes from failures and re-runs.

Execution Model

The harness separates how many invocations (execution.mode) from what to execute (execution.skill or execution.prompt):

Execution Mode

• case: One invocation per test case (default). The harness loops over cases.
• batch: One invocation for all cases via batch.yaml. The skill/agent loops internally.

What to Execute

• Skill mode (execution.skill): Test predefined skill implementations (/my-skill --args). Evaluates skill correctness, quality, and cost efficiency.
• Prompt mode (execution.prompt) ✨ NEW: Test agent capabilities directly by sending prompts without a skill wrapper. Extensible to any agent evaluation scenario.

Implemented flavor - Agentic Documentation Testing (see examples/openshift-agentic-docs.md):

• Documentation effectiveness: Can agents navigate and use your docs?