fullsend-ai/agent-eval-harness

Сделано в  

Агент Эвал Харнесс

Сделать работу агента измеримой — и неправдоподобной

Агент Эвал Харнесс оценивает навыки и возможности агента с помощью одного декларатива eval.yaml: анализировать → генерировать дела → запускать → судить → отслеживать в MLflow → оптимизировать. Такая же конфигурация на вашем ноутбуке, контейнерах Harbor или EvalHub.

Докс · Начало работы · Быстрый старт Модель исполнения

Почему агент Эвал Харнесс

** Один конфигуратор везде. ** eval.yaml ездит на местных трассах, Harbor и EvalHub. Умный или быстрый режим. Тестовые навыки или возможности агента напрямую (включая проверку агентской документации). Быстрый подсчет очков. LLM + кодовые судьи, попарно A/B, пороги и отчеты HTML.

• ** Родные следы MLflow.** Эксперименты, наборы данных и иерархические следы GenAI. ** Закройте петлю. ** /eval-optimize предлагает исправления навыков от неудач и повторных запусков.

Модель исполнения

Упряжка отделяет **, сколько вызовов ** ([T3]) от **, что выполнить ** ([T4] или [T5]):

Режим исполнения

• case: One invocation per test case (по умолчанию). Упряжка зацикливается на делах.

Made at 

Agent Eval Harness

Make agent performance measurable — and improvable

Agent Eval Harness evaluates skills and agent capabilities with one declarative eval.yaml: analyze → generate cases → run → judge → trace in MLflow → optimize. Same config on your laptop, Harbor containers, or EvalHub.

Docs · Get started · Quick start · Execution model

Why Agent Eval Harness

• One config everywhere. eval.yaml drives local runs, Harbor, and EvalHub.
• Skill or prompt mode. Test packaged skills, or agent capabilities directly (including agentic documentation checks).
• Robust scoring. LLM + code judges, pairwise A/B, thresholds, and HTML reports.
• MLflow-native traces. Opt-in experiments, datasets, and hierarchical GenAI traces.
• Close the loop. /eval-optimize proposes skill fixes from failures and re-runs.

Execution Model

The harness separates how many invocations (execution.mode) from what to execute (execution.skill or execution.prompt):

Execution Mode

• case: One invocation per test case (default). The harness loops over cases.
• batch: One invocation for all cases via batch.yaml. The skill/agent loops internally.

What to Execute

• Skill mode (execution.skill): Test predefined skill implementations (/my-skill --args). Evaluates skill correctness, quality, and cost efficiency.
• Prompt mode (execution.prompt) ✨ NEW: Test agent capabilities directly by sending prompts without a skill wrapper. Extensible to any agent evaluation scenario.

Implemented flavor - Agentic Documentation Testing (see examples/openshift-agentic-docs.md):

• Documentation effectiveness: Can agents navigate and use your docs?