alibaba/skill-up

Повышение квалификации

Оценивайте навыки агента, агентов и рабочие пространства. Развивайте навыки на основе доказательств.

Английский | 中文

📖 Руководство пользователя · 用户手册

Обзор

skill-up — это CLI для оценки навыков агентов, агентов и их рабочих пространств. Он проводит декларативные дела против Agent Engine, оценивает реакцию и изменения рабочего пространства, а также готовит отчёты локально или в CI.

• Оценка навыка измеряет поведение навыка по разным случаям и может сравнивать забеги с навыком и без него.
• Оценка агента запускает те же случаи без установки Skill, поэтому вы можете оценивать движок или пользовательский агент отдельно.
• Оценка рабочего пространства проверяет, как агент работает с файлами и репозиториями, используя case fixtures или существующее локальное рабочее пространство.
• Эволюция навыков использует навык-аппер для проверки неудач, ремонта или расширения набора оценок, а также повторного прохождения навыков через разговор.

Особенности

• Цикл Eval-to-Evolution с навыком верхнего: Создавать оценки через естественный диалог, диагностировать сбои, автоматически ремонтировать или расширять случаи, а также повторять навыки до эволюции набора оценок.

Overview

skill-up is a CLI for evaluating Agent Skills, agents, and their workspaces. It runs declarative cases against an Agent Engine, grades the response and workspace changes, and produces reports locally or in CI.

• Skill evaluation measures a Skill’s behavior across cases and can compare runs with and without the Skill.
• Agent evaluation runs the same cases without installing a Skill, so you can assess an engine or custom agent on its own.
• Workspace evaluation checks how an agent works with files and repositories, using case fixtures or an existing local workspace.
• Skill evolution uses skill-upper to inspect failures, repair or expand the eval suite, and rerun skill-up through conversation.

Features

• Eval-to-Evolution Loop with skill-upper: Create evals through natural conversation, diagnose failures, automatically repair or expand cases, and rerun skill-up until the eval suite evolves.
• Declarative Eval Config: Define evaluation environment, engine, model, and cases through YAML (eval.yaml + cases/*.yaml).