Docker workbench и Agent Skill для проведения детерминированных оценок против навыков агента.

Используйте этот репо двумя способами:

Установите навык / плагин skill-optimizer в свой агент, чтобы он мог создавать и отлаживать Eval. Запустите местный CLI для выполнения дел и наборов в Docker против моделей OpenRouter.

##Установка

Установка отличается агентом. Каноническим навыком является skills/skill-optimizer/SKILL.md; каждый плагин показывает точки в том же файле.

###Клауд Код

Зарегистрируйте это хранилище как рынок плагинов Claude Code:

Затем установите плагин:

###Кодекс OpenAI

Зарегистрируйте это хранилище как рынок плагинов Codex:

Затем откройте интерфейс поиска плагина:

Выберите [[Т2]] и установите его.

Приложение OpenAI Codex

В приложении Codex откройте плагины с боковой панели, найдите skill-optimizer и установите его из раздела Кодирование.

Если он не указан, сначала установите его из Codex CLI:

Курсор

Установите навык с открытыми навыками CLI:

Курсор также может импортировать навыки из GitHub через Настройки -> Правила -> Правила проекта -> Добавить Правило -> Удаленное Правило (Github). Метаданные плагина Cursor живут в .cursor-plugin/plugin.json.

Открытый код

Скажите OpenCode:

skill-optimizer

Docker workbench and Agent Skill for running deterministic evals against agent skills.

Use this repo in two ways:

• Install the skill-optimizer skill/plugin into your agent so it can author and debug eval suites.
• Run the local CLI to execute cases and suites in Docker against OpenRouter models.

Installation

Installation differs by agent. The canonical skill is skills/skill-optimizer/SKILL.md; every plugin manifest points at that same file.

Claude Code

Register this repository as a Claude Code plugin marketplace:

/plugin marketplace add fastxyz/skill-optimizer

Then install the plugin:

/plugin install skill-optimizer@skill-optimizer

OpenAI Codex CLI

Register this repository as a Codex plugin marketplace:

codex plugin marketplace add fastxyz/skill-optimizer

Then open the plugin search interface:

/plugins

Select skill-optimizer and install it.

OpenAI Codex App

In the Codex app, open Plugins from the sidebar, search for skill-optimizer, and install it from the Coding section.

If it is not listed, install it from Codex CLI first:

codex plugin marketplace add fastxyz/skill-optimizer

Cursor

Install the skill with the open skills CLI:

npx skills add fastxyz/skill-optimizer --skill skill-optimizer -a cursor -y

Cursor can also import the skill from GitHub via Settings -> Rules -> Project Rules -> Add Rule -> Remote Rule (Github). The Cursor plugin metadata lives at .cursor-plugin/plugin.json.

OpenCode

Tell OpenCode:

Fetch and follow instructions from https://raw.githubusercontent.com/fastxyz/skill-optimizer/refs/heads/main/.opencode/INSTALL.md

Or add the plugin to opencode.json at user or project scope:

{
  "plugin": ["skill-optimizer@git+https://github.com/fastxyz/skill-optimizer.git"]
}

Restart OpenCode. See docs/README.opencode.md for details.

Gemini CLI

Install the Gemini extension from GitHub:

gemini extensions install https://github.com/fastxyz/skill-optimizer

To update:

gemini extensions update skill-optimizer

Skill-Only Install

If you only want the skill files without plugin metadata, use the open skills CLI:

npx skills add fastxyz/skill-optimizer --skill skill-optimizer -a claude-code -a opencode -a codex -a cursor -y

Local CLI Setup

Requirements:

• Node.js 20+
• Docker
• OPENROUTER_API_KEY for real model runs

Install and build:

npm install
npm run build

Only openrouter/... model refs are supported.

Quick Start

Run the suite against the models listed in suite.yml:

npx tsx src/cli.ts run-suite examples/workbench/pdf/suite.yml --trials 1

Run one case directly:

npx tsx src/cli.ts run-case ./case.yml --model openrouter/google/gemini-2.5-flash

CLI help:

npx tsx src/cli.ts --help
npx tsx src/cli.ts run-case --help
npx tsx src/cli.ts run-suite --help