ドッカーワークベンチとエージェントのスキルに対する決定的な楕円形を実行するためのエージェントスキル。

2つの方法でこのリポジトリを使用する:

• [skill-optimizer]スキル/プラグインをエージェントにインストールして、evalスイートを作者とデバッグできます。
• ローカル CLI を実行して、OpenRouter モデルに対する Docker のケースとスイートを実行します。

インストール

インストールはエージェントによって異なります。 正式なスキルはskills/skill-optimizer/SKILL.mdです。すべてのプラグインは同じファイルでポイントをマニフェストします。

##Claudeコード

このリポジトリをClaudeコードプラグインのマーケットプレースとして登録します。

次に、プラグインをインストールします。

OpenAI Codex CLI の使い方

このリポジトリをCodexプラグインのマーケットプレイスとして登録します。

次に、プラグイン検索インターフェイスを開きます。

skill-optimizerを選択し、インストールします。

OpenAI Codex アプリ

Codex アプリでは、サイドバーからプラグインを開き、[skill-optimizer]を検索し、Coding セクションからインストールします。

リストされていない場合は、まずCodex CLIからインストールしてください。

カーソル

スキルをオープンスキルでインストールする CLI:

Cursorは、設定→ルール→プロジェクトルール→でGitHubからスキルをインポートすることもできます。 ルール -> リモートルール (Github) を追加します。 Cursor プラグインのメタデータは [.cursor-plugin/plugin.json] で動作します。

## オープンソース

OpenCode を知らせて下さい:

skill-optimizer

Docker workbench and Agent Skill for running deterministic evals against agent skills.

Use this repo in two ways:

• Install the skill-optimizer skill/plugin into your agent so it can author and debug eval suites.
• Run the local CLI to execute cases and suites in Docker against OpenRouter models.

Installation

Installation differs by agent. The canonical skill is skills/skill-optimizer/SKILL.md; every plugin manifest points at that same file.

Claude Code

Register this repository as a Claude Code plugin marketplace:

/plugin marketplace add fastxyz/skill-optimizer

Then install the plugin:

/plugin install skill-optimizer@skill-optimizer

OpenAI Codex CLI

Register this repository as a Codex plugin marketplace:

codex plugin marketplace add fastxyz/skill-optimizer

Then open the plugin search interface:

/plugins

Select skill-optimizer and install it.

OpenAI Codex App

In the Codex app, open Plugins from the sidebar, search for skill-optimizer, and install it from the Coding section.

If it is not listed, install it from Codex CLI first:

codex plugin marketplace add fastxyz/skill-optimizer

Cursor

Install the skill with the open skills CLI:

npx skills add fastxyz/skill-optimizer --skill skill-optimizer -a cursor -y

Cursor can also import the skill from GitHub via Settings -> Rules -> Project Rules -> Add Rule -> Remote Rule (Github). The Cursor plugin metadata lives at .cursor-plugin/plugin.json.

OpenCode

Tell OpenCode:

Fetch and follow instructions from https://raw.githubusercontent.com/fastxyz/skill-optimizer/refs/heads/main/.opencode/INSTALL.md

Or add the plugin to opencode.json at user or project scope:

{
  "plugin": ["skill-optimizer@git+https://github.com/fastxyz/skill-optimizer.git"]
}

Restart OpenCode. See docs/README.opencode.md for details.

Gemini CLI

Install the Gemini extension from GitHub:

gemini extensions install https://github.com/fastxyz/skill-optimizer

To update:

gemini extensions update skill-optimizer

Skill-Only Install

If you only want the skill files without plugin metadata, use the open skills CLI:

npx skills add fastxyz/skill-optimizer --skill skill-optimizer -a claude-code -a opencode -a codex -a cursor -y

Local CLI Setup

Requirements:

• Node.js 20+
• Docker
• OPENROUTER_API_KEY for real model runs

Install and build:

npm install
npm run build

Only openrouter/... model refs are supported.

Quick Start

Run the suite against the models listed in suite.yml:

npx tsx src/cli.ts run-suite examples/workbench/pdf/suite.yml --trials 1

Run one case directly:

npx tsx src/cli.ts run-case ./case.yml --model openrouter/google/gemini-2.5-flash

CLI help:

npx tsx src/cli.ts --help
npx tsx src/cli.ts run-case --help
npx tsx src/cli.ts run-suite --help