厳格な方法論主導のパイプラインを使用して、エージェントのスキル文書を最適化します。 Microsoft Research の SkillOpt 紙 (arXiv 2605.23904) に触発され、テキスト スペースの最適化が 52/52 の設定でエージェントのスキルを向上させることを証明しました。7 モデル、6 ベンチマーク、3 エージェントのハーネスです。

コアの問題

ほとんどのスキル開発は、その品質を判断するためにスキルを読んでいます。 これは動作しません。 コンパニオンスキルペンスペーパー(arXiv 2605.23899)は、LMLの判断が46.4%悪化していることを示しています。

SkillOpt の回答: * テキストの評価は行いません。**

使い方

SkillOpt は、Hermes Agent の組み込みカンバンシステムを使用して、6 段階の最適化パイプラインを実行します。

各フェーズ:

| フェーズ | 新着情報 | 業績 | お問い合わせ |ロールアウト | トレーニングタスクのスキルを習得 | N 軌跡記録 | | 注意 | ロールアウト中の系統的障害パターンを特定 | 反射文書 | |Propose | 不具合修正の為の一括編集 | 提案の編集 | | プライバシーポリシー | 開催中のタスクから各編集をテスト | メトリックの受け入れ・拒否 |

SkillOpt — Controlled Skill Optimization for Hermes Agent

Optimize any agent skill document using a rigorous, methodology-driven pipeline. Inspired by Microsoft Research’s SkillOpt paper (arXiv 2605.23904), which proved that text-space optimization improves agent skills across 52/52 settings — 7 models, 6 benchmarks, and 3 agent harnesses.

The Core Problem

Most skill development relies on reading the skill to judge its quality. This doesn’t work. The companion SkillLens paper (arXiv 2605.23899) shows that LLM judges are 46.4% worse than chance at distinguishing effective from ineffective skills by reading them.

SkillOpt’s answer: don’t evaluate the text — evaluate the execution.

How It Works

SkillOpt uses your Hermes Agent’s built-in kanban system to run a six-phase optimization pipeline:

flowchart LR
    B[Backlog] --> R1[Rollout]
    R1 --> R2[Reflect]
    R2 --> P[Propose]
    P --> V[Validate]
    V -->|accepted| M[Merge]
    V -->|rejected| RB[Reject Buffer]
    RB -.->|every 4 epochs| SM[Slow/Meta]
    SM -.-> R1
    M -->|epochs < 4| R1
    M -->|epochs ≥ 4| SM
    M --> D[Done ✓]

Each phase:

The Validation-Gate Principle

Training and validation task sets MUST be distinct. Edits are only accepted if they demonstrably improve or maintain performance on unseen tasks. Current validation is multi-objective: pass/fail is the hard primary gate, then output quality, completion speed, and token efficiency are combined into a weighted score.

Quick Start

1. One-time install — clone the repo into your skills directory:

   git clone https://github.com/magnus919/hermes-SkillOpt \
     ~/.hermes/skills/skillopt
   

2. Start a conversation with your Hermes Agent and tell it what you want:

   I want to optimize my vault-note skill using SkillOpt
   

   The agent loads the SkillOpt methodology, works with you to define a test suite, and orchestrates the full optimization pipeline.

Design Philosophy

• Methodology over implementation — The phase design and validation-gate principle are the real deliverable. The scripts are wrappers around the methodology, not the other way around.
• No new infrastructure — Uses Hermes Agent’s existing kanban system. No additional daemons, databases, or APIs.