** Оптимизируйте любой документ о навыках агента, используя строгий методологический конвейер.** Вдохновленный работой Microsoft Research SkillOpt (arXiv 2605.23904), которая доказала, что оптимизация текстового пространства улучшает навыки агента в настройках 52/52 — 7 моделей, 6 бенчмарков и 3 агента.

Основная проблема

Большая часть развития навыков зависит от чтения навыка, чтобы судить о его качестве. ** Это не работает.** Сопутствующая статья SkillLens (arXiv 2605.23899) показывает, что судьи LLM на 46,4% хуже, чем шанс отличить эффективные навыки от неэффективных, читая их.

Ответ SkillOpt: ** не оценивайте текст — оценивайте исполнение.**

Как это работает

SkillOpt использует встроенную систему канбан вашего агента Hermes для запуска шестифазного конвейера оптимизации:

Каждый этап:

Что происходит / What Happens / Artifact

| Rollout | Выполнять навыки против учебных задач | N рекордов траектории | | Reflect | Выявить систематические модели отказов при развертывании | Документ отражения | | Предложение | Создание 1-4 ограниченных правок для исправления сбоев | Редактирование предложений | ** Проверка** Проверяйте каждое редактирование на невыполненные задачи | Принять / отклонить с помощью метрик |

SkillOpt — Controlled Skill Optimization for Hermes Agent

Optimize any agent skill document using a rigorous, methodology-driven pipeline. Inspired by Microsoft Research’s SkillOpt paper (arXiv 2605.23904), which proved that text-space optimization improves agent skills across 52/52 settings — 7 models, 6 benchmarks, and 3 agent harnesses.

The Core Problem

Most skill development relies on reading the skill to judge its quality. This doesn’t work. The companion SkillLens paper (arXiv 2605.23899) shows that LLM judges are 46.4% worse than chance at distinguishing effective from ineffective skills by reading them.

SkillOpt’s answer: don’t evaluate the text — evaluate the execution.

How It Works

SkillOpt uses your Hermes Agent’s built-in kanban system to run a six-phase optimization pipeline:

flowchart LR
    B[Backlog] --> R1[Rollout]
    R1 --> R2[Reflect]
    R2 --> P[Propose]
    P --> V[Validate]
    V -->|accepted| M[Merge]
    V -->|rejected| RB[Reject Buffer]
    RB -.->|every 4 epochs| SM[Slow/Meta]
    SM -.-> R1
    M -->|epochs < 4| R1
    M -->|epochs ≥ 4| SM
    M --> D[Done ✓]

Each phase:

The Validation-Gate Principle

Training and validation task sets MUST be distinct. Edits are only accepted if they demonstrably improve or maintain performance on unseen tasks. Current validation is multi-objective: pass/fail is the hard primary gate, then output quality, completion speed, and token efficiency are combined into a weighted score.

Quick Start

1. One-time install — clone the repo into your skills directory:

   git clone https://github.com/magnus919/hermes-SkillOpt \
     ~/.hermes/skills/skillopt
   

2. Start a conversation with your Hermes Agent and tell it what you want:

   I want to optimize my vault-note skill using SkillOpt
   

   The agent loads the SkillOpt methodology, works with you to define a test suite, and orchestrates the full optimization pipeline.

Design Philosophy

• Methodology over implementation — The phase design and validation-gate principle are the real deliverable. The scripts are wrappers around the methodology, not the other way around.
• No new infrastructure — Uses Hermes Agent’s existing kanban system. No additional daemons, databases, or APIs.