nvidia/skillevaluator
Developer toolsЭта страница переведена автоматически. Технические детали смотрите в оригинале. Открыть оригинал
Многоуровневая структура для оценки навыков агентов ИИ с помощью качествовых элементов, обнаружения семантических пересечений, генерации синтетических оценочных наборов данных и оценки живых агентов, измеряющей, как навыки влияют...
Обзор
SkillEvaluator — это открытый, многоуровневый фреймворк для оценки артефактов агентов ИИ, начиная с навыков агентов: детерминированных элементов качества, обнаружения семантического перекрытия, генерации синтетических наборов данных для оценки и оценки живых агентов. Навыки агента — это папки с инструкциями и сопутствующими файлами, расширяющими AI-агентов, как определено спецификацией Agent Skills. SkillEvaluator входит в конвейер NVIDIA Verified Skills. Уровни — это независимые точки входа; ничто не требует запускать более ранние сначала. SkillSpector предоставляет специализированное сканирование безопасности для проверки первого уровня. Harbor, открытая фреймворк оценки агентов, обеспечивает работу песочницы-агента в живой оценке уровня 3. Полные руководства по уровням доступны в документации. Установите все дополнительные функции оценки SkillEvaluator с UV, затем запустите встроенные детерминированные шлюзы валидации. Для этого первого результата не требуется ни ключ API, ни демон Docker, ни клон репозитория: ./my-skill — это любой каталог, содержащий SKILL.md.
Обзор (машинный перевод)
📺 Прямая трансляция: Спросите экспертов: оценка навыков агента
SkillEvaluator — это инструмент с открытым исходным кодом, который проверяет навыки агентов ИИ и измеряет их влияние на агента результаты задач. Начните с проверки качества или обратной связи, подкрепленной моделью, затем сравните Живые забеги с навыком и без него.
Навыки агента — это папки с инструкциями и вспомогательные файлы, определённые Спецификация навыков агента. SkillEvaluator является частью конвейер проверенных навыков NVIDIA.
Быстрый старт
Выберите стартовый путь. Оба используют наборный навык text-analyzer; попробуйте свой собственный потом.
| Начните здесь | Требуется | Первый результат |
|---|---|---|
| Запуск без LLM | Git и uv | Детерминированная оценка качества и результаты |
| Используйте NVIDIA Build | Git, uv и ключ Build API | Оценки рубрик, поддерживаемые моделями, и отзывы |
Установите UV и Git, Тогда возьмите пример:
uv предоставляет Python 3.13 и устанавливает зависимости каждого пути. Запускайте из этого Оформление. Для отдельного CLI см. Установка.
Беги без LLM
Не требуется ни API-ключ, ни внешний сканер, ни видеокарта, ни Docker. Примеры оценок
84.5/100 (B) и выходит 0, с семью неблокирующими находками. Стандарт
Порог сдачи — 70.
Эта страница переведена автоматически. Технические детали смотрите в оригинале.
README
Показан фрагмент оригинального README. Открыть оригинал.
SkillEvaluator
📺 Livestream: Ask the Experts: Evaluating Agent Skills
SkillEvaluator is an open-source tool that checks AI agent skills and measures their effect on an agent’s task results. Start with a quality check or model-backed feedback, then compare live runs with and without a skill.
Agent skills are folders of instructions and supporting files defined by the Agent Skills specification. SkillEvaluator is part of the NVIDIA Verified Skills pipeline.
Quickstart
Choose a starting path. Both use the bundled text-analyzer skill; try your own afterward.
| Start here | Requires | First result |
|---|---|---|
| Run without an LLM | Git and uv | A deterministic quality score and findings |
| Use NVIDIA Build | Git, uv, and a Build API key | Model-backed rubric scores and feedback |
Install uv and Git, then get the example:
git clone --depth 1 https://github.com/NVIDIA/SkillEvaluator.git
cd SkillEvaluator
uv provisions Python 3.13 and installs each path’s dependencies. Run from this checkout. For a standalone CLI, see Installation.
Run without an LLM
uv run --python 3.13 skillevaluator quality-check \
src/skillevaluator/tier3/reference_skills/text-analyzer \
-r cli -r json -o reports/first-quality
No API key, external scanner, GPU, or Docker is needed. The example scores
84.5/100 (B) and exits 0, with seven non-blocking findings. The default
passing threshold is 70. Read the terminal or saved
reports/first-quality/skillevaluator-quality.json report.
This checks static quality; publication evidence stays INCOMPLETE. Security
coverage needs scanners, and agent impact needs live evaluation. To check your
own skill, replace the example path with your SKILL.md directory. See the
keyless walkthrough.
Use NVIDIA Build
NVIDIA Developer Program members can use eligible NVIDIA-hosted endpoints for free prototyping, subject to current access terms and rate limits. See the
Рекомендуемые инструменты
Попробуйте другой запрос или уберите фильтр.
Установка
npx skillfish add nvidia/skillevaluator