nvidia/skillevaluator

このページは AI により自動翻訳されています。技術的な詳細は原文をご確認ください。原文を見る

612 stars 品質 63 トレンド 47Apache-2.0

AIエージェントのスキルを評価するための多層フレームワークで、品質ゲート、意味的重複検出、合成評価データセット生成、ライブエージェント評価を用いて、スキルが...

概要

SkillEvaluatorは、AIエージェントのアーティファクトを評価するためのオープンソースの多層フレームワークであり、決定論的品質ゲート、意味重複検出、合成評価データセット生成、ライブエージェント評価など、エージェントのスキルから始まります。エージェントスキルは、エージェントスキル仕様で定義されたAIエージェントを拡張する指示やサポートファイルのフォルダです。SkillEvaluatorはNVIDIAのVerified Skillsパイプラインの一部です。ティアは独立したエントリーポイントであり、先に入る必要はありません。 SkillSpectorはTier 1検証のための専門的なセキュリティスキャンを提供します。オープンソースのエージェント評価フレームワークHarborは、Tier 3のライブ評価でサンドボックス化されたエージェントを動かしています。完全なティアガイドはドキュメントに公開されています。すべてのSkillEvaluator評価エクストラをuvでインストールし、組み込みの決定性検証ゲートを実行します。この最初の結果はAPIキー、Dockerデーモン、リポジトリクローンを必要としません: ./my-skill は SKILL.md を含む任意のディレクトリです。

概要（AI 翻訳）

📺 ライブストリーム: 専門家に質問:エージェントスキルの評価

SkillEvaluatorは、AIエージェントのスキルをチェックし、エージェントに与える影響を測定するオープンソースツールですタスクの結果。まず品質チェックやモデルに基づくフィードバックから始め、比較ライブランはスキルの有無にかかわらず。

エージェントスキルは、以下の命令やサポートファイルによって定義されたフォルダです。エージェントスキル仕様。SkillEvaluatorは NVIDIA Verified Skillsパイプラインです。

クイックスタート

スタートルートを選びましょう。どちらもバンドルされたtext-analyzerスキルを使用します。後で自分で試してみてください。

ここから始めます	必要条件	最初の結果
LLMなしで実行	gitとuv	決定論的品質スコアと調査結果
NVIDIA Build	Git、uv、そしてBuild APIキー	モデルに裏付けられたルーブリックスコアとフィードバック

uvとgitをインストールしてください。次に例を挙げます:

uvはPython 3.13をプロビジョニングし、各パスの依存関係をインストールします。ここから実行してくださいチェックアウト。独立したCLIについては、こちらをご覧くださいインストール。

LLMなしで走る

APIキー、外部スキャナー、GPU、Dockerは不要です。例のスコアは以下の通りです 84.5/100 (B) と 0 を終了し、7つの非ブロッキングな所見が見られます。デフォルト合格基準は70歳です。

このページは AI により自動翻訳されています。技術的な詳細は原文をご確認ください。

README

以下は原文 README の抜粋です。原文を見る。

SkillEvaluator

📺 Livestream: Ask the Experts: Evaluating Agent Skills

SkillEvaluator is an open-source tool that checks AI agent skills and measures their effect on an agent’s task results. Start with a quality check or model-backed feedback, then compare live runs with and without a skill.

Agent skills are folders of instructions and supporting files defined by the Agent Skills specification. SkillEvaluator is part of the NVIDIA Verified Skills pipeline.

Quickstart

Choose a starting path. Both use the bundled text-analyzer skill; try your own afterward.

Start here	Requires	First result
Run without an LLM	Git and uv	A deterministic quality score and findings
Use NVIDIA Build	Git, uv, and a Build API key	Model-backed rubric scores and feedback

Install uv and Git, then get the example:

git clone --depth 1 https://github.com/NVIDIA/SkillEvaluator.git
cd SkillEvaluator

uv provisions Python 3.13 and installs each path’s dependencies. Run from this checkout. For a standalone CLI, see Installation.

Run without an LLM

uv run --python 3.13 skillevaluator quality-check \
  src/skillevaluator/tier3/reference_skills/text-analyzer \
  -r cli -r json -o reports/first-quality

No API key, external scanner, GPU, or Docker is needed. The example scores 84.5/100 (B) and exits 0, with seven non-blocking findings. The default passing threshold is 70. Read the terminal or saved reports/first-quality/skillevaluator-quality.json report.

This checks static quality; publication evidence stays INCOMPLETE. Security coverage needs scanners, and agent impact needs live evaluation. To check your own skill, replace the example path with your SKILL.md directory. See the keyless walkthrough.

Use NVIDIA Build

NVIDIA Developer Program members can use eligible NVIDIA-hosted endpoints for free prototyping, subject to current access terms and rate limits. See the

GitHub で README 全文を見る

推奨ツール

別のキーワードを試すか、フィルタを外してください。

インストール

npx skillfish add nvidia/skillevaluator

MCP 初心者？mcpskill.org のガイドから始めましょう →