nvidia/skillevaluator
Developer tools이 페이지는 AI로 자동 번역되었습니다. 기술적인 세부 사항은 원문을 확인하세요. 원문 보기
품질 게이트, 의미 중복 감지, 합성 평가 데이터셋 생성, 실시간 에이전트 평가를 포함한 AI 에이전트 역량 평가를 위한 다계층 프레임워크로, 기술이 어떻게 영향을 미치는지를 측정합니다...
개요
SkillEvaluator는 AI 에이전트 산출물을 평가하는 오픈 소스 다계층 프레임워크로, 결정론적 품질 게이트, 의미 겹침 감지, 합성 평가 데이터셋 생성, 실시간 에이전트 평가 등 에이전트 기술부터 시작합니다. 에이전트 스킬은 에이전트 스킬 명세서에 정의된 대로 AI 에이전트를 확장하는 지침과 지원 파일들의 폴더입니다. SkillEvaluator는 NVIDIA Verified Skills 파이프라인의 일부입니다. 티어는 독립적인 진입 지점이며; 이전 단계를 먼저 실행할 필요는 없습니다. SkillSpector는 Tier 1 검증을 위한 전문 보안 스캔을 제공합니다. 오픈소스 에이전트 평가 프레임워크인 Harbor는 Tier 3 실시간 평가에서 샌드박스 에이전트 실행을 지원합니다. 전체 티어 가이드는 문서에 공개되어 있습니다. 모든 SkillEvaluator 평가 추가 기능을 uv와 함께 설치한 후, 내장된 결정론적 검증 게이트를 실행하세요. 이 첫 번째 결과는 API 키, Docker 데몬, 저장소 클론이 필요하지 않습니다: ./my-skill은 SKILL.md 가 포함된 모든 디렉터리입니다.
개요(AI 번역)
📺 라이브스트림: 전문가에게 물어보세요: 에이전트 역량 평가
SkillEvaluator는 AI 에이전트의 기술을 검사하고 에이전트에게 미치는 영향을 측정하는 오픈소스 도구입니다 작업 결과. 품질 검사나 모델 기반 피드백부터 시작해 비교 라이브 플레이는 스킬이 있든 없든 모두 진행됩니다.
에이전트 스킬은 명령어와 지원 파일로 구성된 폴더로, 에이전트 스킬 명세. SkillEvaluator는 NVIDIA 검증 기술 파이프라인입니다.
퀵스타트
시작 경로를 선택하세요. 둘 다 묶인 text-analyzer 스킬을 사용하며; 나중에 직접 시도해 보세요.
| 여기서 시작 | 필요 | 첫 번째 결과 |
|---|---|---|
| LLM 없이 실행하기 | git과 uv | 결정론적 품질 점수와 연구 결과 |
| NVIDIA 빌드 | Git, uv, 그리고 Build API 키 | 모델 기반 평가 점수 및 피드백 |
uv와 git을 설치하세요, 그다음 예를 들어보세요:
uv는 Python 3.13을 프로비저닝하고 각 경로의 의존성을 설치합니다. 여기서 실행하세요 체크아웃. 독립형 CLI는 참고하세요. 설치.
LLM 없이 진행하세요
API 키, 외부 스캐너, GPU, 도커가 필요하지 않습니다. 예제 점수는 다음과 같습니다.
84.5/100 (B) 그리고 0를 나가며, 7개의 비차단 발견을 포함합니다. 기본
기준 통과 기준은 70입니다.
이 페이지는 AI로 자동 번역되었습니다. 기술적인 세부 사항은 원문을 확인하세요.
README
원문 README의 일부입니다. 원문 보기.
SkillEvaluator
📺 Livestream: Ask the Experts: Evaluating Agent Skills
SkillEvaluator is an open-source tool that checks AI agent skills and measures their effect on an agent’s task results. Start with a quality check or model-backed feedback, then compare live runs with and without a skill.
Agent skills are folders of instructions and supporting files defined by the Agent Skills specification. SkillEvaluator is part of the NVIDIA Verified Skills pipeline.
Quickstart
Choose a starting path. Both use the bundled text-analyzer skill; try your own afterward.
| Start here | Requires | First result |
|---|---|---|
| Run without an LLM | Git and uv | A deterministic quality score and findings |
| Use NVIDIA Build | Git, uv, and a Build API key | Model-backed rubric scores and feedback |
Install uv and Git, then get the example:
git clone --depth 1 https://github.com/NVIDIA/SkillEvaluator.git
cd SkillEvaluator
uv provisions Python 3.13 and installs each path’s dependencies. Run from this checkout. For a standalone CLI, see Installation.
Run without an LLM
uv run --python 3.13 skillevaluator quality-check \
src/skillevaluator/tier3/reference_skills/text-analyzer \
-r cli -r json -o reports/first-quality
No API key, external scanner, GPU, or Docker is needed. The example scores
84.5/100 (B) and exits 0, with seven non-blocking findings. The default
passing threshold is 70. Read the terminal or saved
reports/first-quality/skillevaluator-quality.json report.
This checks static quality; publication evidence stays INCOMPLETE. Security
coverage needs scanners, and agent impact needs live evaluation. To check your
own skill, replace the example path with your SKILL.md directory. See the
keyless walkthrough.
Use NVIDIA Build
NVIDIA Developer Program members can use eligible NVIDIA-hosted endpoints for free prototyping, subject to current access terms and rate limits. See the
추천 도구
다른 키워드를 입력하거나 필터를 제거해 보세요.
설치
npx skillfish add nvidia/skillevaluator