shreyashankar/error-discovery-skill
Developer tools이 페이지는 AI로 자동 번역되었습니다. 기술적인 세부 사항은 원문을 확인하세요. 원문 보기
슈레야샨카르/오류-발견-기술은 [[T0]에서 가져온 에이전트 스킬 후보입니다.
개요
슈레야샨카르/오류-발견-기술은 [[T0]에서 가져온 에이전트 스킬 후보입니다.
개요(AI 번역)
AI 코딩 에이전트가 제품 맞춤형 AI 평가를 구축하는 데 도움을 주는 기술들(기초 모델 벤치마크가 아님)을 돕는 기술입니다.
이러한 역량은 50+ 기업을 돕고 수천 명의 학생을 가르치는 AI 평가 과정에서 흔히 겪는 실수를 방지합니다.
왜 평가용 기술이 필요한가
평가에는 쉽게 피할 수 있는 발총이 많습니다. 이 기술들은 그것들을 피하는 데 도움이 됩니다.
evals-start가 입문 지점입니다. 상황을 보고 올바른 스킬로 안내해줍니다. 대부분은 다음 두 가지 중 하나로 안내합니다:
- eval-audit, 이미 평가 파이프라인이 있다면 이 시스템은 당신의 환경을 점검하고 다음 단계를 권고합니다.
- 오류 발견, 트레이스가 있지만 아직 분석하지 않았다면. 주석 인터페이스를 구축하고 트레이스를 샘플링하는 데 도움을 줍니다. Shreya의 공략을 보세요.
설치
NPX 스킬로 설치하기:
한 가지 스킬만 설치하세요:
업데이트를 확인하세요:
사용 가능한 스킬
| 기술 | 이 기능이 무엇을 하는지? |
|---|---|
| 평가-시작 | 진입 지점. 상황에 맞는 기술로 가는 경로 |
| 평가-감사 | 평가 파이프라인 감사 및 우선순위 심각도 문제 표면 감사 |
이 페이지는 AI로 자동 번역되었습니다. 기술적인 세부 사항은 원문을 확인하세요.
README
원문 README의 일부입니다. 원문 보기.
Eval Skills
Skills that guide AI coding agents to help you build product-specific AI evals (not foundation model benchmarks).
These skills guard against common mistakes we’ve seen helping 50+ companies and teaching thousands of students in our AI Evals course.
Why skills for evals
There are many easily avoidable footguns in evals. These skills help you avoid them.
evals-start is the entry point. It looks at your situation and routes you to the right skill. Most of the time it will send you to one of these two:
- eval-audit, if you already have an eval pipeline. It inspects your setup and recommends next steps.
- error-discovery, if you have traces but haven’t analyzed them yet. It builds an annotation interface and helps you sample traces. Watch Shreya’s walkthrough.
Installation
Install with npx skills:
npx skills add https://github.com/ai-evals-course/evals-skills
Install one skill only:
npx skills add https://github.com/ai-evals-course/evals-skills --skill error-discovery
Check for updates:
npx skills check
npx skills update
Available skills
| Skill | What it does |
|---|---|
| evals-start | Entry point. Routes to the skill that matches your situation |
| eval-audit | Audit an eval pipeline and surface problems with prioritized severity |
| error-discovery | Build a review app, select diverse samples, and organize your notes into failure modes |
| generate-synthetic-data | Create diverse synthetic test inputs using dimension-based tuple generation |
| write-code-eval | Write code checks for objective failure modes |
| write-judge-prompt | Design LLM-as-Judge evaluators for subjective quality criteria |
| validate-evaluator | Calibrate LLM judges against human labels using data splits, TPR/TNR, and bias correction |
| evaluate-rag | Evaluate retrieval and generation quality in RAG pipelines |
| build-review-interface | Build custom annotation interfaces for human trace review |
The error-discovery skill
The error-discovery skill in the plugin is the most important. Error discovery involves qualitative and quantitative analysis of your traces to find failure modes. You should only write evals after doing this step.
This skill makes an AI agent run error analysis on a dataset. Point it at a JSONL/CSV/JSON file of LLM outputs or traces, and it:
추천 도구
다른 키워드를 입력하거나 필터를 제거해 보세요.
설치
npx skillfish add shreyashankar/error-discovery-skill