shreyashankar/error-discovery-skill
Developer toolsЭта страница переведена автоматически. Технические детали смотрите в оригинале. Открыть оригинал
shreyashankar/error-discovery-skill — это кандидат на навык агента, импортированный из https://github.com/shreyashankar/error-discovery-skill.
Обзор
shreyashankar/error-discovery-skill — это кандидат на навык агента, импортированный из https://github.com/shreyashankar/error-discovery-skill.
Обзор (машинный перевод)
Навыки, которые направляют агентов программирования ИИ, помогая вам создавать оценки ИИ, специфичные для продукта (а не бенчмарки базовой модели).
Эти навыки защищают от распространённых ошибок, которые мы наблюдали, помогая 50+ компаниям и обучая тысячи студентов на нашем курсе AI Evaluatals.
Почему навыки для оценки
В оценках есть много легко избегаемых футганов. Эти навыки помогают их избегать.
оценка-старт — это точка входа. Она смотрит на вашу ситуацию и направляет вас к нужному навыку. Чаще всего она направляет вас к одному из этих двух:
- eval-audit, если у вас уже есть конвейер оценки. Он проверяет вашу систему и рекомендует дальнейшие шаги.
- error-discovery, если у вас есть следы, но вы их ещё не проанализировали. Он создаёт интерфейс аннотаций и помогает вам выбирать следы. Посмотрите прохождение Шреи.
Установка
Установка с навыками NPX:
Установите только один навык:
Следите за обновлениями:
Доступные навыки
| Навык | Что он делает |
|---|---|
| Оценка-старт | Точка входа. Маршруты к навыку, соответствующему вашей ситуации |
| EVAL-аудит | Аудит конвейера оценки и поверхностных проблем с приоритетной серьёзностью |
Эта страница переведена автоматически. Технические детали смотрите в оригинале.
README
Показан фрагмент оригинального README. Открыть оригинал.
Eval Skills
Skills that guide AI coding agents to help you build product-specific AI evals (not foundation model benchmarks).
These skills guard against common mistakes we’ve seen helping 50+ companies and teaching thousands of students in our AI Evals course.
Why skills for evals
There are many easily avoidable footguns in evals. These skills help you avoid them.
evals-start is the entry point. It looks at your situation and routes you to the right skill. Most of the time it will send you to one of these two:
- eval-audit, if you already have an eval pipeline. It inspects your setup and recommends next steps.
- error-discovery, if you have traces but haven’t analyzed them yet. It builds an annotation interface and helps you sample traces. Watch Shreya’s walkthrough.
Installation
Install with npx skills:
npx skills add https://github.com/ai-evals-course/evals-skills
Install one skill only:
npx skills add https://github.com/ai-evals-course/evals-skills --skill error-discovery
Check for updates:
npx skills check
npx skills update
Available skills
| Skill | What it does |
|---|---|
| evals-start | Entry point. Routes to the skill that matches your situation |
| eval-audit | Audit an eval pipeline and surface problems with prioritized severity |
| error-discovery | Build a review app, select diverse samples, and organize your notes into failure modes |
| generate-synthetic-data | Create diverse synthetic test inputs using dimension-based tuple generation |
| write-code-eval | Write code checks for objective failure modes |
| write-judge-prompt | Design LLM-as-Judge evaluators for subjective quality criteria |
| validate-evaluator | Calibrate LLM judges against human labels using data splits, TPR/TNR, and bias correction |
| evaluate-rag | Evaluate retrieval and generation quality in RAG pipelines |
| build-review-interface | Build custom annotation interfaces for human trace review |
The error-discovery skill
The error-discovery skill in the plugin is the most important. Error discovery involves qualitative and quantitative analysis of your traces to find failure modes. You should only write evals after doing this step.
This skill makes an AI agent run error analysis on a dataset. Point it at a JSONL/CSV/JSON file of LLM outputs or traces, and it:
Рекомендуемые инструменты
Попробуйте другой запрос или уберите фильтр.
Установка
npx skillfish add shreyashankar/error-discovery-skill