bbuf/ai-infra-auto-driven-skills
Developer toolsЭта страница переведена автоматически. Технические детали смотрите в оригинале. Открыть оригинал
bbuf/ai-infra-auto-driven-skills — это кандидат на навыки агента, импортированный из https://github.com/bbuf/ai-infra-auto-driven-skills.
Обзор
bbuf/ai-infra-auto-driven-skills — это кандидат на навыки агента, импортированный из https://github.com/bbuf/ai-infra-auto-driven-skills.
Обзор (машинный перевод)
Навыки, готовые к агенту для обслуживания LLM, триаж профайлера, вместимость планирование, поддержка модели Day-0, обзор кода, сортировка инцидентов и PR моделей история SGLang, vLLM, TensorRT-LLM и TokenSpeed — плюс PR SGLang и видео с объяснениями статей.
Простые SKILL.md каталоги, которые дают агенту кода рабочую память
для реальной работы с ИИ-инфраструктурой: справедливые кросс-фреймворковые бенчмарки, профайлер на уровне ядра
чтения, операторские FLOP, планы поддержки моделей и уже существующие PR
решил похожую проблему. Kernel Campaigns живут в Sibling
KDA-Pilot; запуски диффузии по моделям
живут в sglang-diffusion-optimization-flows/.
Релизы
v0.1.5 — Примечания к релизу (中文), охватывающие поддержку модели Day-0, руководства по профайлерным слоям, 118 двуязычных историй моделей и октябрьский аудит исходных кодов. Предыдущий релиз: v0.1.0.
Навыки
| Навык | Используйте его, когда |
|---|---|
llm-serving-auto-benchmark |
Найдите лучшую команду развертывания для одной модели между SGLang, vLLM, TensorRT-LLM, TokenSpeed при одной и той же нагрузке, GPU и SLA. |
llm-serving-capacity-planner |
Объясните загрузочную память, бюджет кэша KV, ёмкость запросов или давление OOM из логов SGLang/vLLM. |
Эта страница переведена автоматически. Технические детали смотрите в оригинале.
README
Показан фрагмент оригинального README. Открыть оригинал.
Plain SKILL.md directories that give a coding agent the operational memory
for real AI-infra work: fair cross-framework benchmarks, kernel-level profiler
reads, operator FLOPs, model support plans, and the upstream PRs that already
solved a similar problem. Kernel campaigns live in the sibling
KDA-Pilot; per-model diffusion runs
live in sglang-diffusion-optimization-flows/.
Releases
v0.1.6 — Release notes (中文), covering the new explainer-video skill. Previous releases: v0.1.5, v0.1.0.
Skills
| Skill | Use it when |
|---|---|
llm-serving-auto-benchmark |
Find the best deployment command for one model across SGLang, vLLM, TensorRT-LLM, TokenSpeed under the same workload, GPUs, and SLA. |
llm-serving-capacity-planner |
Explain startup memory, KV cache budget, request capacity, or OOM pressure from SGLang/vLLM logs. |
llm-torch-profiler-analysis |
Capture or read a torch profiler trace and get kernel, overlap-opportunity, and fusion-opportunity tables checked against a catalog of known SGLang/vLLM/TensorRT-LLM/TokenSpeed/FlashInfer optimizations. |
llm-pipeline-analysis |
Break a trace into forward passes, layers, and kernels with anchor boundaries and Perfetto ranges. |
torch-profiler-layer-track |
Add verified layer-number guides and compact GPU lanes to a trace for Perfetto navigation. |
model-compute-simulation |
Estimate operator shapes, FLOPs, and MFU for a serving shape, or map kernels back to operators. |
Рекомендуемые инструменты
Попробуйте другой запрос или уберите фильтр.
Установка
npx skillfish add bbuf/ai-infra-auto-driven-skills