xiao3jun/vllm-learning-book

概要

一份写给大模型推理工程入门者的源码教程。 ，从 PagedAttention 论文到 K8s 生产部署，覆盖整条链路。 每章都对照 vLLM 源码（file_path:line_number），可以"读笔记 ↔ 跳源码"无缝切换。 📖 在线阅读： - ：想把 vLLM 的核心机制啃透，不再只记"PagedAttention 解决了什么"这种结论。 - ：要上线 LLM 推理服务，要选 v0/v1、调度策略、量化方案、部署架构。 - ：TTFT/TPOT 不达标，需要从架构层定位到内核层逐级排查。 - ：想给 vLLM 提 PR，先得知道 scheduler / kv manager / attention backend 怎么咬合。 它**适合：完全没接触过 LLM 推理 → 先看 01-overview/00-prerequisites.md 把前置概念铺平；纯 prompt engineer 不碰服务侧 → 这本太工程。 所有跨章链接、内嵌 Mermaid、代码块都在两种模式下都能用。HTML 版额外有 lunr.js 全文搜索和阅读时间估算。 - 00-prerequisites.md — 🆕 token / KV cache / TTFT·TPOT / TP·PP·DP 一次铺平，零基础起点。 - 01-what-is-vllm.md — vLLM 是什么，为什么快，靠哪三大武器。 - 02-architecture.md — 三层进程、四个核心数据结构、一步推理的完整数据流。 - 03-v0-vs-v1.md — V1 重构改了什么，为什么改。 - 04-project-structure.md — 1700+ 文件按模块分类导航（这章很长，按需查阅）。 - 05-process-and-ipc-internals.md — fork vs spawn / ZMQ ROUTER-DEALER / 共享内存 MessageQueue 零拷贝。 - 01-paged-attention.md — 用 OS 虚拟内存类比讲 paged KV cache + block table。 - 02-continuous-batching.md — 为什么 vLLM 不用 static batching，迭代级调度的两个前提。

推奨ツール

別のキーワードを試すか、フィルタを外してください。

インストール