AD 
数据中心规模分布式推理服务框架
概览
Dynamo是推理引擎之上的编排层——它并不取代SGLang、TensorRT-LLM或vLLM，而是将它们转变为协调的多节点推理系统。分散服务、智能路由、多层KV缓存和自动扩展协同工作，最大化吞吐量并最小化延迟，适用于LLM、推理、多模态和视频生成工作负载。 内置Rust以求性能，Python用于扩展性。 活动会自动更新。订阅我们的公开日历。 - 你要跨平台服务LLM并需要协调它们 - 你想避免冗余的预填充计算 - 你需要（分解服务）- 你希望在最低总拥有成本（TCO）下满足延迟SLA - 启动新副本时需要 如果你用的是单一显卡运行单一模型，单靠推理引擎可能就足够了。 —— LoRA，请求迁移、推测解码和功能交互。
概述（AI 翻译）
|文档 |路线图 |食谱 |示例 |容器****摘要 |设计提案 |如何贡献 |松弛 |
动力
开源、数据中心级的推理栈。 Dynamo是推理引擎之上的编排层——它并不取代SGLang、TensorRT-LLM或vLLM，而是将它们转变为协调的多节点推理系统。拆分服务、智能路由、多层KV缓存和自动扩展协同作用，最大化吞吐量并最小化延迟，适用于LLM、推理、多模态和视频生成工作负载。
内置Rust以求性能，Python用于扩展性。
社区活动
| 日期 | 事件 | 地点 |
|---|---|---|
| 2026年10月15日，星期四 | 旧金山 | |
| 2026年10月13日，星期二 | – |
活动会自动更新。订阅我们的公开日历。
何时使用Dynamo
- 你要在多个GPU或节点上服务LLM，需要协调它们
- 你希望采用KV感知路由以避免冗余的预填充计算
本页由 AI 翻译，技术细节请以原文为准。
README
以下为原文 README 节选，完整内容请查看原文。
在 GitHub 查看完整 README
推荐工具
换一个关键词，或者移除筛选条件。
安装
npx skillfish add ai-dynamo/dynamo