ai-dynamo/dynamo
Deployment & DevOpsこのページは AI により自動翻訳されています。技術的な詳細は原文をご確認ください。 原文を見る
データセンター規模の分散推論サービスフレームワーク
概要
Dynamoは推論エンジンの上に位置するオーケストレーションレイヤーであり、SGLang、TensorRT-LLM、vLLMを置き換えるのではなく、それらを協調したマルチノード推論システムに変換します。分散型サービング、インテリジェントルーティング、多層KVキャッシュ、自動スケーリングが連携し、LLM、推論、マルチモーダル、ビデオ生成ワークロードにおいてスループットを最大化し遅延を最小化します。 パフォーマンスのためにRustを組み込み、拡張性のためにPythonを使います。 イベントは自動的に更新されます。公開カレンダーを購読してください。 - LLMを複数してサービスを提供し、それらを調整する必要がある場合 - 冗長なプリフィル計算を避けたい場合 - (分割したサービス)を最小総所有コスト(TCO)でレイテンシーSLAを満たすこと - 新しいレプリカを立ち上げる際に必要であること 単一のGPUで単一のモデルを動かしているなら、推論エンジンだけで十分でしょう。 — LoRA、リクエストの移行、推測的デコード、および特徴の相互作用。
概要（AI 翻訳）
|ドキュメント |ロードマップレシピ例 |コンテナダイジェストデザイン提案貢献方法スラック |
英語 |简体中文
ダイナモ
オープンソースのデータセンター規模の推論スタック。 Dynamoは推論エンジンの上に位置するオーケストレーション層であり、SGLang、TensorRT-LLM、vLLMを置き換えるのではなく、それらを協調したマルチノード推論システムに変えます。分散したサービング、インテリジェントルーティング、多層KVキャッシュ、自動スケーリングが連携し、LLM、推論、マルチモーダル、ビデオ生成ワークロードにおいてスループットを最大化し遅延を最小化します。
パフォーマンスのためにRustを組み込み、拡張性のためにPythonを使います。
コミュニティイベント
| 日付 | イベント | 所在地 |
|---|---|---|
| 2026年10月15日木曜日 | サンフランシスコ | |
| 2026年10月13日火曜日 | – |
イベントは自動的に更新されます。公開カレンダーを購読してください。
ダイナモを使うタイミング
- 複数のGPUやノードにまたがってLLMを配信し、それらを調整する必要がある
- 冗長なプリフィル計算を避けるためにKV対応のルーティングを望む
このページは AI により自動翻訳されています。技術的な詳細は原文をご確認ください。
README
以下は原文 README の抜粋です。原文を見る。
GitHub で README 全文を見る
推奨ツール
別のキーワードを試すか、フィルタを外してください。
インストール
npx skillfish add ai-dynamo/dynamo