ai-dynamo/dynamo

Эта страница переведена автоматически. Технические детали смотрите в оригинале. Открыть оригинал

8,4 тыс. stars Качество 68 Тренд 57NOASSERTION

Фреймворк распределённого обслуживания инференции на уровне дата-центра

Обзор

Dynamo — это оркестрационный слой над движками вывода — он не заменяет SGLang, TensorRT-LLM или vLLM, а превращает их в скоординированную многоузловую систему вывода. Разделённое обслуживание, интеллектуальная маршрутизация, многоуровневое кэширование KV и автоматическое масштабирование работают вместе для максимизации пропускной способности и минимизации задержек для LLM, рассуждения, мультимодальных и видеогенерационных нагрузок. Встроен Rust для производительности, Python для расширяемости. События обновляются автоматически. Подпишитесь на наш публичный календарь. - Вы подаёте LLM и должны их координировать. - Вы хотите избежать избыточных вычислений предварительного заполнения. - Вам нужно (дезагрегированное обслуживание) - Вы хотите, чтобы SLA соответствовали задержкам при минимальной общей стоимости владения (TCO). - Это необходимо при создании новых реплик. Если вы используете одну модель на одной видеокарте, одного вашего движка вывода, скорее всего, достаточно. — LoRA, миграция запросов, спекулятивное декодирование и взаимодействие с признаками.

Обзор (машинный перевод)

Английский | 简体中文

Динамо

Открытый стек выводов в масштабе дата-центра. Dynamo — это слой оркестрации над движками вывода — он не заменяет SGLang, TensorRT-LLM или vLLM, а превращает их в скоординированную многоузловую систему вывода. Разрозненное обслуживание, интеллектуальная маршрутизация, многоуровневое кэширование KV и автоматическое масштабирование работают вместе для максимизации пропускной способности и минимизации задержек для LLM, рассуждения, мультимодальных и видеогенерационных задач.

Встроен Rust для производительности, Python для расширяемости.

Общественные мероприятия

Дата	Событие	Место проведения
Чт, 15 октября 2026	~~CoreWeave x NVIDIA Dynamo Meetup~~	Сан-Франциско
Вторник, 13 октября 2026	~~Синхронизация инженерии Динамо~~	–

События обновляются автоматически. Подпишитесь на наш публичный календарь.

Когда использовать динамо

Вы обслуживаете LLM между несколькими GPU или узлами и должны их координировать
Вам нужна маршрутизация с учётом *KV, чтобы избежать избыточных вычислений при предварительном заполнении

Эта страница переведена автоматически. Технические детали смотрите в оригинале.