**Бегите много LLM-агентов одновременно, не нарушая лимит скорости или ваш счет: 24 агента Claude Code работали на одном RTX 4070, а дедупликация сократила использование API до 26% от ожидаемого.

** Почему это вместо альтернатив: ** Простая очередь запросов отправляет каждый дублированный контекст в API. Это разрушает дубликаты в один звонок, с обратного давления и выключателей встроенных.

**Гарантия: ** если он не делает то, что говорит этот ЧИТАЙТЕ, откройте вопрос, и я исправлю его.

Англичане | 中 | | хэтчинглинг

** Оркестр запросов Rust LLM: он находится между вашим приложением и моделью ИИ (Anthropic, OpenAI, llama.cpp, vLLM), поэтому один и тот же запрос дважды стоит одного вызова модели, и когда поставщик идет вниз, ваши запросы быстро терпят неудачу с четкой причиной, а не накапливаются.

Для разработчиков, которые называют LLM API из приложения, агента или скрипта и хотят, чтобы он оставался быстрым и предсказуемым при загрузке и во время отключений. Используйте его как готовый сервер или как библиотеку Rust.

Настоящая запись ускорилась только там, где ее ждали. Сайт повторяет один и тот же запуск шаг за шагом.

##Посмотреть номера перед установкой

tokio-prompt-orchestrator

Run many LLM agents at once without blowing your rate limit or your bill: 24 Claude Code agents ran on one RTX 4070, and deduplication cut API use to 26% of expected.

Why this over the alternatives: A plain request queue sends every duplicated context to the API. This collapses duplicates into one call, with backpressure and circuit breakers built in.

Guarantee: if it doesn’t do what this README says, open an issue and I’ll fix it.

English | 简体中文 | 日本語 | 한국어

A Rust LLM request orchestrator: it sits between your app and an AI model (Anthropic, OpenAI, llama.cpp, vLLM), so the same prompt asked twice costs one model call, and when the provider goes down your requests fail fast with a clear reason instead of piling up.

For developers who call an LLM API from an app, an agent or a script and want it to stay fast and predictable under load and during outages. Use it as a ready-made server (orchestrator) or as a Rust library.

A real recording, sped up only where it was waiting. The site replays the same run step by step.

See the numbers before you install

• LLM proxy benchmark: 200 duplicate calls became 1 measures this crate’s deduplication on real traffic, including the one bug it found.