レート制限や請求書を吹くことなく、一度に多くのLMエージェントを実行してください。 1つのRTX 4070で24個のクロードコードエージェントが実行され、deduplicationカットAPIは期待の26%に使用されます。

なぜこの代替品: プレーンリクエストのキューは、すべての重複したコンテキストを API に送信します。 これは、バックプレッシャーと回路ブレーカが組み込まれて、1つの呼び出しに重複を崩壊させます。

**保証:**このREADMEが言うことをしなければ、問題を開き、それを修正します。

日本語 | English

Rust LLMリクエストオーケストレータ:アプリとAIモデル(Anthropic, OpenAI, llama.cpp, vLLM)の間にあるため、同じプロンプトは1つのモデルコールを2回必要としており、プロバイダがリクエストをダウンしたときに、ピリングアップではなく明確な理由で失敗します。

LLM API をアプリ、エージェント、スクリプトから呼び出す開発者にとって、読み込み中や利用中の高速かつ予測可能な状態を維持したい。 既製のサーバー(orchestrator)、またはRustライブラリとして使用します。

録音は、待ち合わせ場所だけをつなぎます。 このサイトは、同じステップをステップで再生します。

インストールする前に数字を参照してください

tokio-prompt-orchestrator

Run many LLM agents at once without blowing your rate limit or your bill: 24 Claude Code agents ran on one RTX 4070, and deduplication cut API use to 26% of expected.

Why this over the alternatives: A plain request queue sends every duplicated context to the API. This collapses duplicates into one call, with backpressure and circuit breakers built in.

Guarantee: if it doesn’t do what this README says, open an issue and I’ll fix it.

English | 简体中文 | 日本語 | 한국어

A Rust LLM request orchestrator: it sits between your app and an AI model (Anthropic, OpenAI, llama.cpp, vLLM), so the same prompt asked twice costs one model call, and when the provider goes down your requests fail fast with a clear reason instead of piling up.

For developers who call an LLM API from an app, an agent or a script and want it to stay fast and predictable under load and during outages. Use it as a ready-made server (orchestrator) or as a Rust library.

A real recording, sped up only where it was waiting. The site replays the same run step by step.

See the numbers before you install

• LLM proxy benchmark: 200 duplicate calls became 1 measures this crate’s deduplication on real traffic, including the one bug it found.