Run 많은 LLM 에이전트는 한 번에 귀하의 비율 제한 또는 귀하의 청구서를 부수지 않고 한 번에: 24 원 코드 에이전트는 하나의 RTX 4070에 ran, 및 deduplication 절단 API 사용 26% 예상.

**이 대안에 왜: ** 일반 요청 큐는 API에 모든 중복 컨텍스트를 보냅니다. 이 붕괴는 백압 및 회로 차단기가 내장 된 한 통화로 복제합니다.

** 보증: ** 이 README가 말하는 것을 하지 않는 경우, 문제가 열고 수정할 것입니다.

한국어 | ENGLISH

** Rust LLM 요청 오케스트라: 앱과 AI 모델 사이에 앉아 (Anthropic, OpenAI, llama.cpp, vLLM), 그래서 같은 프롬프트는 두 번 비용 한 모델 통화를 요청, 공급자가 귀하의 요청을 중단하는 대신 명확한 이유로 빠른 실패.**

앱에서 LLM API를 호출하는 개발자, 에이전트 또는 스크립트를 호출하고로드 및 아웃시에서 빠르고 예측할 수 있습니다. 준비된 서버(orchestrator]) 또는 Rust 라이브러리로 사용하십시오.

실제 녹음, 그것을 기다리고있는 유일한 sped. 이 사이트는 단계별로 동일한 실행 단계를 재생합니다.

설치하기 전에 번호를 참조하십시오

tokio-prompt-orchestrator

Run many LLM agents at once without blowing your rate limit or your bill: 24 Claude Code agents ran on one RTX 4070, and deduplication cut API use to 26% of expected.

Why this over the alternatives: A plain request queue sends every duplicated context to the API. This collapses duplicates into one call, with backpressure and circuit breakers built in.

Guarantee: if it doesn’t do what this README says, open an issue and I’ll fix it.

English | 简体中文 | 日本語 | 한국어

A Rust LLM request orchestrator: it sits between your app and an AI model (Anthropic, OpenAI, llama.cpp, vLLM), so the same prompt asked twice costs one model call, and when the provider goes down your requests fail fast with a clear reason instead of piling up.

For developers who call an LLM API from an app, an agent or a script and want it to stay fast and predictable under load and during outages. Use it as a ready-made server (orchestrator) or as a Rust library.

A real recording, sped up only where it was waiting. The site replays the same run step by step.

See the numbers before you install

• LLM proxy benchmark: 200 duplicate calls became 1 measures this crate’s deduplication on real traffic, including the one bug it found.