LLM API의 자체 호스팅 게이트웨이. 클라이언트는 OpenAI, Anthropic 또는 Cohere-compatible 요청을 보냅니다; 프록시는 구성 된 공급자에 각각 전달하고 응답을 다시 번역합니다.

사이트맵 Proxy는 애플리케이션과 모델 제공 업체 사이에 있습니다. proxy에서 OpenAI 또는 Anthropic SDK, 또는 Rerank endpoint에서 Cohere SDK를 포인트로 설정하고 프록시는 요청된 모델을 제공한 요청을 보냅니다. 지원된 공급자는 OpenAI, Anthropic, Gemini, OpenRouter, Ollama, vLLM, SGLang 및 OpenAI 호환 엔드포인트를 포함합니다. Fallback, per-key 예산, 요청 로그 및 관리자 콘솔이 내장되어 있습니다. 구성은 데이터베이스에 살고 재시작없이 적용된다.

내용

• 어떻게 작동
• 왜 LLM 프록시
• 어떤 지원
• 빠른 시작
• 코드에서 사용
• 구성
• 운영
• 문서
• 스크린샷 더
• 개발
• 기여
• 보안
• 라이센스

어떻게 작동합니까?

프록시는 각 클라이언트가 내부 요청 모델에 요청합니다. Protocol serializer는 클라이언트 측을 취급하고, 공급자 serializer는 상류 몸을 건설합니다.

LLM Proxy

A self-hosted gateway for LLM APIs. Clients send OpenAI, Anthropic, or Cohere-compatible requests; the proxy forwards each one to a configured provider and translates the response back.

LLM Proxy sits between your application and the model providers you pay for. Point an OpenAI or Anthropic SDK at the proxy, or a Cohere SDK at the rerank endpoint, and the proxy sends the request to whichever upstream serves the requested model. Supported providers include OpenAI, Anthropic, Gemini, OpenRouter, Ollama, vLLM, SGLang, and any OpenAI-compatible endpoint. Fallback, per-key budgets, request logs, and the admin console are built in. Configuration lives in the database and is applied without a restart.

Contents

• How it works
• Why LLM Proxy
• What it supports
• Quick start
• Use it from code
• Configuration
• Operations
• Documentation
• More screenshots
• Development
• Contributing
• Security
• License

How it works

Client                     LLM Proxy                                  Upstream
OpenAI / Anthropic /  ──▶  parse to InternalRequest                   provider API
Cohere rerank wire         route: mapping, allowlists, budgets,   ──▶  (built-in
                           retries, fallback, circuit breaker           adapters)
                      ◀──  translate back to the client's protocol

The proxy parses each client request into an internal request model. A protocol serializer handles the client side, and a provider serializer builds the upstream body. A request can arrive as OpenAI Chat Completions and leave as Anthropic Messages, or be forwarded unchanged when both sides use the same protocol.

Why LLM Proxy

• Clients keep their existing SDK and change only the base URL. Model names are defined in the proxy, so one name can point to any upstream model.
• Failed requests retry on the same provider and then fall back to the next mapping. A circuit breaker skips providers that keep failing.