zylon-ai/private-gpt

PrivateGPT는 로컬 모델을 프로덕션 AI 애플리케이션으로 전환하는 오픈 소스 API 계층입니다.

---

모델을 로컬에서 실행하는 것은 첫걸음에 불과합니다. 유용한 AI 애플리케이션을 구축하려면 상위 수준의 빌딩 블록 세트가 필요합니다. PrivateGPT는 Claude API 모델을 따라 오픈 소스 API로 그 계층을 제공하여, 동일한 백엔드 원시 자료를 처음부터 다시 구축하지 않고, 클라우드 API에 의존하지 않고도 개인 AI 제품을 만들 수 있습니다.

운영 테스트: PrivateGPT는 전 세계 기업에 프라이빗 AI를 제공하는 온프레미스 AI 플랫폼인 Zylon을 구동합니다.

PrivateGPT는 직접 모델을 실행하지 않습니다. OPENAI_API_BASE를 통해 OpenAI 호환 추론 서버에 연결됩니다. /v1/chat/completions와 /v1/models를 구현하면 작동합니다.

PrivateGPT는 테스트 및 데모용 내장 워크벤치 UI를 제공하여 /ui에서 제공됩니다. API가 실제 제품입니다.

---

PrivateGPT가 제공하는 것들

• 표준 메시지 API(스트리밍, 비동기, 토큰 카운팅)
• 파일 및 아티팩트 섭취
• 인용문과 에이전트 RAG를 포함한 검색
• Claude API를 미러링하는 내장 도구 (웹 검색, 웹 가져오기, 코드 실행)
• 맞춤형 도구 및 MCP 커넥터

---

Running a model locally is only the first step. To build useful AI applications you need a set of higher-level building blocks. PrivateGPT provides that layer as an open-source API following the Claude API model — so you can build private AI products without rebuilding the same backend primitives from scratch, and without depending on cloud APIs.

Production-tested: PrivateGPT powers Zylon, the on-premise AI platform providing Private AI to enterprises across the globe.

Your app / agent / workflow / UI
              |
        PrivateGPT API
              |
OpenAI-compatible inference server (Ollama, llama.cpp, vLLM, …)              

PrivateGPT does not run models itself. It connects to any OpenAI-compatible inference server via OPENAI_API_BASE. If it implements /v1/chat/completions and /v1/models, it works.

PrivateGPT ships a built-in workbench UI for testing and demos, available at /ui. The API is the actual product.

---

What PrivateGPT gives you

• Standard messages API (streaming, async, token counting)
• File and artifact ingestion
• Retrieval with citations and agentic RAG
• Built-in tools mirroring the Claude API (web search, web fetch, code execution)
• Custom tools and MCP connectors
• Structured access to databases and CSVs
• Embeddings and orchestration

---

Quickstart

For Docker, full installation options, and model configuration see the full Quickstart guide.

Prerequisites: You need a running OpenAI-compatible LLM server. Ollama is the easiest starting point.

1. Install PrivateGPT

# macOS
brew tap zylon-ai/tap
brew install private-gpt

# Linux
curl -LsSf https://astral.sh/uv/install.sh | sh

uv tool install --python 3.11 \
  --find-links https://wheels.privategpt.dev/packages/ \
  "private-gpt[core]"