zylon-ai/private-gpt

PrivateGPTは、ローカルモデルを本番のAIアプリケーションに変換するオープンソースAPIレイヤーです。

---

モデルをローカルで実行することは最初のステップに過ぎません。有用なAIアプリケーションを構築するには、より高レベルのビルディングブロックが必要です。PrivateGPTはClaude APIモデルに基づきオープンソースAPIとしてその層を提供しており、同じバックエンドプリミティブを一から作り直すことなく、またクラウドAPIに依存せずにプライベートAI製品を構築できます。

本番環境検証済み:PrivateGPTは、世界中の企業にプライベートAIを提供するオンプレミスAIプラットフォームZylonを支えています。

PrivateGPTはモデル自体を実行しません。OPENAI_API_BASEを介して任意のOpenAI互換推論サーバーに接続します。/v1/chat/completionsと/v1/modelsを実装すれば動作します。

PrivateGPTはテストやデモ用の組み込みワークベンチUIを/uiで提供しています。APIこそが実際の製品です。

---

PrivateGPTがあなたに与えるもの

• 標準メッセージAPI(ストリーミング、非同期、トークンカウント)
• ファイルおよびアーティファクトの取り込み
• 引用とエージェントRAGによる検索
• Claude APIをミラーリングする組み込みツール(ウェブ検索、ウェブフェッチ、コード実行)
• カスタムツールおよびMCPコネクタ

---

Running a model locally is only the first step. To build useful AI applications you need a set of higher-level building blocks. PrivateGPT provides that layer as an open-source API following the Claude API model — so you can build private AI products without rebuilding the same backend primitives from scratch, and without depending on cloud APIs.

Production-tested: PrivateGPT powers Zylon, the on-premise AI platform providing Private AI to enterprises across the globe.

Your app / agent / workflow / UI
              |
        PrivateGPT API
              |
OpenAI-compatible inference server (Ollama, llama.cpp, vLLM, …)              

PrivateGPT does not run models itself. It connects to any OpenAI-compatible inference server via OPENAI_API_BASE. If it implements /v1/chat/completions and /v1/models, it works.

PrivateGPT ships a built-in workbench UI for testing and demos, available at /ui. The API is the actual product.

---

What PrivateGPT gives you

• Standard messages API (streaming, async, token counting)
• File and artifact ingestion
• Retrieval with citations and agentic RAG
• Built-in tools mirroring the Claude API (web search, web fetch, code execution)
• Custom tools and MCP connectors
• Structured access to databases and CSVs
• Embeddings and orchestration

---

Quickstart

For Docker, full installation options, and model configuration see the full Quickstart guide.

Prerequisites: You need a running OpenAI-compatible LLM server. Ollama is the easiest starting point.

1. Install PrivateGPT

# macOS
brew tap zylon-ai/tap
brew install private-gpt

# Linux
curl -LsSf https://astral.sh/uv/install.sh | sh

uv tool install --python 3.11 \
  --find-links https://wheels.privategpt.dev/packages/ \
  "private-gpt[core]"