zylon-ai/private-gpt

PrivateGPT — это открытый API слой, который превращает локальные модели в производственные AI-приложения.

---

Локальное запуск модели — это только первый шаг. Для создания полезных приложений на базе ИИ нужен набор более высокоуровневых строительных блоков. PrivateGPT предоставляет этот уровень как открытый API по модели Claude API — так что вы можете создавать частные AI-продукты без перебора тех же бэкенд-примитивов с нуля и без зависимости от облачных API.

Тестирование в производстве: PrivateGPT работает на Zylon — локальной AI-платформе, предоставляющей частный ИИ для предприятий по всему миру.

PrivateGPT не запускает модели самостоятельно. Он подключается к любому совместимому с OpenAI сервером вывода через OPENAI_API_BASE. Если реализует /v1/chat/completions и /v1/models, то всё работает.

PrivateGPT выпускает встроенный интерфейс Workbench для тестирования и демонстраций, доступный по адресу /ui. API — это сам продукт.

---

Что даёт тебе PrivateGPT

• API стандартных сообщений (потоковый, асинхронный, подсчёт токенов)
• Поглощение файлов и артефактов
• Извлечение с цитатами и агентным RAG
• Встроенные инструменты, зеркально копирующие Claude API (веб-поиск, веб-выборка, выполнение кода)
• Кастомные инструменты и MCP-разъёмы

---

Running a model locally is only the first step. To build useful AI applications you need a set of higher-level building blocks. PrivateGPT provides that layer as an open-source API following the Claude API model — so you can build private AI products without rebuilding the same backend primitives from scratch, and without depending on cloud APIs.

Production-tested: PrivateGPT powers Zylon, the on-premise AI platform providing Private AI to enterprises across the globe.

Your app / agent / workflow / UI
              |
        PrivateGPT API
              |
OpenAI-compatible inference server (Ollama, llama.cpp, vLLM, …)              

PrivateGPT does not run models itself. It connects to any OpenAI-compatible inference server via OPENAI_API_BASE. If it implements /v1/chat/completions and /v1/models, it works.

PrivateGPT ships a built-in workbench UI for testing and demos, available at /ui. The API is the actual product.

---

What PrivateGPT gives you

• Standard messages API (streaming, async, token counting)
• File and artifact ingestion
• Retrieval with citations and agentic RAG
• Built-in tools mirroring the Claude API (web search, web fetch, code execution)
• Custom tools and MCP connectors
• Structured access to databases and CSVs
• Embeddings and orchestration

---

Quickstart

For Docker, full installation options, and model configuration see the full Quickstart guide.

Prerequisites: You need a running OpenAI-compatible LLM server. Ollama is the easiest starting point.

1. Install PrivateGPT

# macOS
brew tap zylon-ai/tap
brew install private-gpt

# Linux
curl -LsSf https://astral.sh/uv/install.sh | sh

uv tool install --python 3.11 \
  --find-links https://wheels.privategpt.dev/packages/ \
  "private-gpt[core]"