ogx-ai/ogx

OGX

英语 ·简体中文

快速入门 |文档OpenAI API兼容性Discord

[!重要] Llama Stack 现在更名为 OGX。 名称变更，使命也随之改变——不限于模型，支持多 SDK，生产级。阅读完整公告→

开源代理API服务器用于构建AI应用。兼容OpenAI。任何模型，任何基础设施。

OGX 是 OpenAI API 的可替换替代品，你可以在任何地方运行——无论是笔记本电脑、数据中心还是云端。使用任何兼容 OpenAI 的客户端或代理框架。在 Llama、GPT、Gemini、Mistral 或任何模型之间切换，无需更改应用代码。

你得到了什么

• 聊天完成与嵌入 — 标准 /v1/chat/completions、/v1/completions 和 /v1/embeddings 端点，兼容任何 OpenAI 客户端
• 响应API——服务器端代理编排，支持工具调用、MCP服务器集成和内置文件搜索（RAG），仅在一次API调用中实现（了解更多）
• 向量存储与文件 — [/v1/vector_stores 和 [/v1/files 用于托管文档存储和搜索
• 批次 — /v1/batches] 用于离线批处理

OGX

English · 简体中文

Quick Start | Documentation | OpenAI API Compatibility | Discord

[!IMPORTANT] Llama Stack is now OGX. The name changed, and so did the mission — model-agnostic, multi-SDK, production-grade. Read the full announcement →

Open-source agentic API server for building AI applications. OpenAI-compatible. Any model, any infrastructure.

OGX is a drop-in replacement for the OpenAI API that you can run anywhere — your laptop, your datacenter, or the cloud. Use any OpenAI-compatible client or agentic framework. Swap between Llama, GPT, Gemini, Mistral, or any model without changing your application code.

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8321/v1", api_key="fake")
response = client.chat.completions.create(
    model="llama-3.3-70b",
    messages=[{"role": "user", "content": "Hello"}],
)

What you get