PolyLLM - это унифицированный интерфейс Go для нескольких провайдеров Large Language Model (LLM). Он позволяет взаимодействовать с различными LLM-интерфейсами через единый согласованный интерфейс, что позволяет легко переключаться между различными поставщиками или использовать несколько поставщиков в одном приложении.

Таблица содержимого

• Полилм
• Таблица содержимого
• Особенности
• Поддерживаемые поставщики
• Установка
• Библиотека Инструмент CLI HTTP Server
• Конфигурация
• Файл конфигурации JSON Конфигурация MCP
• Использование Использование API Основной пример Использование файла конфигурации Пример завершения чата Использование MCP Использование CLI
• Установка
• Примеры HTTP Server
• Установка
• Запуск сервера Конечные точки API
• Пример запроса
• Лицензия

Особенности

Единый интерфейс: взаимодействие с несколькими провайдерами LLM через единый API Провайдер Агностик: легко переключаться между провайдерами без изменения кода ** Несколько интерфейсов**: Доступ к LLM через Go API, инструмент CLI или HTTP-сервер ** Поддержка MCP**: встроенная поддержка протокола Model Context Конфигурационный файл: конфигурация на основе JSON для поставщиков и инструментов MCP

Поддерживаемые поставщики

PolyLLM

PolyLLM is a unified Go interface for multiple Large Language Model (LLM) providers. It allows you to interact with various LLM APIs through a single, consistent interface, making it easy to switch between different providers or use multiple providers in the same application.

Table of Contents

• PolyLLM
  • Table of Contents
  • Features
  • Supported Providers
  • Installation
    • Library
    • CLI Tool
    • HTTP Server
  • Configuration
    • JSON Configuration File
    • MCP Configuration
  • Usage
    • API Usage
      • Basic Example
      • Using Configuration File
      • Chat Completion Example
      • Using MCP
    • CLI Usage
      • Installation
      • Examples
    • HTTP Server
      • Installation
      • Starting the Server
      • API Endpoints
      • Example Request
  • License

Features

• Single Interface: Interact with multiple LLM providers through a unified API
• Provider Agnostic: Easily switch between providers without changing your code
• Multiple Interfaces: Access LLMs through a Go API, CLI tool, or HTTP server
• MCP Support: Builtin support for Model Context Protocol
• Configuration File: JSON-based configuration for providers and MCP tools

Supported Providers

PolyLLM currently supports the following LLM providers:

• OpenAI
• DeepSeek
• Qwen (Alibaba Cloud)
• Gemini (Google)
• OpenRouter
• Volcengine
• Groq
• Xai
• Siliconflow

Additional providers can be easily added.

Installation

Library

go get github.com/recally-io/polyllm

CLI Tool

go install github.com/recally-io/polyllm/cmd/polyllm-cli@latest

# use docker 
docker pull ghcr.io/recally-io/polyllm-cli:latest

HTTP Server

go install github.com/recally-io/polyllm/cmd/polyllm-server@latest

# use docker 
docker pull ghcr.io/recally-io/polyllm-server:latest

Configuration

JSON Configuration File

PolyLLM supports configuration via a JSON file. This allows you to define LLM providers and MCP tools.

Example configuration file:

{
  "llms": [
    {
      "name": "gemini",
      "type": "gemini",