PolyLLM은 여러 대형 언어 모델(LLM) 공급자를 위한 통합된 이동 인터페이스입니다. 단일, 일관된 인터페이스를 통해 다양한 LLM API와 상호 작용할 수 있으며, 다른 공급자간에 전환하거나 동일한 애플리케이션에서 여러 공급자를 사용합니다.

내용 표

• 폴
• 내용 표
• 특징
• 지원된 공급자
• 설치
• 도서관
• CLI 도구
• HTTP 서버
• 구성
• JSON 구성 파일
• MCP 구성
• 사용
• API 사용
• 기본 예시
• 구성 파일 사용
• 채팅 완료 예
• MCP 사용
• CLI 사용
• 설치
• 예제
• HTTP 서버
• 설치
• 서버 시작
• API 엔드포인트
• 예제 요청
• 라이센스

특징

• Single Interface: 통합된 API를 통해 여러 LLM 공급자와 상호작용
• Provider Agnostic: 코드를 변경하지 않고도 쉽게 공급자를 전환
• **Multiple 인터페이스 **: Go API, CLI 도구 또는 HTTP 서버를 통해 LLMs 액세스
• MCP 지원: Model Context Protocol에 대한 내장 지원
• Configuration File: 공급자와 MCP 도구에 대한 JSON 기반 구성

지원된 공급자

PolyLLM

PolyLLM is a unified Go interface for multiple Large Language Model (LLM) providers. It allows you to interact with various LLM APIs through a single, consistent interface, making it easy to switch between different providers or use multiple providers in the same application.

Table of Contents

• PolyLLM
  • Table of Contents
  • Features
  • Supported Providers
  • Installation
    • Library
    • CLI Tool
    • HTTP Server
  • Configuration
    • JSON Configuration File
    • MCP Configuration
  • Usage
    • API Usage
      • Basic Example
      • Using Configuration File
      • Chat Completion Example
      • Using MCP
    • CLI Usage
      • Installation
      • Examples
    • HTTP Server
      • Installation
      • Starting the Server
      • API Endpoints
      • Example Request
  • License

Features

• Single Interface: Interact with multiple LLM providers through a unified API
• Provider Agnostic: Easily switch between providers without changing your code
• Multiple Interfaces: Access LLMs through a Go API, CLI tool, or HTTP server
• MCP Support: Builtin support for Model Context Protocol
• Configuration File: JSON-based configuration for providers and MCP tools

Supported Providers

PolyLLM currently supports the following LLM providers:

• OpenAI
• DeepSeek
• Qwen (Alibaba Cloud)
• Gemini (Google)
• OpenRouter
• Volcengine
• Groq
• Xai
• Siliconflow

Additional providers can be easily added.

Installation

Library

go get github.com/recally-io/polyllm

CLI Tool

go install github.com/recally-io/polyllm/cmd/polyllm-cli@latest

# use docker 
docker pull ghcr.io/recally-io/polyllm-cli:latest

HTTP Server

go install github.com/recally-io/polyllm/cmd/polyllm-server@latest

# use docker 
docker pull ghcr.io/recally-io/polyllm-server:latest

Configuration

JSON Configuration File

PolyLLM supports configuration via a JSON file. This allows you to define LLM providers and MCP tools.

Example configuration file:

{
  "llms": [
    {
      "name": "gemini",
      "type": "gemini",