Реализация TypeScript, которая соединяет локальные LLM (через Ollama) с серверами Model Context Protocol (MCP). Этот мост позволяет открытым моделям использовать те же инструменты и возможности, что и Claude, что и мощные локальные помощники ИИ.

Обзор

Этот проект объединяет локальные модели больших языков с MCP-серверами, предоставляющими различные возможности, такие как:

• Операции с файловой системой
• Веб-поиск Brave
• Взаимодействия на GitHub
• Интеграция Google Drive и Gmail
• Память/хранение
• Генерация изображений с помощью Flux

Мост транслирует между выходами LLM и протоколом JSON-RPC MCP, позволяя любой совместимой с Ollama моделей использовать эти инструменты так же, как это делает Claude.

Текущая установка

• LLM: Использование Qwen 2.5 7B (qwen2.5-coder:7b-instruct) через Ollama
• MCPs:
• Операции с файловой системой (@modelcontextprotocol/server-filesystem)
• Храбрый поиск (@modelcontextprotocol/server-brave-search)
• GitHub (@modelcontextprotocol/server-github)
• Память (@modelcontextprotocol/server-memory)
• Генерация потоковых изображений (@patruff/server-flux)
• Gmail и Drive (@patruff/server-gmail-drive)

Архитектура

• Bridge: Основной компонент, управляющий регистрацией и выполнением инструментов

MCP-LLM Bridge

A TypeScript implementation that connects local LLMs (via Ollama) to Model Context Protocol (MCP) servers. This bridge allows open-source models to use the same tools and capabilities as Claude, enabling powerful local AI assistants.

Overview

This project bridges local Large Language Models with MCP servers that provide various capabilities like:

• Filesystem operations
• Brave web search
• GitHub interactions
• Google Drive & Gmail integration
• Memory/storage
• Image generation with Flux

The bridge translates between the LLM’s outputs and the MCP’s JSON-RPC protocol, allowing any Ollama-compatible model to use these tools just like Claude does.

Current Setup

• LLM: Using Qwen 2.5 7B (qwen2.5-coder:7b-instruct) through Ollama
• MCPs:
  • Filesystem operations (@modelcontextprotocol/server-filesystem)
  • Brave Search (@modelcontextprotocol/server-brave-search)
  • GitHub (@modelcontextprotocol/server-github)
  • Memory (@modelcontextprotocol/server-memory)
  • Flux image generation (@patruff/server-flux)
  • Gmail & Drive (@patruff/server-gmail-drive)

Architecture

• Bridge: Core component that manages tool registration and execution
• LLM Client: Handles Ollama interactions and formats tool calls
• MCP Client: Manages MCP server connections and JSON-RPC communication
• Tool Router: Routes requests to appropriate MCP based on tool type

Key Features

• Multi-MCP support with dynamic tool routing
• Structured output validation for tool calls
• Automatic tool detection from user prompts
• Robust process management for Ollama
• Detailed logging and error handling

Setup

1. Install Ollama and required model:

ollama pull qwen2.5-coder:7b-instruct

2. Install MCP servers:

npm install -g @modelcontextprotocol/server-filesystem
npm install -g @modelcontextprotocol/server-brave-search
npm install -g @modelcontextprotocol/server-github
npm install -g @modelcontextprotocol/server-memory
npm install -g @patruff/server-flux
npm install -g @patruff/server-gmail-drive

3. Configure credentials:
   • Set BRAVE_API_KEY for Brave Search
   • Set GITHUB_PERSONAL_ACCESS_TOKEN for GitHub
   • Set REPLICATE_API_TOKEN for Flux
   • Run Gmail/Drive MCP auth: node path/to/gmail-drive/index.js auth
   • For example node C:\Users\patru\AppData\Roaming\npm\node_modules@patruff\server-gmail-drive\dist\index.js auth

Configuration

The bridge is configured through bridge_config.json:

• MCP server definitions
• LLM settings (model, temperature, etc.)
• Tool permissions and paths

Example:

{
  "mcpServers": {
    "filesystem": {
      "command": "node",
      "args": ["path/to/server-filesystem/dist/index.js"],
      "allowedDirectory": "workspace/path"
    },
    // ... other MCP configurations
  },
  "llm": {
    "model": "qwen2.5-coder:7b-instruct",
    "baseUrl": "http://localhost:11434"
  }
}

Usage

1. Start the bridge:

npm run start