varunvasudeva1/llm-server-docs

Эта страница переведена автоматически. Технические детали смотрите в оригинале. Открыть оригинал

849 stars 62 forks Качество 84 Тренд 26MIT

varunvasudeva1/llm-server-docs — это кандидат-сервер MCP, импортированный из https://github.com/varunvasudeva1/llm-server-docs.

Обзор

varunvasudeva1/llm-server-docs — это кандидат-сервер MCP, импортированный из https://github.com/varunvasudeva1/llm-server-docs.

Обзор (машинный перевод)

TL; DR: Сквозная документация для создания собственного локального и полностью приватного LLM-сервера на Debian. Оснащён чатом, веб-поиском, RAG, управлением моделями, MCP-серверами, генерацией изображений и TTS, а также шагами для настройки SSH, файрвола и безопасного удалённого доступа через Tailscale.

Стек программного обеспечения:

Двигатель вывода (Ollama, llama.cpp, vLLM)
Поисковая система (SearXNG)
Сервер моделей (сервис замены лам, systemd)
Чат-платформа (Open WebUI)
Прокси-сервер MCP (mcp-proxy, MCPJungle)
Сервер преобразования текста в речь (Kokoro FastAPI)
Сервер генерации изображений (ComfyUI)
VPN/удалённый доступ (Tailscale)
Reverse Proxy (Caddy)
DNS-провайдер (Cloudflare)

Содержание

Документация по локальной установке сервера LLaMA
Содержание
О компании
Приоритеты
Предварительные требования
Общие
Разрешить разрешения sudo
Обновление пакетов системы
Скрипт запуска расписания
Настройка разрешений скриптов
Настройка автовхода (опционально)
Docker
Добавить пользователя в группу Docker
Набор инструментов Nvidia Container
Создать сеть
Контейнеры Harden Docker
Полезные команды
CLI HuggingFace
Управление моделями
Скачать модели
Удалить модели
Поисковая система
SearXNG
Открытая интеграция с WebUI

Эта страница переведена автоматически. Технические детали смотрите в оригинале.

README

Показан фрагмент оригинального README. Открыть оригинал.

Local LLaMA Server Setup Documentation

TL;DR: End-to-end documentation to set up your own local & fully private LLM server on Debian. Equipped with chat, web search, RAG, model management, MCP servers, image generation, and TTS, along with steps for configuring SSH, firewall, and secure remote access via Tailscale.

Software Stack:

Inference Engine (Ollama, llama.cpp, vLLM)
Search Engine (SearXNG)
Model Server (llama-swap, systemd service)
Chat Platform (Open WebUI)
MCP Proxy Server (mcp-proxy, MCPJungle)
Text-to-Speech Server (Kokoro FastAPI)
Image Generation Server (ComfyUI)
VPN/Remote Access (Tailscale)
Reverse Proxy (Caddy)
DNS Provider (Cloudflare)

Local LLaMA Server Setup Documentation

Открыть полный README на GitHub

Установка

uvx mcp-server-fetch

Новичок в MCP? Начните с руководства на mcpskill.org →

Конфигурация

{
        "mcpServers": {
            "fetch": {
                "disabled": false,
                "timeout": 60,
                "command": "uvx",
                "args": [
                    "mcp-server-fetch"
                ],
                "transportType": "stdio"
            },
            "sequential-thinking": {
                "command": "npx",
                "args": [
                    "-y",
                    "@modelcontextprotocol/server-sequential-thinking"
                ]
            },
            "searxng": {
                "command": "npx",
                "args": ["-y", "mcp-searxng"],
                "env": {
                    "SEARXNG_URL": "http://searxng:8080/search?q=<query>"
                }
            }
        }
    }