MMCPMarkets
VL

varunvasudeva1/llm-server-docs

开发工具

本页由 AI 翻译，技术细节请以原文为准。 查看原文

849 stars 62 forks 质量 84 趋势 26MIT
Repository Install

varunvasudeva1/llm-server-docs 是从 https://github.com/varunvasudeva1/llm-server-docs. 导入的 MCP 服务器候选

概览

varunvasudeva1/llm-server-docs 是从 https://github.com/varunvasudeva1/llm-server-docs. 导入的 MCP 服务器候选

概述（AI 翻译）

TL;DR：端到端文档，用于在 Debian 上搭建本地且完全私有的 LLM 服务器。配备聊天、网页搜索、RAG、模型管理、MCP 服务器、图片生成和 TTS，以及通过 Tailscale 配置 SSH、防火墙和安全远程访问的步骤。

软件栈：

  • 推理引擎（Ollama，llama.cpp，虚拟语言模型）
  • 搜索引擎（SearXNG）
  • 模型服务器（llama-swap，systemd服务）
  • 聊天平台（开放WebUI）
  • MCP 代理服务器（mcp-proxy，MCPJungle）
  • 文本转语音服务器（Kokoro FastAPI）
  • 图像生成服务器（ComfyUI）
  • VPN/远程访问（Tailscale）
  • 反向代理（凯迪拉克）
  • DNS提供商（Cloudflare）

目录

  • 本地LLaMA服务器设置文档
  • 目录
  • 关于
  • 优先事项
  • 先决条件
  • 一般情况
  • 允许 sudo 权限
  • 更新系统包
  • 计划启动脚本
  • 配置脚本权限
  • 配置自动登录（可选）
  • Docker
  • 将用户添加到 Docker 组
  • Nvidia 容器工具包
  • 建立网络
  • Harden Docker 容器
  • 有用指令
  • HuggingFace CLI
  • 管理模型
  • 下载模型
  • 删除模型
  • 搜索引擎
  • SearXNG
  • 开放WebUI集成

本页由 AI 翻译，技术细节请以原文为准。

README

以下为原文 README 节选，完整内容请查看原文。

Local LLaMA Server Setup Documentation

TL;DR: End-to-end documentation to set up your own local & fully private LLM server on Debian. Equipped with chat, web search, RAG, model management, MCP servers, image generation, and TTS, along with steps for configuring SSH, firewall, and secure remote access via Tailscale.

Software Stack:

Table of Contents

在 GitHub 查看完整 README

安装

uvx mcp-server-fetch
新手？先看 mcpskill.org 教程 →

配置

{ "mcpServers": { "fetch": { "disabled": false, "timeout": 60, "command": "uvx", "args": [ "mcp-server-fetch" ], "transportType": "stdio" }, "sequential-thinking": { "command": "npx", "args": [ "-y", "@modelcontextprotocol/server-sequential-thinking" ] }, "searxng": { "command": "npx", "args": ["-y", "mcp-searxng"], "env": { "SEARXNG_URL": "http://searxng:8080/search?q=<query>" } } } }