varunvasudeva1/llm-server-docs
Developer tools이 페이지는 AI로 자동 번역되었습니다. 기술적인 세부 사항은 원문을 확인하세요. 원문 보기
varunvasudeva1/llm-server-docs는 https://github.com/varunvasudeva1/llm-server-docs.에서 가져온 MCP 서버 후보입니다.
개요
varunvasudeva1/llm-server-docs는 https://github.com/varunvasudeva1/llm-server-docs.에서 가져온 MCP 서버 후보입니다.
개요(AI 번역)
TL; DR: Debian에서 자신만의 로컬 및 완전 프라이빗 LLM 서버를 구축할 수 있는 종단 간 문서화. 채팅, 웹 검색, RAG, 모델 관리, MCP 서버, 이미지 생성, TTS를 갖추고 있으며, SSH, 방화벽, Tailscale을 통한 보안 원격 접속 설정 단계도 포함되어 있습니다.
소프트웨어 스택:
- 추론 엔진 (Ollama, llama.cpp, vLLM)
- 검색 엔진 (SearXNG)
- 모델 서버 (llama-swap,
systemd서비스) - 채팅 플랫폼 (오픈 웹 UI)
- MCP 프록시 서버 (mcp-proxy, MCPJungle)
- 텍스트-음성 변환 서버(Kokoro FastAPI)
- 이미지 생성 서버(ComfyUI)
- VPN/원격 접속 (Tailscale)
- 리버스 프록시 (캐딜락)
- DNS 제공자 (Cloudflare)
목차
- 로컬 LLaMA 서버 설정 문서
- 목차
- 소개
- 우선순위
- 선수 조건
- 일반
sudo권한 허용- 업데이트 시스템 패키지
- 스케줄 시작 스크립트
- 스크립트 권한 설정
- 자동 로그인 설정 (선택 사항)
- 도커
- Docker 그룹에 사용자 추가
- 엔비디아 컨테이너 툴킷
- 네트워크 생성
- 하든 도커 컨테이너
- 유용한 명령어
- HuggingFace CLI
- 모델 관리
- 다운로드 모델
- 모델 삭제
- 검색 엔진
- 시어XNG
- Open WebUI 통합
이 페이지는 AI로 자동 번역되었습니다. 기술적인 세부 사항은 원문을 확인하세요.
README
원문 README의 일부입니다. 원문 보기.
Local LLaMA Server Setup Documentation
TL;DR: End-to-end documentation to set up your own local & fully private LLM server on Debian. Equipped with chat, web search, RAG, model management, MCP servers, image generation, and TTS, along with steps for configuring SSH, firewall, and secure remote access via Tailscale.
Software Stack:
- Inference Engine (Ollama, llama.cpp, vLLM)
- Search Engine (SearXNG)
- Model Server (llama-swap,
systemdservice) - Chat Platform (Open WebUI)
- MCP Proxy Server (mcp-proxy, MCPJungle)
- Text-to-Speech Server (Kokoro FastAPI)
- Image Generation Server (ComfyUI)
- VPN/Remote Access (Tailscale)
- Reverse Proxy (Caddy)
- DNS Provider (Cloudflare)
Table of Contents
설치
uvx mcp-server-fetch설정
{
"mcpServers": {
"fetch": {
"disabled": false,
"timeout": 60,
"command": "uvx",
"args": [
"mcp-server-fetch"
],
"transportType": "stdio"
},
"sequential-thinking": {
"command": "npx",
"args": [
"-y",
"@modelcontextprotocol/server-sequential-thinking"
]
},
"searxng": {
"command": "npx",
"args": ["-y", "mcp-searxng"],
"env": {
"SEARXNG_URL": "http://searxng:8080/search?q=<query>"
}
}
}
}