sisig-ai/doctor

🩺 닥터

웹사이트를 발견, 크롤링, 색인화하여 LLM 에이전트를 위한 MCP 서버로 노출시켜 더 나은 최신 추론과 코드 생성을 위한 도구입니다.

---

🔍 개요

Doctor는 다음과 같은 완전한 스택을 제공합니다:

• 계층 추적이 적용된 crawl4ai를 이용한 웹 페이지 크롤링
• LangChain을 이용한 청크 텍스트
• litellm을 통한 OpenAI의 임베딩 생성
• 벡터 검색 지원이 있는 DuckDB에 데이터 저장
• FastAPI 웹 서비스를 통한 검색 기능 노출
• MCP 서버를 통해 LLM에 이러한 기능을 제공함
• 계층적 사이트 지도를 이용한 크롤 사이트 탐색

---

🏗️ 핵심 인프라

🗄️ 덕DB

• 문서 데이터 및 임베딩 저장용 데이터베이스 벡터 검색 기능
• 통합 데이터베이스 클래스로 관리

📨 레디스

• 비동기 작업 처리용 메시지 브로커

🕸️ 크롤 워커

• 프로세스 크롤 작업
• 청크 텍스트
• 임베딩 생성

🌐 웹 서버

• 엔드포인트 노출 FastAPI 서비스
• 데이터 가져오기, 검색 및 보기
• MCP 서버 노출

---

💻 설정

⚙️ 전제 조건

• 도커 및 도커 컴포스트
• 파이썬 3.10+
• uv (파이썬 패키지 관리자)
• OpenAI API 키

---

🔍 Overview

Doctor provides a complete stack for:

• Crawling web pages using crawl4ai with hierarchy tracking
• Chunking text with LangChain
• Creating embeddings with OpenAI via litellm
• Storing data in DuckDB with vector search support
• Exposing search functionality via a FastAPI web service
• Making these capabilities available to LLMs through an MCP server
• Navigating crawled sites with hierarchical site maps

---

🏗️ Core Infrastructure

🗄️ DuckDB

• Database for storing document data and embeddings with vector search capabilities
• Managed by unified Database class

📨 Redis

• Message broker for asynchronous task processing

🕸️ Crawl Worker

• Processes crawl jobs
• Chunks text
• Creates embeddings

🌐 Web Server

• FastAPI service exposing endpoints
• Fetching, searching, and viewing data
• Exposing the MCP server

---

💻 Setup

⚙️ Prerequisites

• Docker and Docker Compose
• Python 3.10+
• uv (Python package manager)
• OpenAI API key

📦 Installation

1. Clone this repository
2. Set up environment variables:

   export OPENAI_API_KEY=your-openai-key
   

3. Run the stack:

   docker compose up
   

---

👁 Usage

1. Go to http://localhost:9111/docs to see the OpenAPI docs
2. Look for the /fetch_url endpoint and start a crawl job by providing a URL
3. Use /job_progress to see the current job status
4. Configure your editor to use http://localhost:9111/mcp as an MCP server

---

☁️ Web API

Core Endpoints

• POST /fetch_url: Start crawling a URL
• GET /search_docs: Search indexed documents
• GET /job_progress: Check crawl job progress
• GET /list_doc_pages: List indexed pages
• GET /get_doc_page: Get full text of a page

Site Map Feature

The Maps feature provides a hierarchical view of crawled websites, making it easy to navigate and explore the structure of indexed sites.

Endpoints:

• GET /map: View an index of all crawled sites
• GET /map/site/{root_page_id}: View the hierarchical tree structure of a specific site