sisig-ai/doctor

🩺 ドクター

より良く最新の推論とコード生成のために、LLMエージェントのためのMCPサーバーとして公開するためのウェブサイトを発見し、クロールし、インデックス化するためのツールです。

---

🔍 概要

Doctorは以下の完全なリストを提供しています:

• 階層追跡付きのcrawl4aiによるウェブページのクロール
• LangChainを用いたチャンクテキスト
• litellmを用いたOpenAIでの埋め込み作成
• ベクター検索サポート付きのDuckDBでのデータ保存
• FastAPIウェブサービスによる検索機能の公開
• これらの機能をMCPサーバーを通じてLLMに提供すること
• 階層的なサイトマップを用いたクロールサイトナビゲーション

---

🏗️ コアインフラストラクチャー

🗄️ DuckDB

• 文書データや埋め込みを保存するベクター検索機能付きのデータベース
• 統一データベースクラスで管理

📨 レディス

• 非同期タスク処理用のメッセージブローカー

🕸️ クロウルワーカー

• プロセスクロールジョブ
• チャンクテキスト
• 埋め込みの作成

🌐 ウェブサーバー

• エンドポイントを公開するFastAPIサービス
• データの取得、検索、閲覧
• MCPサーバーの公開

---

💻 セットアップ

⚙️ 前提条件

• DockerおよびDocker Compose
• Python 3.10+
• uv(Pythonパッケージマネージャー)
• OpenAI APIキー

---

🔍 Overview

Doctor provides a complete stack for:

• Crawling web pages using crawl4ai with hierarchy tracking
• Chunking text with LangChain
• Creating embeddings with OpenAI via litellm
• Storing data in DuckDB with vector search support
• Exposing search functionality via a FastAPI web service
• Making these capabilities available to LLMs through an MCP server
• Navigating crawled sites with hierarchical site maps

---

🏗️ Core Infrastructure

🗄️ DuckDB

• Database for storing document data and embeddings with vector search capabilities
• Managed by unified Database class

📨 Redis

• Message broker for asynchronous task processing

🕸️ Crawl Worker

• Processes crawl jobs
• Chunks text
• Creates embeddings

🌐 Web Server

• FastAPI service exposing endpoints
• Fetching, searching, and viewing data
• Exposing the MCP server

---

💻 Setup

⚙️ Prerequisites

• Docker and Docker Compose
• Python 3.10+
• uv (Python package manager)
• OpenAI API key

📦 Installation

1. Clone this repository
2. Set up environment variables:

   export OPENAI_API_KEY=your-openai-key
   

3. Run the stack:

   docker compose up
   

---

👁 Usage

1. Go to http://localhost:9111/docs to see the OpenAPI docs
2. Look for the /fetch_url endpoint and start a crawl job by providing a URL
3. Use /job_progress to see the current job status
4. Configure your editor to use http://localhost:9111/mcp as an MCP server

---

☁️ Web API

Core Endpoints

• POST /fetch_url: Start crawling a URL
• GET /search_docs: Search indexed documents
• GET /job_progress: Check crawl job progress
• GET /list_doc_pages: List indexed pages
• GET /get_doc_page: Get full text of a page

Site Map Feature

The Maps feature provides a hierarchical view of crawled websites, making it easy to navigate and explore the structure of indexed sites.

Endpoints:

• GET /map: View an index of all crawled sites
• GET /map/site/{root_page_id}: View the hierarchical tree structure of a specific site