coleam00/mcp-crawl4ai-rag
Developer toolsこのページは AI により自動翻訳されています。技術的な詳細は原文をご確認ください。 原文を見る
AIエージェントおよびAIコーディングアシスタント向けのウェブクロールおよびRAG機能
概要
AIエージェントおよびAIコーディングアシスタント向けのウェブクロールおよびRAG機能 Crawl4AIおよびSupabaseと統合されたModel Context Protocol(MCP)の強力な実装で、AIエージェントやAIコーディングアシスタントに高度なウェブクロールおよびRAG機能を提供します。 このMCPサーバーなら、何でもスクレイピングできて、その知識をどこでもRAGに使えます。 主な目標は、このMCPサーバーをArconに取り込み、AIコーディングアシスタントがAIエージェントを構築するための知識エンジンとして進化させることです。このCrawl4AI/RAG MCP サーバーの最初のバージョンは、まもなく大幅に改良され、特に異なる埋め込みモデルを使い、Ollamaでローカルですべてを実行できるように設定可能化される予定です。 このGitHubリポジトリはテストベッドと考えてください。だからこそ、まだ積極的に問題やプルリクエストに対応していません。でも、これをArchon V2に取り入れるつもりです!
概要（AI 翻訳）
Crawl4AI RAG MCP サーバー
AIエージェントおよびAIコーディングアシスタント向けのウェブクロールおよびRAG機能
Crawl4AIおよびSupabaseと統合されたModel Context Protocol(MCP)の強力な実装で、AIエージェントやAIコーディングアシスタントに高度なウェブクロールおよびRAG機能を提供します。
このMCPサーバーなら、何でもスクレイピングできて、その知識をどこでもRAGに使えます。
主な目標は、このMCPサーバーをArconに取り込み、AIコーディングアシスタントがAIエージェントを構築するための知識エンジンとして進化させることです。このCrawl4AI/RAG MCP サーバーの最初のバージョンは、まもなく大幅に改良され、特に異なる埋め込みモデルを使い、Ollamaでローカルですべてを実行できるように設定可能化される予定です。
このGitHubリポジトリはテストベッドと考えてください。だからこそ、まだ積極的に問題やプルリクエストに対応していません。でも、これをArchon V2に取り入れるつもりです!
概要
このMCPサーバーは、AIエージェントがウェブサイトをクロールし、コンテンツをベクターデータベース(Supabase)に保存し、クロールされたコンテンツに対してRAGを実行できるツールを提供します。
このページは AI により自動翻訳されています。技術的な詳細は原文をご確認ください。
README
以下は原文 README の抜粋です。原文を見る。
Crawl4AI RAG MCP Server
Web Crawling and RAG Capabilities for AI Agents and AI Coding Assistants
A powerful implementation of the Model Context Protocol (MCP) integrated with Crawl4AI and Supabase for providing AI agents and AI coding assistants with advanced web crawling and RAG capabilities.
With this MCP server, you can scrape anything and then use that knowledge anywhere for RAG.
The primary goal is to bring this MCP server into Archon as I evolve it to be more of a knowledge engine for AI coding assistants to build AI agents. This first version of the Crawl4AI/RAG MCP server will be improved upon greatly soon, especially making it more configurable so you can use different embedding models and run everything locally with Ollama.
Consider this GitHub repository a testbed, hence why I haven’t been super actively address issues and pull requests yet. I certainly will though as I bring this into Archon V2!
Overview
This MCP server provides tools that enable AI agents to crawl websites, store content in a vector database (Supabase), and perform RAG over the crawled content. It follows the best practices for building MCP servers based on the Mem0 MCP server template I provided on my channel previously.
The server includes several advanced RAG strategies that can be enabled to enhance retrieval quality:
- Contextual Embeddings for enriched semantic understanding
- Hybrid Search combining vector and keyword search
- Agentic RAG for specialized code example extraction
- Reranking for improved result relevance using cross-encoder models
- Knowledge Graph for AI hallucination detection and repository code analysis
See the Configuration section below for details on how to enable and configure these strategies.
Vision
The Crawl4AI RAG MCP server is just the beginning. Here’s where we’re headed:
-
Integration with Archon: Building this system directly into Archon to create a comprehensive knowledge engine for AI coding assistants to build better AI agents.
-
Multiple Embedding Models: Expanding beyond OpenAI to support a variety of embedding models, including the ability to run everything locally with Ollama for complete control and privacy.
-
Advanced RAG Strategies: Implementing sophisticated retrieval techniques like contextual retrieval, late chunking, and others to move beyond basic “naive lookups” and significantly enhance the power and precision of the RAG system, especially as it integrates with Archon.
インストール
docker run --rm -i -e TRANSPORT -e OPENAI_API_KEY -e SUPABASE_URL -e SUPABASE_SERVICE_KEY -e USE_KNOWLEDGE_GRAPH -e NEO4J_URI -e NEO4J_USER -e NEO4J_PASSWORD mcp/crawl4ai設定
{
"mcpServers": {
"crawl4ai-rag": {
"transport": "sse",
"url": "http://localhost:8051/sse"
}
}
}