coleam00/mcp-crawl4ai-rag

Crawl4AI RAG MCP 서버

AI 에이전트 및 AI 코딩 보조자를 위한 웹 크롤링 및 RAG 기능

Crawl4AI 및 Supabase와 통합된 모델 컨텍스트 프로토콜(MCP)의 강력한 구현으로, AI 에이전트와 AI 코딩 보조원에게 고급 웹 크롤링 및 RAG 기능을 제공합니다.

이 MCP 서버에서는 어떤 것도 스크래핑해서 그 지식을 어디서든 RAG에 활용할 수 있습니다.

주요 목표는 이 MCP 서버를 Arhon에 도입하는 것으로, AI 코딩 어시스턴트가 AI 에이전트를 구축할 수 있는 지식 엔진으로 발전시키는 것입니다. Crawl4AI/RAG MCP 서버의 첫 번째 버전은 곧 크게 개선될 예정이며, 특히 다양한 임베딩 모델을 사용해 Ollama와 함께 모든 것을 로컬에서 실행할 수 있도록 더 구성 가능하게 만들 예정입니다.

이 GitHub 저장소를 테스트베드로 생각해 주세요. 그래서 아직 문제와 풀 리퀘스트를 적극적으로 처리하지 못했던 겁니다. 하지만 이걸 Archon V2에 도입하면서 꼭 그렇게 할 것입니다!

개요

이 MCP 서버는 AI 에이전트가 웹사이트를 크롤링하고, 벡터 데이터베이스(Supabase)에 콘텐츠를 저장하며, 크롤된 콘텐츠에 대해 RAG를 수행할 수 있도록 하는 도구를 제공합니다.

Crawl4AI RAG MCP Server

Web Crawling and RAG Capabilities for AI Agents and AI Coding Assistants

A powerful implementation of the Model Context Protocol (MCP) integrated with Crawl4AI and Supabase for providing AI agents and AI coding assistants with advanced web crawling and RAG capabilities.

With this MCP server, you can scrape anything and then use that knowledge anywhere for RAG.

The primary goal is to bring this MCP server into Archon as I evolve it to be more of a knowledge engine for AI coding assistants to build AI agents. This first version of the Crawl4AI/RAG MCP server will be improved upon greatly soon, especially making it more configurable so you can use different embedding models and run everything locally with Ollama.

Consider this GitHub repository a testbed, hence why I haven’t been super actively address issues and pull requests yet. I certainly will though as I bring this into Archon V2!

Overview

This MCP server provides tools that enable AI agents to crawl websites, store content in a vector database (Supabase), and perform RAG over the crawled content. It follows the best practices for building MCP servers based on the Mem0 MCP server template I provided on my channel previously.

The server includes several advanced RAG strategies that can be enabled to enhance retrieval quality:

• Contextual Embeddings for enriched semantic understanding
• Hybrid Search combining vector and keyword search
• Agentic RAG for specialized code example extraction
• Reranking for improved result relevance using cross-encoder models
• Knowledge Graph for AI hallucination detection and repository code analysis

See the Configuration section below for details on how to enable and configure these strategies.

Vision

The Crawl4AI RAG MCP server is just the beginning. Here’s where we’re headed:

1. Integration with Archon: Building this system directly into Archon to create a comprehensive knowledge engine for AI coding assistants to build better AI agents.

2. Multiple Embedding Models: Expanding beyond OpenAI to support a variety of embedding models, including the ability to run everything locally with Ollama for complete control and privacy.

3. Advanced RAG Strategies: Implementing sophisticated retrieval techniques like contextual retrieval, late chunking, and others to move beyond basic “naive lookups” and significantly enhance the power and precision of the RAG system, especially as it integrates with Archon.