AIエージェント向けの高速でトークン効率の良いウェブコンテンツ抽出機能 - ウェブサイトをクリーンなMarkdownに変換します。

概要

既存のMCPウェブクローラーは遅く、大量のトークンを消費します。これにより開発プロセスが一時停止され、LLMはウェブページ全体を解析する必要があるため、結果が不完全になります。

このMCPパッケージはウェブページをローカルで取得し、ノイズを除去し、リンクを保持しながらクリーンなMarkdownに変換します。Claudeコード、IDE、LLMパイプライン向けに設計されており、トークンの負荷を最小限に抑えます。依存関係を最小限に抑えてローカルでサイトをクロールできます。

注: このパッケージは現在、コアクロールおよびマークダウン変換機能に@just-every/crawlを使用しています。

特徴

• 公式MCP SDKを使用、遅延読み込みによる高速起動
• Mozilla Readability(Firefoxリーダービューと同じ)を用いたコンテンツ抽出
• **HTMLからMarkdownへの変換、Turndown + GFMサポート
• SHA-256ハッシュ化されたURLによるスマートキャッシュ
• 丁寧なクロールリング、robots.txtサポートとレート制限付き
• 設定可能な深度クロールを伴う並行フェッチ
• ストリームファースト設計で低メモリ使用を実現
• リンク保存知識グラフ

@just-every/mcp-read-website-fast

Fast, token-efficient web content extraction for AI agents - converts websites to clean Markdown.

Overview

Existing MCP web crawlers are slow and consume large quantities of tokens. This pauses the development process and provides incomplete results as LLMs need to parse whole web pages.

This MCP package fetches web pages locally, strips noise, and converts content to clean Markdown while preserving links. Designed for Claude Code, IDEs and LLM pipelines with minimal token footprint. Crawl sites locally with minimal dependencies.

Note: This package now uses @just-every/crawl for its core crawling and markdown conversion functionality.

Features

• Fast startup using official MCP SDK with lazy loading for optimal performance
• Content extraction using Mozilla Readability (same as Firefox Reader View)
• HTML to Markdown conversion with Turndown + GFM support
• Smart caching with SHA-256 hashed URLs
• Polite crawling with robots.txt support and rate limiting
• Concurrent fetching with configurable depth crawling
• Stream-first design for low memory usage
• Link preservation for knowledge graphs
• Optional chunking for downstream processing

Installation

Claude Code

claude mcp add read-website-fast -s user -- npx -y @just-every/mcp-read-website-fast

VS Code

code --add-mcp '{"name":"read-website-fast","command":"npx","args":["-y","@just-every/mcp-read-website-fast"]}'

Cursor

cursor://anysphere.cursor-deeplink/mcp/install?name=read-website-fast&config=eyJyZWFkLXdlYnNpdGUtZmFzdCI6eyJjb21tYW5kIjoibnB4IiwiYXJncyI6WyIteSIsIkBqdXN0LWV2ZXJ5L21jcC1yZWFkLXdlYnNpdGUtZmFzdCJdfX0=

JetBrains IDEs

Settings → Tools → AI Assistant → Model Context Protocol (MCP) → Add

Choose “As JSON” and paste:

{"command":"npx","args":["-y","@just-every/mcp-read-website-fast"]}

Or, in the chat window, type /add and fill in the same JSON—both paths land the server in a single step. 

Raw JSON (works in any MCP client)

{
  "mcpServers": {
    "read-website-fast": {
      "command": "npx",
      "args": ["-y", "@just-every/mcp-read-website-fast"]
    }
  }
}

Drop this into your client’s mcp.json (e.g. .vscode/mcp.json, ~/.cursor/mcp.json, or .mcp.json for Claude).

Features