CC

consistentjake/chrome-crawler-mcp

Developer tools

このページは AI により自動翻訳されています。技術的な詳細は原文をご確認ください。 原文を見る

31 stars 1 forks 品質 59 トレンド 11

教育用途 ウェブ閲覧ツールのみ。 人気の playwright-mcp を使用しましたか? お問い合わせ ここでは、mcp は、ブラウザのセパレートインスタンスを作成せずに自分自身として機能します.

概要

教育用途 ウェブ閲覧ツールのみ。 人気の playwright-mcp を使用しましたか? お問い合わせ ここでは、mcp は、ブラウザのセパレートインスタンスを作成せずに自分自身として機能します。 Web エージェント mcp の戻りと、コンテキスト ウィンドウからエージェントの迅速な実行を体験できます。 ・ ここでは、元のページと相互作用する能力を失うことなく、ページコンテンツを凝縮します。 何もないような何百ものウェブページを処理するためにラムを尋ねることを心配しています。 - ここでは、LLMを使用せずにクローリングを実行するために、Speicalパーサとワークフローをスマートに作成するために、エージェントに尋ねることができます。 あなたのエージェントは、元の調査とあなたのパーザー/ワークフローを書くためにのみ必要です。 AI企業向けブラウザツールの利用に関する拡張機能や心配はお控えください。 ・ ここでは、はるかに高速で堅牢な方法でクローラーを所有しています(つまり、バイブコーディングは必要なものです)、そしてプライバシーをあきらめずに実行します 従来のWebスクレイピングは、重要な課題に直面しています.

概要(AI 翻訳)

教育用途 ウェブ閲覧ツールのみ。 #Chrome-Crawler-mcpの理由 人気の playwright-mcp を使用しましたか? 自分のプロフィールを再使用し、ステータスでログを記録するのは**です。

  • ここでは、mcp は、分散ブラウザインスタンスを作成せずに自分自身として機能します。

Web エージェント mcp の戻り値 huge ページの内容を llm* に体験して、コンテキスト ウィンドウから素早く実行できます。

  • ここでは、元のページと相互作用する能力を失うことなく、ページコンテンツを凝縮します。

*burn your tokens**は何もないようなWebページを数百を処理するためにllmを尋ねることを心配しています。

  • ここでは、LLMを使用せずにクローリングを実行するために、Speicalパーサとワークフローをスマートに作成するために、エージェントに尋ねることができます。 あなたのエージェントは、元の調査とあなたのパーザー/ワークフローを書くためにのみ必要です。

AI 企業のブラウザー ツールを使用して、give up your privacy の拡張機能や心配を使用できます。

  • ここでは、はるかに高速かつ堅牢な方法でクローラーを所有しています(つまり、バイブコーディングはあなたが必要とするものです)、そしてあなたのプライバシーをあきらめずに実行します

コンテキスト爆発問題

MCP をスクレイピングする従来の Web は重要な課題に直面しています。LLM 文脈ウィンドウをすばやく排気する完全な HTML コンテンツを返します.

このページは AI により自動翻訳されています。技術的な詳細は原文をご確認ください。

README

以下は原文 README の抜粋です。原文を見る。

Chrome-Crawler-mcp

Educational Use Only web browsing tools.

Why Chrome-Crawler-mcp?

Have you used popular playwright-mcp? it is hard to reuse your own profile and log in status.

  • Here, mcp act as yourself without creating seperate browser instance.

Have you experience the web agent mcp return huge page content to llm and you agent quicky run out of context window.

  • Here we condense page content without losing the ability to interacte with original page.

Have you worry about asking llm to process hundreds of webpages which burn your tokens like nothing.

  • Here you can ask your agent to smartly create speical parsers and workflow to run crawling without using LLM. Your agent is only needed for original investigation and writing parser/workflow for you.

Do you hate to use extensions and worry about give up your privacy of using AI companies’ browser tools.

  • Here you build you own crawler in much faster and robust way (yes, vibe coding is what you need), and just run it without giving up your privacy

The Context Explosion Problem

Traditional web scraping MCPs face a critical challenge: they return full HTML content that quickly exhausts LLM context windows. A typical modern webpage can contain 50,000+ tokens of HTML, leaving little room for reasoning, tool calls, or multi-turn conversations. This forces agents to either:

  • Work with severely limited context
  • Repeatedly re-fetch the same content
  • Miss important content due to truncation

Chrome-Crawler-mcp solves this with intelligent HTML sanitization that reduces pages to ~5-10% of their original size while preserving all interactive capabilities.

Our Solution: Smart Sanitization + Element Remapping

1. Token-Efficient HTML Sanitization (src/html_sanitizer.py:14)

  • Removes scripts, styles, SVGs, and non-essential elements
  • Strips redundant attributes and normalizes whitespace
  • Compresses typical 50KB pages to 5-8KB (~10x reduction)
  • Result: Agents can now work with 10+ pages in a single context window

2. Intelligent Element ID Assignment

  • Despite heavy sanitization, agents still need to click buttons and fill forms
  • Solution: We assign unique data-web-agent-id attributes to every interactable element before sanitization
  • These IDs are preserved through the sanitization process and injected back into the actual DOM
  • Agents interact with elements using stable IDs, not fragile XPath or CSS selectors
  • Result: Robust element targeting that survives page updates and dynamic content

3. Multi-Strategy Locator Fallbacks

  • Each element gets XPath, CSS selector, ID, class, and href-based locators
  • If the primary web-agent-id lookup fails, we automatically fall back to alternative strategies
  • Result: 99%+ success rate for element interaction

Delegation Over Reasoning: Special Parsers

The Problem with LLM-Based Parsing: Most web agents ask the LLM to:

  1. Read raw HTML (20,000+ tokens)
GitHub で README 全文を見る

インストール

npx -y @hangwin/mcp-chrome
MCP 初心者?mcpskill.org のガイドから始めましょう →

設定

{ "mcpServers": { "interactive-web-agent": { "command": "python3", "args": [ "/path/to/Chrome-Crawler-mcp/src/interactive_web_agent_mcp.py" ], "env": { "DOWNLOADS_DIR": "/path/to/Chrome-Crawler-mcp/downloads", "PYTHONPATH": "/path/to/Chrome-Crawler-mcp", "DEBUG_MODE": "true", "ENABLE_LOGGING": "true" } }, "chrome-mcp": { "command": "npx", "args": [ "-y", "@hangwin/mcp-chrome" ] } } }