0xmassi/webclaw

Developer tools

このページは AI により自動翻訳されています。技術的な詳細は原文をご確認ください。原文を見る

2403 stars 236 forks 品質 87 トレンド 49AGPL-3.0

Repository Install

LLM向けの高速でローカル優先のウェブコンテンツ抽出。スクレイプ、クロール、構造化データの抽出—すべてRustから。CLI、REST API、MCPサーバーから。

概要

ウェブサイトをクリーンなマークダウン、JSON、LLM対応のコンテキストに変換しましょう。CLI、MCPサーバー、REST API、AIエージェントやRAGパイプライン用のSDKを用意しましょう。ほとんどのウェブスクレイピングツールは、エージェントに2つの悪い結果のいずれかを与えます: - ブロックされたページ、ログインウォール、または空のアプリシェル - ナビ、スクリプト、スタイリング、広告、重複したボイラープレートが満載の生のHTML webclaw.io webclawのホスト型ウェブ抽出APIです。このリポジトリにはオープンソースのCLI、MCPサーバー、抽出エンジン、セルフホスティングサーバーが含まれています。 WebClawはURLをツールが実際に使えるクリーンなコンテンツに変換します。端末から使い、MCP経由でClaudeやCursorに有線接続し、アプリからホストAPIを呼び出すか、OSSサーバーをセルフホストしてください。 webclawをClaude Code、Claude Desktop、Cursor、Windsurf、OpenCode、Codex CLI、その他のMCP互換ツールに最速で接続する方法: インストーラーはサポートされているクライアントを検出し、MCPサーバーを設定してくれます。

概要（AI 翻訳）

英語 |简体中文

ウェブクロー

ウェブサイトをクリーンなマークダウン、JSON、LLM対応のコンテキストに変えましょう。 CLI、MCPサーバー、REST API、AIエージェントやRAGパイプライン向けのSDKなどがあります。

ほとんどのウェブスクレイピングツールは、エージェントに2つの悪い結果のいずれかを与えます:

ブロックされたページ、ログインウォール、または空のアプリシェル
ナビ、スクリプト、スタイリング、広告、複製されたボイラープレートが満載の生のHTML

webclaw.io webclawのホスト型ウェブ抽出APIです。このリポジトリにはオープンソースのCLI、MCPサーバー、抽出エンジン、セルフホスティングサーバーが含まれています。

WebClawはURLをツールが実際に使えるクリーンなコンテンツに変換します。

端末から使い、MCP経由でClaudeやCursorに有線接続し、アプリからホストAPIを呼び出すか、OSSサーバーをセルフホストしてください。

インストール

エージェントの設置

webclawをClaude Code、Claude Desktop、Cursor、Windsurf、OpenCode、Codex CLI、その他のMCP互換ツールに最速で接続する方法:

インストーラーはサポートされているクライアントを検出し、MCPサーバーを設定してくれます。

ホームブルー

あらかじめ作られたバイナリ

GitHub ReleasesからmacOS、Linux、Windowsのバイナリをダウンロードしてください。

Windows (x64)

このページは AI により自動翻訳されています。技術的な詳細は原文をご確認ください。

README

以下は原文 README の抜粋です。原文を見る。

English | 简体中文

webclaw

Turn websites into clean markdown, JSON, and LLM-ready context. CLI, MCP server, REST API, and SDKs for AI agents and RAG pipelines.

Most web scraping tools give your agent one of two bad outputs:

a blocked page, login wall, or empty app shell
raw HTML full of nav, scripts, styling, ads, and duplicated boilerplate

webclaw.io is the hosted web extraction API for webclaw. This repo contains the open-source CLI, MCP server, extraction engine, and self-hostable server.

webclaw turns a URL into clean content your tools can actually use.

webclaw https://example.com --format markdown

# Example Domain

This domain is for use in illustrative examples in documents.

You may use this domain in literature without prior coordination or asking for permission.

GitHub で README 全文を見る

インストール

npx -y @webclaw/mcp

MCP 初心者？mcpskill.org のガイドから始めましょう →

設定

{
  "mcpServers": {
    "webclaw": {
      "command": "npx",
      "args": ["-y", "@webclaw/mcp"]
    }
  }
}