快速、本地优先的大型语言模型网页内容提取。抓取、爬取、提取结构化数据——所有这些都来自Rust。CLI、REST API和MCP服务器。
概览
将网站转换为干净的 markdown、JSON 和 LLM 兼容上下文。为 AI 代理和 RAG 流水线提供 CLI、MCP 服务器、REST API 和 SDK。 大多数网页抓取工具会给你的代理带来两种不良输出之一： - 被封锁的页面、登录墙或空的应用壳——包含导航、脚本、样式、广告和重复样板的原始 HTML webclaw.io 是 webclaw 托管的网页提取 API。该仓库包含开源的 CLI、MCP 服务器、解压引擎和自托管服务器。 WebClaw将URL转化为你的工具实际可用的干净内容。 从终端使用，通过MCP接线到Claude/Cursor，调用你的应用中的托管API，或者自托管OSS服务器。 将webclaw与Claude Code、Claude Desktop、Cursor、Windsurf、OpenCode、Codex CLI及其他兼容MCP工具连接的最快方法： 安装程序会检测支持的客户端，并为你配置MCP服务器。
概述（AI 翻译）
英文 |简体中文
网爪
将网站变成干净的 markdown、JSON 和 LLM 兼容的上下文。 用于 AI 代理和 RAG 流水线的 CLI、MCP 服务器、REST API 以及 SDK。
大多数网页抓取工具会给你的代理带来两种不良输出之一：
- 被屏蔽的页面、登录墙或空的应用壳
- 充满导航、脚本、样式、广告和重复样板的原始 HTML
webclaw.io 是 webclaw 托管的网页提取 API。该仓库包含开源的 CLI、MCP 服务器、解压引擎和自托管服务器。
WebClaw将URL转化为你的工具实际可用的干净内容。
从终端使用，通过MCP接线到Claude/Cursor，调用你的应用中的托管API，或者自托管OSS服务器。
安装
特工设置
将webclaw与Claude Code、Claude Desktop、Cursor、Windsurf、OpenCode、Codex CLI及其他兼容MCP工具连接的最快方法：
安装程序会检测支持的客户端，并为你配置MCP服务器。
自制
预建二进制
从 GitHub Releases 下载 macOS、Linux 和 Windows 二进制文件。
Windows （x64）
本页由 AI 翻译，技术细节请以原文为准。
README
以下为原文 README 节选，完整内容请查看原文。
English | 简体中文
webclaw
Turn websites into clean markdown, JSON, and LLM-ready context. CLI, MCP server, REST API, and SDKs for AI agents and RAG pipelines.
Most web scraping tools give your agent one of two bad outputs:
- a blocked page, login wall, or empty app shell
- raw HTML full of nav, scripts, styling, ads, and duplicated boilerplate
webclaw.io is the hosted web extraction API for webclaw. This repo contains the open-source CLI, MCP server, extraction engine, and self-hostable server.
webclaw turns a URL into clean content your tools can actually use.
webclaw https://example.com --format markdown
# Example Domain
This domain is for use in illustrative examples in documents.
You may use this domain in literature without prior coordination or asking for permission.
安装
npx -y @webclaw/mcp配置
{
"mcpServers": {
"webclaw": {
"command": "npx",
"args": ["-y", "@webclaw/mcp"]
}
}
}