0xmassi/webclaw

Эта страница переведена автоматически. Технические детали смотрите в оригинале. Открыть оригинал

2,4 тыс. stars 236 forks Качество 87 Тренд 49AGPL-3.0

Быстрая, локально ориентированная на извлечение веб-контента для LLM. Скрапинг, сканирование, извлечение структурированных данных — всё это из Rust. CLI, REST API и MCP сервера.

Обзор

Превратите сайты в чистый контекст, готовый к разметке, JSON и LLM. CLI, MCP-сервер, REST API и SDK для AI-агентов и RAG-конвейеров. Большинство инструментов веб-скрейпинга дают вашему агенту один из двух плохих выводов: - заблокированная страница, стена входа или пустая оболочка приложения — сырой HTML с навигацией, скриптами, стилями, рекламой и дублированными шаблонами webclaw.io — это размещённый API для веб-экстракции для webclaw. Этот репозиторий содержит открытый CLI, MCP-сервер, движок извлечения и самохостируемый сервер. Webclaw превращает URL в чистый контент, который ваши инструменты действительно могут использовать. Используйте его из терминала, подключите к Claude/Cursor через MCP, вызовите размещённый API из приложения или самостоятельно разместите сервер OSS. Самый быстрый способ подключить webclaw к Claude Code, Claude Desktop, Cursor, Windsurf, OpenCode, Codex CLI и другим инструментам, совместимым с MCP: Установщик обнаруживает поддерживаемые клиенты и настраивает MCP-сервер для вас.

Обзор (машинный перевод)

Английский | 简体中文

webclaw

Превратите сайты в чистый разметка, JSON и LLM-подходящий контекст.
CLI, MCP-сервер, REST API и SDK для AI-агентов и RAG-конвейеров.

Большинство инструментов веб-скрейпинга дают вашему агенту один из двух плохих выводов:

заблокированная страница, стена входа или пустая оболочка приложения
сырой HTML с навигацией, скриптами, стилями, рекламой и дублированным шаблоном

webclaw.io — это размещённый API для веб-экстракции для webclaw. Этот репозиторий содержит открытый CLI, MCP-сервер, движок извлечения и самохостируемый сервер.

Webclaw превращает URL в чистый контент, который ваши инструменты действительно могут использовать.

Используйте его из терминала, подключите к Claude/Cursor через MCP, вызовите размещённый API из приложения или самостоятельно разместите сервер OSS.

Установка

Подготовка агента

Самый быстрый способ подключить webclaw к Claude Code, Claude Desktop, Cursor, Windsurf, OpenCode, Codex CLI и другим инструментам, совместимым с MCP:

Установщик обнаруживает поддерживаемые клиенты и настраивает MCP-сервер для вас.

Домашнее пиво

Готовые бинарные файлы

Скачайте бинарные файлы для macOS, Linux и Windows с GitHub Releases.

Windows (x64)

Эта страница переведена автоматически. Технические детали смотрите в оригинале.

README

Показан фрагмент оригинального README. Открыть оригинал.

English | 简体中文

webclaw

Turn websites into clean markdown, JSON, and LLM-ready context. CLI, MCP server, REST API, and SDKs for AI agents and RAG pipelines.

Most web scraping tools give your agent one of two bad outputs:

a blocked page, login wall, or empty app shell
raw HTML full of nav, scripts, styling, ads, and duplicated boilerplate

webclaw.io is the hosted web extraction API for webclaw. This repo contains the open-source CLI, MCP server, extraction engine, and self-hostable server.

webclaw turns a URL into clean content your tools can actually use.

webclaw https://example.com --format markdown

# Example Domain

This domain is for use in illustrative examples in documents.

You may use this domain in literature without prior coordination or asking for permission.

Открыть полный README на GitHub

Установка

npx -y @webclaw/mcp

Новичок в MCP? Начните с руководства на mcpskill.org →

Конфигурация

{
  "mcpServers": {
    "webclaw": {
      "command": "npx",
      "args": ["-y", "@webclaw/mcp"]
    }
  }
}