0xmassi/webclaw
Developer tools이 페이지는 AI로 자동 번역되었습니다. 기술적인 세부 사항은 원문을 확인하세요. 원문 보기
LLM을 위한 빠르고 로컬 우선적인 웹 콘텐츠 추출. 스크래핑, 크롤링, 구조화된 데이터 추출 — 모두 Rust에서 이루어집니다. CLI, REST API, MCP 서버에서요.
개요
웹사이트를 깔끔한 마크다운, JSON, LLM 지원 컨텍스트로 변환하세요. CLI - MCP 서버, REST API, AI 에이전트와 RAG 파이프라인용 SDK를 제공합니다. 대부분의 웹 스크래핑 도구는 에이전트에게 두 가지 잘못된 출력 중 하나를 제공합니다: - 차단된 페이지, 로그인 벽, 빈 앱 셸 - 내비게이션, 스크립트, 스타일링, 광고, 중복된 보일러플레이트로 가득 찬 원시 HTML webclaw.io webclaw를 위한 호스팅된 웹 추출 API입니다. 이 저장소에는 오픈소스 CLI, MCP 서버, 추출 엔진, 그리고 자체 호스팅 가능한 서버가 포함되어 있습니다. WebClaw는 URL을 도구들이 실제로 사용할 수 있는 깨끗한 콘텐츠로 변환합니다. 터미널에서 사용하거나, MCP를 통해 Claude/Cursor에 연결하거나, 앱에서 호스팅 API를 호출하거나, OSS 서버를 직접 호스팅하세요. 웹클로를 Claude Code, Claude Desktop, Cursor, Windsurf, OpenCode, Codex CLI 및 기타 MCP 호환 도구에 가장 빠르게 연결하는 방법: 설치 프로그램은 지원되는 클라이언트를 감지하고 MCP 서버를 자동으로 설정해줍니다.
개요(AI 번역)
영어 | 简体中文
웹클로
웹사이트를 깔끔한 마크다운, JSON, LLM 준비가 가능한 컨텍스트로 바꾸세요.
AI 에이전트와 RAG 파이프라인을 위한 CLI, MCP 서버, REST API, 그리고 SDK를 제공합니다.
대부분의 웹 스크래핑 도구는 에이전트에게 두 가지 잘못된 출력 중 하나를 제공합니다:
- 차단된 페이지, 로그인 벽, 또는 빈 앱 셸
- 내비게이션, 스크립트, 스타일링, 광고, 복제된 보일러플레이트가 가득한 원시 HTML
webclaw.io webclaw를 위한 호스팅된 웹 추출 API입니다. 이 저장소에는 오픈소스 CLI, MCP 서버, 추출 엔진, 그리고 자체 호스팅 가능한 서버가 포함되어 있습니다.
WebClaw는 URL을 도구들이 실제로 사용할 수 있는 깨끗한 콘텐츠로 변환합니다.
터미널에서 사용하거나, MCP를 통해 Claude/Cursor에 연결하거나, 앱에서 호스팅 API를 호출하거나, OSS 서버를 직접 호스팅하세요.
설치
요원 설정
웹클로를 Claude Code, Claude Desktop, Cursor, Windsurf, OpenCode, Codex CLI 및 기타 MCP 호환 도구에 가장 빠르게 연결하는 방법:
설치 프로그램은 지원되는 클라이언트를 감지하고 MCP 서버를 자동으로 설정해줍니다.
홈브루
미리 만들어진 이진
GitHub Releases에서 macOS, Linux, Windows 바이너리를 다운로드하세요.
윈도우 (x64)
이 페이지는 AI로 자동 번역되었습니다. 기술적인 세부 사항은 원문을 확인하세요.
README
원문 README의 일부입니다. 원문 보기.
English | 简体中文
webclaw
Turn websites into clean markdown, JSON, and LLM-ready context. CLI, MCP server, REST API, and SDKs for AI agents and RAG pipelines.
Most web scraping tools give your agent one of two bad outputs:
- a blocked page, login wall, or empty app shell
- raw HTML full of nav, scripts, styling, ads, and duplicated boilerplate
webclaw.io is the hosted web extraction API for webclaw. This repo contains the open-source CLI, MCP server, extraction engine, and self-hostable server.
webclaw turns a URL into clean content your tools can actually use.
webclaw https://example.com --format markdown
# Example Domain
This domain is for use in illustrative examples in documents.
You may use this domain in literature without prior coordination or asking for permission.
설치
npx -y @webclaw/mcp설정
{
"mcpServers": {
"webclaw": {
"command": "npx",
"args": ["-y", "@webclaw/mcp"]
}
}
}