rayss868/mcp-web-curl

Developer tools

이 페이지는 AI로 자동 번역되었습니다. 기술적인 세부 사항은 원문을 확인하세요. 원문 보기

11 stars 3 forks 품질 81 트렌드 22MIT

Repository Install

경량 MCP 서버 및 CLI는 Puppeteer, 스마트 명령, 검색 도구 및 신뢰할 수있는 다운로드로 AI fetch 및 프로세스 웹 콘텐츠 또는 API를 제공합니다.

개요

Node.js 및 TypeScript (Node.js v18+ 필요)로 내장된 ♨️ 브라우저에서 데모 비디오를 직접 볼 수 있습니다. 플랫폼이 지원되면 데모/demo.mp4를 직접 다운로드하고 재생할 수 있습니다. 귀하의 브라우저는 비디오 태그를 지원하지 않습니다. CHANGELOG.md 를 참조하여 업데이트 및 새로운 기능의 전체적인 역사. 웹 페이지 및 API에서 텍스트 콘텐츠를 fetching 및 추출하기위한 강력한 도구입니다. 독립 CLI 또는 MCP (모델 Context Protocol) 서버로 사용하십시오. Web-curl은 강력한 웹 스크랩을 위한 Puppeteer를 활용하여 리소스 차단, 사용자 정의 헤더, 인증 및 외부 검색 API 통합과 같은 고급 기능을 지원합니다. - : Puppeteer (click, type, scroll, hover, key presses)를 통해 Chromium에 대한 전체 제어. - : 브라우저 프로파일은 이제 항상 지속됩니다. 로그인 세션, 쿠키, 캐시는 로컬 user data/ 디렉토리에 자동으로 저장됩니다.

개요(AI 번역)

**레이즈에 의해 개발 **

♨ ** 오픈 소스 프로젝트 ** 542️ Node.js 및 TypeScript 내장 (Node.js v18+ 필요)

̧ 데모 영상

브라우저에서 데모 비디오를 직접 볼 수 있습니다.

플랫폼이 지원되면 데모/demo.mp4를 직접 다운로드하고 재생할 수 있습니다.

귀하의 브라우저는 비디오 태그를 지원하지 않습니다.

제목 내용

변경 로그 / 업데이트 내역
개요
특징
건축
설치
사용
CLI 사용
MCP 서버 사용
구성
예제
문제 해결
팁 & 모범 사례
기여 및 문제
학술 출판
라이센스 및 속성

❤ 변경 로그 / 업데이트 내역

CHANGELOG.md 를 참조하여 업데이트 및 새로운 기능의 전체적인 역사.

ღ♥ღ

Web-curl는 웹 페이지와 APIs에서 텍스트 콘텐츠를 가져오고 추출하는 강력한 도구입니다. 독립 CLI 또는 MCP (모델 Context Protocol) 서버로 사용하십시오. Web-curl은 강력한 웹 스크랩을 위한 Puppeteer를 활용하여 리소스 차단, 사용자 정의 헤더, 인증 및 외부 검색 API 통합과 같은 고급 기능을 지원합니다.

✨ 특징

이 페이지는 AI로 자동 번역되었습니다. 기술적인 세부 사항은 원문을 확인하세요.

README

원문 README의 일부입니다. 원문 보기.

Web-curl

Developed by Rayss

🚀 Open Source Project
🛠️ Built with Node.js & TypeScript (Node.js v18+ required)

🎬 Demo Video

Click here to watch the demo video directly in your browser.

If your platform supports it, you can also download and play demo/demo.mp4 directly.

📝 Changelog / Update History

See CHANGELOG.md for a complete history of updates and new features.

📝 Overview

Web-curl is a powerful tool for fetching and extracting text content from web pages and APIs. Use it as a standalone CLI or as an MCP (Model Context Protocol) server. Web-curl leverages Puppeteer for robust web scraping and supports advanced features such as resource blocking, custom headers, authentication, and External Search API integration.

✨ Features

🚀 Deep Research & Automation (v1.4.2)

Advanced Browser Automation: Full control over Chromium via Puppeteer (click, type, scroll, hover, key presses).
Always-On Session Persistence: Browser profiles are now always persistent. Login sessions, cookies, and cache are automatically saved in a local user_data/ directory.
Token-Efficient Snapshots (available via the hidden browser_snapshot handler):
- Accessibility Tree: Clean, structured snapshots instead of messy HTML.
- HTML Slice Mode: Raw HTML with startIndex/endIndex for safe chunking when needed.

GitHub에서 전체 README 보기

설치

This server does not publish a one-line install command.

Open the repository installation guide MCP 초보자라면? mcpskill.org 가이드부터 시작하세요 →

설정

{
  "mcpServers": {
    "web-curl": {
      "command": "node",
      "args": [
        "build/index.js"
      ],
      "disabled": false,
      "alwaysAllow": [
        "extract",
        "crawl",
        "agent",
        "research",
        "browser_configure",
        "browser_close",
        "multi_search",
        "fetch_api",
        "download_file",
        "parse_document"
      ],
      "env": {
        "SEARCH_BASE_URL": "https://example.com/v1/search",
        "SEARCH_MODEL": "search-combo",
        "SEARCH_API_KEY": "YOUR_EXTERNAL_SEARCH_API_KEY",
        "APIKEY_GOOGLE_SEARCH": "YOUR_GOOGLE_API_KEY",
        "CX_GOOGLE_SEARCH": "YOUR_CX_ID"
      }
    }
  }
}