jae-jae/fetcher-mcp

Developer tools

이 페이지는 AI로 자동 번역되었습니다. 기술적인 세부 사항은 원문을 확인하세요. 원문 보기

1.1천 stars 100 forks 품질 71 트렌드 23MIT

Repository Install

Playwright 헤드리스 브라우저를 이용한 MCP 서버 서버 중 웹 페이지 콘텐츠를 가져오기 위한 서비스입니다.

개요

中文 | 독일어 | 스페인어 | 프랑스어 | 日本語 | 한국어 | 포르투게스 | Русский Playwright 헤드리스 브라우저를 이용한 MCP 서버 서버 중 웹 페이지 콘텐츠를 가져오기 위한 서비스입니다. 🌟 : OllaMan - 강력한 Ollama AI 모델 관리자. - : 전통적인 웹 스크래퍼와 달리, Fetcher MCP는 Playwright를 사용해 JavaScript를 실행하여 동적 웹 콘텐츠와 최신 웹 애플리케이션을 처리할 수 있습니다. - : 내장된 가독성 알고리즘이 웹페이지에서 주요 콘텐츠를 자동으로 추출하여 광고, 내비게이션 및 기타 필수 요소가 아닙니다. - : HTML과 Markdown 출력 형식을 모두 지원하여 다양한 하위 애플리케이션과 쉽게 통합할 수 있습니다. - : fetch_urls 도구는 여러 URL을 동시에 가져오기 기능을 가능하게 하여 배치 작업의 효율성을 크게 향상시킵니다. - : 불필요한 자원(이미지, 스타일시트, 폰트, 미디어)을 자동으로 차단하여 대역폭 사용을 줄이고 성능을 향상시킵니다.

개요(AI 번역)

中文 | 독일어 | Español | 프랑스 | 日本語 | 한국어 | 포르투게스 | Русский

페처 MCP

Playwright 헤드리스 브라우저를 이용한 MCP 서버 서버 중 웹 페이지 콘텐츠를 가져오기 위한 서비스입니다.

🌟 추천: OllaMan - 강력한 Ollama AI 모델 관리자.

장점

JavaScript 지원: 전통적인 웹 스크래퍼와 달리 Fetcher MCP는 Playwright를 사용해 JavaScript를 실행하여 동적 웹 콘텐츠와 최신 웹 애플리케이션을 처리할 수 있습니다.
지능형 콘텐츠 추출: 내장 가독성 알고리즘이 웹페이지에서 주요 콘텐츠를 자동으로 추출하여 광고, 내비게이션 및 기타 필수적이지 않은 요소를 제거합니다.
유연한 출력 형식: HTML과 Markdown 출력 형식을 모두 지원하여 다양한 하위 애플리케이션과 쉽게 통합할 수 있습니다.
병렬 처리: fetch_urls 도구는 여러 URL을 동시에 가져오기 기능을 가능하게 하여 배치 연산의 효율성을 크게 향상시킵니다.
리소스 최적화: 불필요한 자원(이미지, 스타일시트, 폰트, 미디어)을 자동으로 차단하여 대역폭 사용을 줄이고 성능을 향상시킵니다.

이 페이지는 AI로 자동 번역되었습니다. 기술적인 세부 사항은 원문을 확인하세요.

README

원문 README의 일부입니다. 원문 보기.

Fetcher MCP

MCP server for fetch web page content using Playwright headless browser.

🌟 Recommended: OllaMan - Powerful Ollama AI Model Manager.

Advantages

JavaScript Support: Unlike traditional web scrapers, Fetcher MCP uses Playwright to execute JavaScript, making it capable of handling dynamic web content and modern web applications.
Intelligent Content Extraction: Built-in Readability algorithm automatically extracts the main content from web pages, removing ads, navigation, and other non-essential elements.
Flexible Output Format: Supports both HTML and Markdown output formats, making it easy to integrate with various downstream applications.
Parallel Processing: The fetch_urls tool enables concurrent fetching of multiple URLs, significantly improving efficiency for batch operations.
Resource Optimization: Automatically blocks unnecessary resources (images, stylesheets, fonts, media) to reduce bandwidth usage and improve performance.
Robust Error Handling: Comprehensive error handling and logging ensure reliable operation even when dealing with problematic web pages.
Configurable Parameters: Fine-grained control over timeouts, content extraction, and output formatting to suit different use cases.

Quick Start

Run directly with npx:

npx -y fetcher-mcp

First time setup - install the required browser by running the following command in your terminal:

npx playwright install chromium

HTTP and SSE Transport

Use the --transport=http parameter to start both Streamable HTTP endpoint and SSE endpoint services simultaneously:

npx -y fetcher-mcp --log --transport=http --host=0.0.0.0 --port=3000

After startup, the server provides the following endpoints:

/mcp - Streamable HTTP endpoint (modern MCP protocol)
/sse - SSE endpoint (legacy MCP protocol)

Clients can choose which method to connect based on their needs.

Debug Mode

Run with the --debug option to show the browser window for debugging:

npx -y fetcher-mcp --debug

Configuration MCP

Configure this MCP server in Claude Desktop:

On MacOS: ~/Library/Application Support/Claude/claude_desktop_config.json

GitHub에서 전체 README 보기

설치

npx -y fetcher-mcp

MCP 초보자라면? mcpskill.org 가이드부터 시작하세요 →

설정

{
  "mcpServers": {
    "fetcher": {
      "command": "npx",
      "args": ["-y", "fetcher-mcp"]
    }
  }
}