jae-jae/fetcher-mcp

Developer tools

Эта страница переведена автоматически. Технические детали смотрите в оригинале. Открыть оригинал

1,1 тыс. stars 100 forks Качество 71 Тренд 23MIT

Repository Install

MCP-сервер для поиска контента веб-страницы с помощью браузера Playwright headless.

Обзор

中文 | Немецкий | Испанский | Французский | 日本語 | 한국어 | Португальский | Русский MCP-сервер для поиска контента веб-страницы с помощью браузера Playwright headless. 🌟 : OllaMan — мощный менеджер ИИ Ollama. - : В отличие от традиционных веб-скрейперов, Fetcher MCP использует Playwright для выполнения JavaScript, что позволяет работать с динамическим веб-контентом и современными веб-приложениями. - : Встроенный алгоритм читаемости автоматически извлекает основное содержимое с веб-страниц, удаляя рекламу, навигацию и другие несущественные элементы. - : Поддерживает как форматы вывода HTML, так и Markdown, что облегчает интеграцию с различными последующим приложениями. - : Инструмент fetch_urls позволяет одновременно получать несколько URL, значительно повышая эффективность пакетных операций. - : Автоматически блокирует ненужные ресурсы (изображения, таблицы стилей, шрифты, медиа) для снижения использования пропускной способности и повышения производительности.

Обзор (машинный перевод)

Фетчер MCP

MCP-сервер для поиска контента веб-страницы с помощью браузера Playwright headless.

🌟 Рекомендуемо: OllaMan — мощный менеджер модели Ollama AI.

Преимущества

Поддержка JavaScript: В отличие от традиционных веб-скрейперов, Fetcher MCP использует Playwright для выполнения JavaScript, что позволяет работать с динамическим веб-контентом и современными веб-приложениями.
Интеллектуальная извлечение контента: встроенный алгоритм читаемости автоматически извлекает основное содержимое с веб-страниц, удаляя рекламу, навигацию и другие несущественные элементы.
Гибкий формат вывода: поддерживает как HTML, так и форматы вывода Markdown, что облегчает интеграцию с различными последующих приложениями.
Параллельная обработка: Инструмент fetch_urls позволяет одновременно получать несколько URL, значительно повышая эффективность пакетных операций.
Оптимизация ресурсов: Автоматически блокирует ненужные ресурсы (изображения, таблицы стилей, шрифты, медиа) для снижения использования пропускной способности и повышения производительности.

Эта страница переведена автоматически. Технические детали смотрите в оригинале.

README

Показан фрагмент оригинального README. Открыть оригинал.

Fetcher MCP

MCP server for fetch web page content using Playwright headless browser.

🌟 Recommended: OllaMan - Powerful Ollama AI Model Manager.

Advantages

JavaScript Support: Unlike traditional web scrapers, Fetcher MCP uses Playwright to execute JavaScript, making it capable of handling dynamic web content and modern web applications.
Intelligent Content Extraction: Built-in Readability algorithm automatically extracts the main content from web pages, removing ads, navigation, and other non-essential elements.
Flexible Output Format: Supports both HTML and Markdown output formats, making it easy to integrate with various downstream applications.
Parallel Processing: The fetch_urls tool enables concurrent fetching of multiple URLs, significantly improving efficiency for batch operations.
Resource Optimization: Automatically blocks unnecessary resources (images, stylesheets, fonts, media) to reduce bandwidth usage and improve performance.
Robust Error Handling: Comprehensive error handling and logging ensure reliable operation even when dealing with problematic web pages.
Configurable Parameters: Fine-grained control over timeouts, content extraction, and output formatting to suit different use cases.

Quick Start

Run directly with npx:

npx -y fetcher-mcp

First time setup - install the required browser by running the following command in your terminal:

npx playwright install chromium

HTTP and SSE Transport

Use the --transport=http parameter to start both Streamable HTTP endpoint and SSE endpoint services simultaneously:

npx -y fetcher-mcp --log --transport=http --host=0.0.0.0 --port=3000

After startup, the server provides the following endpoints:

/mcp - Streamable HTTP endpoint (modern MCP protocol)
/sse - SSE endpoint (legacy MCP protocol)

Clients can choose which method to connect based on their needs.

Debug Mode

Run with the --debug option to show the browser window for debugging:

npx -y fetcher-mcp --debug

Configuration MCP

Configure this MCP server in Claude Desktop:

On MacOS: ~/Library/Application Support/Claude/claude_desktop_config.json

Открыть полный README на GitHub

Установка

npx -y fetcher-mcp

Новичок в MCP? Начните с руководства на mcpskill.org →

Конфигурация

{
  "mcpServers": {
    "fetcher": {
      "command": "npx",
      "args": ["-y", "fetcher-mcp"]
    }
  }
}