DM

dennisgl/mcp-playwright-scraper

Developer tools

Эта страница переведена автоматически. Технические детали смотрите в оригинале. Открыть оригинал

11 stars 8 forks Качество 67 Тренд 8Apache-2.0

Сервер Model Context Protocol (MCP), который удаляет веб-контент и преобразует его в Markdown.

Обзор

Сервер Model Context Protocol (MCP), который удаляет веб-контент и преобразует его в Markdown. Этот MCP-сервер предоставляет простой инструмент для очистки веб-контента и преобразования его в формат Markdown. Он использует: Для автоматизации безголового браузера для обработки современных веб-страниц, включая сайты с большим количеством JavaScript - Для анализа и очистки HTML - Для высококачественного преобразования HTML в Markdown - scrape to markdown: удаляет содержимое из URL-адреса и преобразует его в Markdown - Требуемый параметр: url (струна) - URL-адрес для скрапа - Факультативный параметр: verify ssl (boolean) - Проверка SSL-сертификатов (по умолчанию: true) При использовании uv не требуется никакой конкретной установки. Мы будем использовать uvx для непосредственного запуска mcp-playwright-scraper. Кроме того, вы можете установить mcp-playwright-scraper через pip: После установки вы можете запустить его как скрипт, используя: - Python 3.11 или выше - Зависимости браузера Playwright - Pandoc (необязательно, будет автоматически установлен pypandoc, если это возможно)

Обзор (машинный перевод)

Сервер Model Context Protocol (MCP), который удаляет веб-контент и преобразует его в Markdown.

Обзор

Этот MCP-сервер предоставляет простой инструмент для очистки веб-контента и преобразования его в формат Markdown. Он использует:

  • Плейрайт: Для автоматизации безголового браузера для обработки современных веб-страниц, включая сайты с JavaScript
  • ** Красивый суп** Для HTML-парирования и очистки Pypandoc: для высококачественного преобразования HTML в Markdown

Инструменты

Сервер использует один инструмент:

  • [[Т0]]: Сокращает контент из URL и преобразует его в Markdown
  • Необходимый параметр: url (струна) - URL для скрапа
  • Факультативный параметр: verify_ssl (boolean) - Проверка SSL-сертификатов (по умолчанию: истинно)

##Установка

Использование uv (рекомендуется)

При использовании [[Т3]] никакой конкретной установки не требуется. Мы будем использовать uvx для непосредственного запуска mcp-playwright-scraper.

Использование PIP

Вы можете установить mcp-playwright-scraper через pip:

После установки вы можете запустить его как скрипт, используя:

Предпосылки

Python 3.11 или выше Зависимости браузера Playwright Pandoc (необязательно, будет автоматически установлен pypandoc, если это возможно)

Эта страница переведена автоматически. Технические детали смотрите в оригинале.

README

Показан фрагмент оригинального README. Открыть оригинал.

mcp-playwright-scraper

A Model Context Protocol (MCP) server that scrapes web content and converts it to Markdown.

Overview

This MCP server provides a simple tool for scraping web content and converting it to Markdown format. It uses:

  • Playwright: For headless browser automation to handle modern web pages including JavaScript-heavy sites
  • BeautifulSoup: For HTML parsing and cleanup
  • Pypandoc: For high-quality HTML to Markdown conversion

Tools

The server implements a single tool:

  • scrape_to_markdown: Scrapes content from a URL and converts it to Markdown
    • Required parameter: url (string) - The URL to scrape
    • Optional parameter: verify_ssl (boolean) - Whether to verify SSL certificates (default: true)

Installation

When using uv no specific installation is needed. We will use uvx to directly run mcp-playwright-scraper.

Using PIP

Alternatively you can install mcp-playwright-scraper via pip:

pip install mcp-playwright-scraper

After installation, you can run it as a script using:

python -m mcp_playwright_scraper

Prerequisites

  • Python 3.11 or higher
  • Playwright browser dependencies
  • Pandoc (optional, will be automatically installed by pypandoc if possible)

After installation, you need to install Playwright browser dependencies:

playwright install --with-deps chromium

Configuration

Usage with Claude Desktop

Add this to your claude_desktop_config.json:

Usage with Claude Code

# Basic syntax
$ claude mcp add mcp-playwright-scraper -- uvx mcp-playwright-scraper

# Alternatively, with pip installation
$ claude mcp add mcp-playwright-scraper -- python -m mcp_playwright_scraper

Usage with Zed

Add to your Zed settings.json:

"context_servers": {
  "mcp-playwright-scraper": {
    "command": "python",
    "args": ["-m", "mcp_playwright_scraper"]
  }
},
Открыть полный README на GitHub

Установка

uvx mcp-playwright-scraper
Новичок в MCP? Начните с руководства на mcpskill.org →

Конфигурация

"mcpServers": { "mcp-playwright-scraper": { "command": "uvx", "args": ["mcp-playwright-scraper"] } }