bsmi021/mcp-server-webscan

Developer tools

このページは AI により自動翻訳されています。技術的な詳細は原文をご確認ください。原文を見る

13 stars 10 forks 品質 65 トレンド 20MIT

Repository Install

ウェブコンテンツのスキャンと分析のためのモデルコンテキストプロトコル(MCP)サーバー。このサーバーは、Webページから情報を取得、分析、抽出するためのツールを提供します.

概要

ウェブコンテンツのスキャンと分析のためのモデルコンテキストプロトコル(MCP)サーバー。このサーバーは、Webページから情報を取得、分析、抽出するためのツールを提供します。 - : 簡単な分析のためにWebページをMarkdownに変換する - : ウェブページからリンクを抽出して分析する - : コンテンツを明らかにするためにWebサイトをクロールする - : 壊れたリンクをWebページ上で識別する - : 特定のパターンに一致するURLを見つける - : ウェブサイトのためのXMLサイトマップを生成スミサリーを介してClaudeデスクトップ用のWebscanをインストールするには: サーバは stdio トランスポートで実行され、Claude デスクトップのような MCP クライアントと互換性があります。 1。 fetch-page - Webページをフェッチし、Markdownに変換します。 - パラメーター: - url (必須): 取得するページのURL。 - セレクター(オプション):CSSセレクターは特定のコンテンツをターゲットにします。 2. 抽出リンク - テキストでWebページからすべてのリンクを抽出します。 - パラメーター: - url(必須): 分析するページのURL。 - baseUrl(オプション):リンクをフィルタリングするための基本URL.

概要（AI 翻訳）

ウェブコンテンツのスキャンと分析のためのモデルコンテキストプロトコル(MCP)サーバー。このサーバーは、Webページから情報を取得、分析、抽出するためのツールを提供します。

##特徴

ページのフェッチ:簡単な分析のためにWebページをMarkdownに変換する
リンク抽出: ウェブページからのリンクの抽出と解析
サイトクローリング:コンテンツを発見するための再帰的にクロールウェブサイト
リンクチェック: 壊れたリンクをWebページで識別する
パターンマッチング:特定のパターンに合ったURLを見つける
サイトマップ生成: サイトのXMLサイトマップを生成する

インストール

##Smitheryでインストールする

スミサリーを介してClaudeデスクトップ用のWebscanをインストールするには:

手動インストール

使用法

サーバーの起動

サーバは stdio トランスポートで実行され、Claude デスクトップのような MCP クライアントと互換性があります。

利用可能なツール

[fetch-page]

ウェブページをフェッチし、それをマークダウンに変換します。
変数:
url (必須): 取得するページのURL。
[selector(オプション):CSSセレクターは特定のコンテンツをターゲットにします。

[extract-links

テキストでWebページからすべてのリンクを抽出します。
変数:
[url (必須): 分析するページのURL.

このページは AI により自動翻訳されています。技術的な詳細は原文をご確認ください。

README

以下は原文 README の抜粋です。原文を見る。

MCP Webscan Server

A Model Context Protocol (MCP) server for web content scanning and analysis. This server provides tools for fetching, analyzing, and extracting information from web pages.

Features

Page Fetching: Convert web pages to Markdown for easy analysis
Link Extraction: Extract and analyze links from web pages
Site Crawling: Recursively crawl websites to discover content
Link Checking: Identify broken links on web pages
Pattern Matching: Find URLs matching specific patterns
Sitemap Generation: Generate XML sitemaps for websites

Installation

Installing via Smithery

To install Webscan for Claude Desktop automatically via Smithery:

npx -y @smithery/cli install mcp-server-webscan --client claude

Manual Installation

# Clone the repository
git clone 
cd mcp-server-webscan

# Install dependencies
npm install

# Build the project
npm run build

Usage

Starting the Server

npm start

The server runs on stdio transport, making it compatible with MCP clients like Claude Desktop.

Available Tools

fetch-page
- Fetches a web page and converts it to Markdown.
- Parameters:
  - url (required): URL of the page to fetch.
  - selector (optional): CSS selector to target specific content.
extract-links
- Extracts all links from a web page with their text.
- Parameters:
  - url (required): URL of the page to analyze.
  - baseUrl (optional): Base URL to filter links.
  - limit (optional, default: 100): Maximum number of links to return.
crawl-site
- Recursively crawls a website up to a specified depth.
- Parameters:
  - url (required): Starting URL to crawl.
  - maxDepth (optional, default: 2): Maximum crawl depth (0-5).
check-links
- Checks for broken links on a page.
- Parameters:
  - url (required): URL to check links for.
find-patterns
- Finds URLs matching a specific pattern.
- Parameters:
  - url (required): URL to search in.
  - pattern (required): JavaScript-compatible regex pattern to match URLs against.
generate-site-map
- Generates a simple XML sitemap by crawling.
- Parameters:
  - url (required): Root URL for sitemap crawl.
  - maxDepth (optional, default: 2): Maximum crawl depth for discovering URLs (0-5).
  - limit (optional, default: 1000): Maximum number of URLs to include in the sitemap.

GitHub で README 全文を見る

インストール

npx -y @smithery/cli install mcp-server-webscan --client claude

MCP 初心者？mcpskill.org のガイドから始めましょう →

設定

{
  "mcpServers": {
    "webscan": {
      "command": "node",
      "args": ["path/to/mcp-server-webscan/build/index.js"], // Corrected path
      "env": {
        "NODE_ENV": "development",
        "LOG_LEVEL": "info" // Example: Set log level via env var
      }
    }
  }
}