SM

scrapeeverything/mcp

Developer tools

このページは AI により自動翻訳されています。技術的な詳細は原文をご確認ください。 原文を見る

3 stars 0 forks 品質 87 トレンド 24MIT

MCP サーバーですべてをスクレイプします。 Instagram、TikTok、X、YouTube、Facebook、Telegram、Spotify、Pinterest、Twitch、Claude、Cursor、VSコード、MCPクライアントでJSONをクリーンにするパブリックソーシャルデータ.

概要

MCP サーバーですべてをスクレイプします。 公共の社会的なデータをクリーンなJSONとして公開 Instagram、TikTok、X、YouTube、Facebook、Telegram、Spotify、Pinterest、Twitchからパブリックデータを取得するClaude、Cursor、VSコード、WindsurfなどのMCPクライアントが公開データを取得できます。 - 起動時に、サーバーはGET /v1/scrapersからライブカタログを読み、スクレーパーごとにツールを登録します(instagram profile、tiktok posts、youtube transcript、...)。 パッケージの更新なしで新しいエンドポイントが表示されます。 ・ カタログが取得できない場合は、サーバーはバンドルされたスナップショットから始まります。 - すべてのツールの説明は、そのクレジットコストとそれが返すフィールドをリストします。 失敗したコールは返金されます。 - API エラーは、エラーコードと request id を保持するツールエラーとして返されます。 RATE LIMITED でエラーは、Retry-After 待ち時間を含む。 サーバは、そのサーバーを自分で取り戻すことはありません。 - 結果は JSON テキストで、デフォルトでは 100k 文字で切り捨てられます。 ・ 唯一のネットワークコールは、すべてのAPIをスクレイプします.

概要(AI 翻訳)

MCP サーバーですべてをスクレイプします。 公共の社会的なデータをクリーンなJSONとして公開 Instagram、TikTok、X、YouTube、Facebook、Telegram、Spotify、Pinterest、Twitchからパブリックデータを取得するClaude、Cursor、VSコード、WindsurfなどのMCPクライアントが公開データを取得できます。

  • APIエンドポイントごとの1つのツール** 起動時に、サーバーは GET /v1/scrapers] からライブカタログを読み、スクレーパー ([instagram_profile]])、 [tiktok_posts]、 [youtube_transcript]、…) のためのツールを登録します。 パッケージの更新なしで新しいエンドポイントが表示されます。
  • オフラインで動作します。 カタログが取得できない場合は、サーバーはバンドルされたスナップショットから始まります。
  • 最初に費用を示します。 すべてのツールの説明は、そのクレジットコストと返されるフィールドをリストします。 失敗したコールは返金されます。 -読みやすいエラーを導きます。 API エラーは、エラー[codeとrequest_idを保持するツールエラーとして返されます。 [RATE_LIMITED] のエラーには、Retry-After の待ち時間が含まれます。 サーバは、そのサーバーを自分で取り戻すことはありません。
  • Keepsの結果は拘束されます。 結果は JSON テキストで、デフォルトでは 100k 文字で切り捨てられます。
  • テレメトリーを送らないで下さい。 唯一のネットワークコールは、すべてのAPIをスクレイプします。

API キーの取得

キーを作成します。 キーは `ssk live のように見える…

このページは AI により自動翻訳されています。技術的な詳細は原文をご確認ください。

README

以下は原文 README の抜粋です。原文を見る。

Scrape Everything MCP server

An MCP server for Scrape Everything. Public social data as clean JSON. It lets Claude, Cursor, VS Code, Windsurf and any other MCP client fetch public data from Instagram, TikTok, X, YouTube, Facebook, Telegram, Spotify, Pinterest and Twitch.

  • One tool per API endpoint. At startup the server reads the live catalog from GET /v1/scrapers and registers a tool for each scraper (instagram_profile, tiktok_posts, youtube_transcript, …). New endpoints appear without a package update.
  • Works offline. If the catalog can’t be fetched, the server starts from a bundled snapshot.
  • Shows the cost first. Every tool description lists its credit cost and the fields it returns. Failed calls are refunded.
  • Gives readable errors. API errors come back as tool errors that keep the error code and request_id. On RATE_LIMITED the error includes the Retry-After wait. The server never retries on its own.
  • Keeps results bounded. Results are JSON text, truncated at 100k characters by default, with a note when that happens.
  • Sends no telemetry. The only network calls go to the Scrape Everything API.

Get an API key

Create a key at . Keys look like ssk_live_....

Install

Claude Code

claude mcp add scrapeeverything -e SCRAPEEVERYTHING_API_KEY=ssk_live_... -- npx -y @scrapeeverything/mcp

Claude Desktop

Edit claude_desktop_config.json (Settings, then Developer, then Edit Config):

{
  "mcpServers": {
    "scrapeeverything": {
      "command": "npx",
      "args": ["-y", "@scrapeeverything/mcp"],
      "env": { "SCRAPEEVERYTHING_API_KEY": "ssk_live_..." }
    }
  }
}

On Windows, if npx is not found, use "command": "cmd" and "args": ["/c", "npx", "-y", "@scrapeeverything/mcp"].

Cursor

Add this to ~/.cursor/mcp.json (global) or .cursor/mcp.json (project):

{
  "mcpServers": {
    "scrapeeverything": {
      "command": "npx",
      "args": ["-y", "@scrapeeverything/mcp"],
      "env": { "SCRAPEEVERYTHING_API_KEY": "ssk_live_..." }
    }
  }
}

VS Code (GitHub Copilot agent mode)

Add this to .vscode/mcp.json. VS Code prompts for the key and stores it securely:

{
  "inputs": [
    { "type": "promptString", "id": "scrapeeverything-key", "description": "Scrape Everything API key", "password": true }
  ],
  "servers": {
    "scrapeeverything": {
      "type": "stdio",
      "command": "npx",
      "args": ["-y", "@scrapeeverything/mcp"],
GitHub で README 全文を見る

インストール

npx -y @scrapeeverything/mcp
MCP 初心者?mcpskill.org のガイドから始めましょう →

設定

{ "mcpServers": { "scrapeeverything": { "command": "npx", "args": ["-y", "@scrapeeverything/mcp"], "env": { "SCRAPEEVERYTHING_API_KEY": "ssk_live_..." } } } }