JC

joinmassive/clawpod

开发工具

本页由 AI 翻译,技术细节请以原文为准。 查看原文

70 stars 质量 46 趋势 14

OpenClaw 技能适用于 Massive 代理网络

概览

通过Massive的Unblocker REST API获取网页内容或谷歌搜索。处理JavaScript渲染、反机器人保护、验证码、付费墙和服务器端地理限制——返回渲染后的HTML、干净的markdown或结构化JSON。 1. — 获取目标页面或搜索词 2.— 服务器端进行JS渲染、验证码解析、重试和反机器人绕过 3.— 渲染HTML、通过node-html-markdown的markdown,或用于搜索结果的结构化JSON。 在Massive注册,获取你的Unblocker API令牌。 如果安装了 node-html-markdown,请通过它进行管道处理以实现更清晰的输出: 如果node-html-markdown不可用,则返回原始HTML——LLM可以直接解析它。 curl 和 API 令牌。可选Node.js用于 HTML 转 markdown 转换。 请求可能需要最长2分钟。API负责JS渲染、验证码解析和服务器端重试。 试着增加延迟=3(或更高),让动态内容有更多渲染时间。

概述(AI 翻译)

通过Massive的Unblocker REST API获取网页内容或谷歌搜索。处理JavaScript渲染、反机器人保护、验证码、付费墙和服务器端地理限制——返回渲染后的HTML、干净的markdown或结构化JSON。


工作原理

  1. 你提供URL或搜索查询——要获取的目标页面或搜索的词
  2. Unblocker 处理剩余部分 — JS 渲染、验证码解析、重试和反机器人绕过都发生在服务器端
  3. 返回内容 — 以HTML形式呈现,通过node-html-markdown标记,或用于搜索结果的结构化JSON

安装

1.获取API令牌

在Massive注册,获取你的Unblocker API令牌。

2.设置令牌

3.取球

4.(可选)HTML转Markdown

如果安装了node-html-markdown,请通过管道过滤以获得更干净的输出:

如果node-html-markdown不可用,则返回原始HTML——LLM可以直接解析它。


示例

谷歌搜索


API 参数

浏览器 (/browser)

参数 值 默认 描述
url 任意网址 (必填) 目标页面

本页由 AI 翻译,技术细节请以原文为准。

README

以下为原文 README 节选,完整内容请查看原文。

ClawPod

Fetch web page content or search Google through Massive’s Unblocker REST APIs. Handles JavaScript rendering, anti-bot protection, CAPTCHAs, paywalls, and geo-restrictions server-side — returns rendered HTML, clean markdown, or structured JSON.


How It Works

  1. You provide a URL or search query — the target page to fetch or terms to search
  2. Unblocker handles the rest — JS rendering, CAPTCHA solving, retries, and anti-bot bypass all happen server-side
  3. Content returned — rendered HTML, markdown via node-html-markdown, or structured JSON for search results

Install

1. Get an API Token

Sign up at Massive and get your Unblocker API token.

2. Set the Token

export MASSIVE_UNBLOCKER_TOKEN="your-token"

3. Fetch

curl -s -G --data-urlencode "url=https://example.com" \
  -H "Authorization: Bearer $MASSIVE_UNBLOCKER_TOKEN" \
  "https://unblocker.joinmassive.com/browser"

4. (Optional) HTML to Markdown

If node-html-markdown is installed, pipe through it for cleaner output:

npm install -g node-html-markdown
curl -s -G --data-urlencode "url=https://example.com" \
  -H "Authorization: Bearer $MASSIVE_UNBLOCKER_TOKEN" \
  "https://unblocker.joinmassive.com/browser" -o /tmp/_page.html && \
  (node -e "const{NodeHtmlMarkdown}=require('node-html-markdown');console.log(NodeHtmlMarkdown.translate(require('fs').readFileSync('/tmp/_page.html','utf8')))" 2>/dev/null || cat /tmp/_page.html)

If node-html-markdown is unavailable, raw HTML is returned — LLMs can parse it directly.


Examples

# Basic fetch
curl -s -G --data-urlencode "url=https://example.com" \
  -H "Authorization: Bearer $MASSIVE_UNBLOCKER_TOKEN" \
  "https://unblocker.joinmassive.com/browser"

# Skip JS rendering (faster, raw HTML only)
curl -s -G --data-urlencode "url=https://example.com" \
  -H "Authorization: Bearer $MASSIVE_UNBLOCKER_TOKEN" \
  "https://unblocker.joinmassive.com/browser?format=raw"

# Bypass cache
curl -s -G --data-urlencode "url=https://example.com" \
  -H "Authorization: Bearer $MASSIVE_UNBLOCKER_TOKEN" \
  "https://unblocker.joinmassive.com/browser?expiration=0"

# Extra delay for slow-loading dynamic content
curl -s -G --data-urlencode "url=https://example.com" \
  -H "Authorization: Bearer $MASSIVE_UNBLOCKER_TOKEN" \
  "https://unblocker.joinmassive.com/browser?delay=3"

# Use ISP IPs for less detection
curl -s -G --data-urlencode "url=https://example.com" \
  -H "Authorization: Bearer $MASSIVE_UNBLOCKER_TOKEN" \
  "https://unblocker.joinmassive.com/browser?ip=isp"

# Mobile device content
curl -s -G --data-urlencode "url=https://example.com" \
  -H "Authorization: Bearer $MASSIVE_UNBLOCKER_TOKEN" \
  "https://unblocker.joinmassive.com/browser?device=mobile"

# Multiple options combined
curl -s -G --data-urlencode "url=https://example.com" \
  -H "Authorization: Bearer $MASSIVE_UNBLOCKER_TOKEN" \
在 GitHub 查看完整 README

推荐工具

换一个关键词,或者移除筛选条件。

安装

npx skillfish add joinmassive/clawpod
新手?先看 mcpskill.org 教程 →