OpenClaw 技能适用于 Massive 代理网络
概览
通过Massive的Unblocker REST API获取网页内容或谷歌搜索。处理JavaScript渲染、反机器人保护、验证码、付费墙和服务器端地理限制——返回渲染后的HTML、干净的markdown或结构化JSON。 1. — 获取目标页面或搜索词 2.— 服务器端进行JS渲染、验证码解析、重试和反机器人绕过 3.— 渲染HTML、通过node-html-markdown的markdown,或用于搜索结果的结构化JSON。 在Massive注册,获取你的Unblocker API令牌。 如果安装了 node-html-markdown,请通过它进行管道处理以实现更清晰的输出: 如果node-html-markdown不可用,则返回原始HTML——LLM可以直接解析它。 curl 和 API 令牌。可选Node.js用于 HTML 转 markdown 转换。 请求可能需要最长2分钟。API负责JS渲染、验证码解析和服务器端重试。 试着增加延迟=3(或更高),让动态内容有更多渲染时间。
概述(AI 翻译)
通过Massive的Unblocker REST API获取网页内容或谷歌搜索。处理JavaScript渲染、反机器人保护、验证码、付费墙和服务器端地理限制——返回渲染后的HTML、干净的markdown或结构化JSON。
工作原理
- 你提供URL或搜索查询——要获取的目标页面或搜索的词
- Unblocker 处理剩余部分 — JS 渲染、验证码解析、重试和反机器人绕过都发生在服务器端
- 返回内容 — 以HTML形式呈现,通过
node-html-markdown标记,或用于搜索结果的结构化JSON
安装
1.获取API令牌
在Massive注册,获取你的Unblocker API令牌。
2.设置令牌
3.取球
4.(可选)HTML转Markdown
如果安装了node-html-markdown,请通过管道过滤以获得更干净的输出:
如果node-html-markdown不可用,则返回原始HTML——LLM可以直接解析它。
示例
谷歌搜索
API 参数
浏览器 (/browser)
| 参数 | 值 | 默认 | 描述 |
|---|---|---|---|
url |
任意网址 | (必填) | 目标页面 |
本页由 AI 翻译,技术细节请以原文为准。
README
以下为原文 README 节选,完整内容请查看原文。
ClawPod
Fetch web page content or search Google through Massive’s Unblocker REST APIs. Handles JavaScript rendering, anti-bot protection, CAPTCHAs, paywalls, and geo-restrictions server-side — returns rendered HTML, clean markdown, or structured JSON.
How It Works
- You provide a URL or search query — the target page to fetch or terms to search
- Unblocker handles the rest — JS rendering, CAPTCHA solving, retries, and anti-bot bypass all happen server-side
- Content returned — rendered HTML, markdown via
node-html-markdown, or structured JSON for search results
Install
1. Get an API Token
Sign up at Massive and get your Unblocker API token.
2. Set the Token
export MASSIVE_UNBLOCKER_TOKEN="your-token"
3. Fetch
curl -s -G --data-urlencode "url=https://example.com" \
-H "Authorization: Bearer $MASSIVE_UNBLOCKER_TOKEN" \
"https://unblocker.joinmassive.com/browser"
4. (Optional) HTML to Markdown
If node-html-markdown is installed, pipe through it for cleaner output:
npm install -g node-html-markdown
curl -s -G --data-urlencode "url=https://example.com" \
-H "Authorization: Bearer $MASSIVE_UNBLOCKER_TOKEN" \
"https://unblocker.joinmassive.com/browser" -o /tmp/_page.html && \
(node -e "const{NodeHtmlMarkdown}=require('node-html-markdown');console.log(NodeHtmlMarkdown.translate(require('fs').readFileSync('/tmp/_page.html','utf8')))" 2>/dev/null || cat /tmp/_page.html)
If node-html-markdown is unavailable, raw HTML is returned — LLMs can parse it directly.
Examples
# Basic fetch
curl -s -G --data-urlencode "url=https://example.com" \
-H "Authorization: Bearer $MASSIVE_UNBLOCKER_TOKEN" \
"https://unblocker.joinmassive.com/browser"
# Skip JS rendering (faster, raw HTML only)
curl -s -G --data-urlencode "url=https://example.com" \
-H "Authorization: Bearer $MASSIVE_UNBLOCKER_TOKEN" \
"https://unblocker.joinmassive.com/browser?format=raw"
# Bypass cache
curl -s -G --data-urlencode "url=https://example.com" \
-H "Authorization: Bearer $MASSIVE_UNBLOCKER_TOKEN" \
"https://unblocker.joinmassive.com/browser?expiration=0"
# Extra delay for slow-loading dynamic content
curl -s -G --data-urlencode "url=https://example.com" \
-H "Authorization: Bearer $MASSIVE_UNBLOCKER_TOKEN" \
"https://unblocker.joinmassive.com/browser?delay=3"
# Use ISP IPs for less detection
curl -s -G --data-urlencode "url=https://example.com" \
-H "Authorization: Bearer $MASSIVE_UNBLOCKER_TOKEN" \
"https://unblocker.joinmassive.com/browser?ip=isp"
# Mobile device content
curl -s -G --data-urlencode "url=https://example.com" \
-H "Authorization: Bearer $MASSIVE_UNBLOCKER_TOKEN" \
"https://unblocker.joinmassive.com/browser?device=mobile"
# Multiple options combined
curl -s -G --data-urlencode "url=https://example.com" \
-H "Authorization: Bearer $MASSIVE_UNBLOCKER_TOKEN" \
推荐工具
换一个关键词,或者移除筛选条件。
安装
npx skillfish add joinmassive/clawpod