nanmicoder/newscrawler
Code reviewЭта страница переведена автоматически. Технические детали смотрите в оригинале. Открыть оригинал
nanmicoder/newscrawler — это кандидат на навыки агента, импортированный из https://github.com/nanmicoder/newscrawler.
Обзор
nanmicoder/newscrawler — это кандидат на навыки агента, импортированный из https://github.com/nanmicoder/newscrawler.
Обзор (машинный перевод)
给 Agent 一条 URL,直接拿到正文、图片和元数据;不启动浏览器,不把整页 DOM 塞进上下文。
Английский · 简体中文
NewsCrawler 的首要产品是可迁移的 news-extractor Agent Skill。 它把 12 个新闻与内容平台的抓取代码打包在一个自包含目录中,让 Codex、Claude Code 或其他支持 SKILL.md 的 Agent 在本地直接提取文章,返回统一 JSON 或 Markdown。
支持的 12 个平台
查看 URL 识别示例
| ID | URL 识别示例 |
|---|---|
wechat |
mp.weixin.qq.com/s/... |
toutiao |
toutiao.com/article/... |
netease |
163.com/news/article/... |
sohu |
sohu.com/a/... |
tencent |
news.qq.com/rain/a/... |
lenny |
lennysnewsletter.com/... |
naver |
*.naver.com/... |
detik |
news.detik.com/... |
quora |
*.quora.com/... |
bbc |
bbc.com/news/articles/... |
cnn |
cnn.com/YYYY/MM/DD/... |
twitter |
x.com/ /status/ |
网站结构、登录策略和反爬规则会变化。 遇到失败时,先确认 URL 形态、网络访问和 Cookie 要求,再检查对应 Adapter。
为什么 агент 需要这个 Skill
只把链接交给通用 Agent 时，它通常还要自己解决“如何打开网页、哪一块才是正文、菜单和推荐要不要保留、图片顺序是什么”等问题。
| 普通浏览器路径 | NewsCrawler Skill 路径 |
|---|---|
| URL → 打开浏览器 → 加载 DOM / 无障碍树 → 识别正文 → 清理噪声 → 推理 | URL → 匹配平台 → 代码提取正文 → 统一 NewsItem → 推理 |
| 上下文可能包含脚本、导航、广告、推荐与重复链接 | 上下文只包含标题、元数据、有序正文和媒体 |
| Agent 每次都要重新理解站点结构 | 平台规则由 Adapter 维护,可测试、可复用 |
Эта страница переведена автоматически. Технические детали смотрите в оригинале.
README
Показан фрагмент оригинального README. Открыть оригинал.
给 Agent 一条 URL，直接拿到正文、图片和元数据；不启动浏览器，不把整页 DOM 塞进上下文。
English · 简体中文
NewsCrawler 的首要产品是可迁移的 news-extractor Agent Skill。它把 12 个新闻与内容平台的抓取代码打包在一个自包含目录中，让 Codex、Claude Code 或其他支持 SKILL.md 的 Agent 在本地直接提取文章，返回统一 JSON 或 Markdown。
支持的 12 个平台
网站结构、登录策略和反爬规则会变化。遇到失败时，先确认 URL 形态、网络访问和 Cookie 要求，再检查对应 Adapter。
为什么 Agent 需要这个 Skill
只把链接交给通用 Agent 时，它通常还要自己解决“如何打开网页、哪一块才是正文、菜单和推荐要不要保留、图片顺序是什么”等问题。
| 普通浏览器路径 | NewsCrawler Skill 路径 |
|---|---|
| URL → 打开浏览器 → 加载 DOM / 无障碍树 → 识别正文 → 清理噪声 → 推理 | URL → 匹配平台 → 代码提取正文 → 统一 NewsItem → 推理 |
| 上下文可能包含脚本、导航、广告、推荐与重复链接 | 上下文只包含标题、元数据、有序正文和媒体 |
| Agent 每次都要重新理解站点结构 | 平台规则由 Adapter 维护，可测试、可复用 |
| 需要浏览器会话与多轮工具调用 | 本地命令执行，不需要常驻服务 |
它节省的不只是抓取时间，更重要的是把昂贵的模型上下文留给总结、检索、比较和判断。
真实测试：一篇文章省了多少 Token
2026-07-20，我们用同一篇真实的 Detik News 文章 做了对照。Skill 成功提取 10 段正文和 1 张图片。
所有文本都使用同一个 tiktoken o200k_base 编码器计数：
Рекомендуемые инструменты
Попробуйте другой запрос или уберите фильтр.
Установка
npx skillfish add nanmicoder/newscrawler