journeytonewland/wechat-batch-crawler

Overview

- 🚀 - 使用 subprocess + curl 避免 502 错误 - 📅 - 支持今天/昨天/指定日期爬取 - 🔄 - 基于元数据自动跳过已爬取文章 - ⏰ - 根据时间段自适应调整延迟(白天 10-15s, 晚间 7-12s, 深夜 3-7s) - 🧵 - 最多 3 个并发线程 - 📝 - 自动转换为 Markdown 格式 - 📊 - 生成详细的爬取报告 编辑 .claude/skills/wechat-batch-crawl/metadata.json: : 本工具已使用 subprocess + curl,如仍有问题请检查: - curl 命令是否可用: curl --version - 增加延迟时间 - 减少并发数 : - 检查 output_base_dir 路径是否正确 - 确认 _metadata.json 文件存在 - 首次运行会爬取所有文章,后续会自动去重 - ✅ - 并发数不可超过 3 - ✅ - 延迟必须在 5-15 秒 - ✅ - 重试不可超过 3 次 - ✅ - 不可使用 requests 1. - 所有配置在 metadata.json 2. - subprocess + curl, 智能延迟 3. - filter_existing() 在爬取前过滤 4. - Decision Boundaries 防止误改

Recommended Tools

Try a different keyword or remove a filter.

Install