BOSS直聘职位抓取与分析 — Claude Code Skill

使用 CloakBrowser 反检测浏览器抓取 BOSS直聘职位数据，自动分析生成可视化 HTML 报告。

功能

• boss-setup — 一键配置 CloakBrowser + Playwright 抓取环境
• boss-scrape — 多关键词触底滚动抓取，全局去重，渐进限流恢复
• boss-analyze — jieba 自动提取 JD 技能关键词，生成花叔Design风格的可视化报告

安装

方式一：Claude Code 命令安装

claude /install-skill https://github.com/TreeWalk/boss-zhipin-skill

方式二：手动安装

# 克隆到 Claude Code skills 目录
git clone https://github.com/TreeWalk/boss-zhipin-skill.git ~/.claude/skills/boss-zhipin

安装后在 Claude Code 中即可使用三个 skill。

使用流程

1. 配置环境

对 Claude Code 说：

配置boss抓取

Claude 会自动执行 boss-setup skill：

• 检查 Python >= 3.9 和 Node.js >= 18
• 创建 Python 虚拟环境（.venv）
• 安装 CloakBrowser（含反检测 Chromium）和 Playwright
• 验证 navigator.webdriver 为 false（反检测生效）

2. 抓取职位数据

对 Claude Code 说：

抓取北京的Java后端岗位

Claude 会自动执行 boss-scrape skill：

• 将关键词拓展为多组近义词（如 Java后端 → Java开发、Java工程师、Spring Boot）
• 弹出浏览器，等你登录 BOSS直聘（扫码或手机号）
• 触底滚动翻页采集列表（每个关键词约 90 条）
• 全局按岗位链接去重
• 逐条获取详情页（薪资、JD描述、公司信息）
• 保存为 JSON + CSV

支持的城市： 北京、上海、广州、深圳、杭州、成都、南京、武汉、西安、苏州、长沙、重庆、天津、郑州、合肥、青岛、东莞、佛山、珠海、厦门

3. 生成分析报告

对 Claude Code 说：

分析岗位数据

Claude 会自动执行 boss-analyze skill，生成包含以下内容的 HTML 报告：

报告采用花叔Design编辑式排版：Noto Serif SC 宋体标题、暖白底色、赭石 accent、反 AI slop。

前置要求

• Claude Code CLI
• Python >= 3.9
• Node.js >= 18
• 有图形界面的环境（抓取需要弹出浏览器登录）

目录结构

boss-zhipin-skill/
├── README.md
└── skills/
    ├── boss-setup/
    │   └── skill.md      # 环境配置
    ├── boss-scrape/
    │   └── skill.md      # 职位抓取
    └── boss-analyze/
        └── skill.md      # 数据分析

技术要点

触底滚动翻页

BOSS直聘使用无限滚动加载。脚本通过 scrollTo(bottom) 触底，监测 DOM 卡片数量变化来判断是否加载完成，而非修改 URL 的 page 参数。

多关键词全局去重

单个关键词只能获取约 90 条结果。通过拓展多组近义关键词分别搜索，按岗位 link 全局去重，可将采集量提升数倍。

jieba 自动关键词提取

分析报告不依赖写死的技能列表，而是用 jieba 分词 + 自定义技术词典从 JD 文本中动态提取高频技能词，适用于任何岗位类型。

渐进式限流恢复

详情页采集遇到连续错误时，等待时间从 30 秒逐步增加到 90 秒，避免被封的同时不浪费时间。

示例输出

抓取 298 个北京 Java 后端岗位，分析报告包含：

• 薪资中位数 14K，集中在 10-20K 区间
• 高频技能：Spring Boot、MySQL、Redis、MyBatis、微服务
• 高薪(20K+)岗位更看重分布式、架构设计能力

License

MIT