BOSS直聘爬虫 · 职位抓取工具 v2.4（Chrome/Edge CDP / 明文薪资）

🌐 English documentation: README.en.md

一个轻量的 BOSS直聘爬虫（spider / crawler / scraper）：通过 Chrome DevTools Protocol 连接本地已登录的 Chrome 或 Microsoft Edge，复用真实登录态调用 zhipin.com 搜索 API，绕过前端字体反爬，输出含明文薪资的职位数据（JSON / CSV），并生成薪资分布、技能词频和求职材料优化提示词。同时作为 Hermes Agent Skill 提供。

📌 一句话介绍：不用 Selenium/Playwright，直接通过 Chrome DevTools Protocol 连接本地已登录的 Chrome，复用真实登录态调搜索 API，输出含明文薪资的 JSON/CSV，并生成薪资分布、技能词频和求职材料优化提示词。

---

⚠️ 免责声明

本项目仅供学习和技术研究参考，旨在探讨 Chrome DevTools Protocol、前端反爬机制与数据采集技术。请勿用于任何违反 BOSS直聘用户协议 或相关法律法规的用途，不得用于商业转售、恶意爬取或对目标网站造成负担的行为。使用本项目所产生的一切后果由使用者自行承担，作者不对任何滥用行为负责。

---

🚀 30 秒快速开始

# 1. 克隆 + 装依赖
git clone https://github.com/eatmoreduck/boss-zhipin-scraper.git
cd boss-zhipin-scraper
pip install -r requirements.txt          # 或 uv sync

# 2. 启动隔离 Chrome 并登录（只需一次，登录态持久保存）
python3 scripts/boss_cdp_raw.py --setup-chrome
# 也可以显式使用 Microsoft Edge：
# python3 scripts/boss_cdp_raw.py --setup-edge

# 3. 抓取 + 分析
python3 scripts/boss_cdp_raw.py --keyword "AI Agent" --city 上海 --pages 3 --analysis

# 支持全国城市（含三四五线），例如：
python3 scripts/boss_cdp_raw.py --keyword "前端" --city 赣州 --pages 3
# 查看支持的城市：--list-cities [关键词]
python3 scripts/boss_cdp_raw.py --list-cities 江

# 4. 抓取后生成聚合摘要 + 提示词（默认读取最新结果）
python3 scripts/job_summary.py

抓完直接拿到：薪资分布、经验要求、高频技能词、求职材料优化提示词。提示词只基于岗位数据，不读取本地简历文件，也不给岗位算个人匹配分。

✨ 特性

• 明文薪资（API 模式，绕过字体反爬）
• Boss 活跃状态独立字段（boss_active_status）：列表兼容 bossOnline→「在线」，详情可得到「刚刚活跃」等更细状态
• 跨轮新增标记（is_new）：每条岗位带布尔字段标识「是否为本次新增」（终端同步以 🆕 显示），基准自动取同关键词同城市、公司过滤条件一致、日期早于本轮的最近一份结果；未使用 --company 时仍与旧结果（无公司过滤）对比；同一天多轮抓取折叠为一轮，--diff-base 可显式指定
• 按公司名本地过滤（--company）：抓取完成后按 boss_name 做子串匹配，只保留目标公司；不改搜索请求、不额外发请求
• JSON / CSV 双格式输出
• 详情页 JD 抓取 + 技能分析
• 抓取后聚合摘要 + 可复制提示词
• 增量写入（异常退出不丢数据）
• 一键环境检查 + 持久隔离 Chrome/Chromium CDP profile
• 多维筛选（规模、融资、薪资、经验、学历、行业）
• macOS + Linux + Windows 支持；macOS 会自动探测 Google Chrome 或 Chromium；Windows 已通过单元测试与基础 CLI 验证（GBK 控制台崩溃已修复），并支持 Chrome 或 Microsoft Edge CDP；真实抓取链路仍欢迎反馈

• Selenium/Playwright 会启动完整的受控浏览器，体积大、指纹明显，容易触发 BOSS 的风控和验证码。
• 本工具直接连接你已经登录的真实 Chrome（CDP），复用真实指纹和登录态，调用的也是页面内合法的搜索 API，返回的 salaryDesc 本就是明文——不需要解析被字体反爬加密的 DOM 薪资。
• 因此比传统 DOM 抓取类爬虫更稳定，也更难被识别为自动化流量。

安装

方式 1：克隆到本地再安装（推荐）

由于 hermes skills install 的网络请求在某些环境下可能无法直接访问 GitHub，推荐先克隆仓库再本地安装：

# 1. 克隆仓库
git clone https://github.com/eatmoreduck/boss-zhipin-scraper.git
cd boss-zhipin-scraper

# 2. 复制到 Hermes skills 目录
mkdir -p ~/.hermes/skills/data-science/boss-zhipin-scraper/scripts
cp SKILL.md ~/.hermes/skills/data-science/boss-zhipin-scraper/
cp scripts/boss_cdp_raw.py ~/.hermes/skills/data-science/boss-zhipin-scraper/scripts/
cp scripts/job_summary.py ~/.hermes/skills/data-science/boss-zhipin-scraper/scripts/
mkdir -p ~/.hermes/skills/data-science/boss-zhipin-scraper/data
cp data/city_codes.json ~/.hermes/skills/data-science/boss-zhipin-scraper/data/

方式 2：curl 一键安装

不需要克隆整个仓库，直接下载必要文件：

mkdir -p ~/.hermes/skills/data-science/boss-zhipin-scraper/scripts && \
curl -sL https://raw.githubusercontent.com/eatmoreduck/boss-zhipin-scraper/master/SKILL.md \
  -o ~/.hermes/skills/data-science/boss-zhipin-scraper/SKILL.md && \
curl -sL https://raw.githubusercontent.com/eatmoreduck/boss-zhipin-scraper/master/scripts/boss_cdp_raw.py \
  -o ~/.hermes/skills/data-science/boss-zhipin-scraper/scripts/boss_cdp_raw.py && \
curl -sL https://raw.githubusercontent.com/eatmoreduck/boss-zhipin-scraper/master/scripts/job_summary.py \
  -o ~/.hermes/skills/data-science/boss-zhipin-scraper/scripts/job_summary.py && \
mkdir -p ~/.hermes/skills/data-science/boss-zhipin-scraper/data && \
curl -sL https://raw.githubusercontent.com/eatmoreduck/boss-zhipin-scraper/master/data/city_codes.json \
  -o ~/.hermes/skills/data-science/boss-zhipin-scraper/data/city_codes.json

方式 3：hermes skills install（需网络直连 GitHub）

hermes skills install https://raw.githubusercontent.com/eatmoreduck/boss-zhipin-scraper/master/SKILL.md --category data-science

注意：此方式依赖 hermes 进程能直接访问 GitHub，如果遇到超时或连接失败，请使用方式 1 或 2。

方式 4：skills.sh 一键安装（Claude Code 等 Agent Skills 兼容 agent）

npx skills add eatmoreduck/boss-zhipin-scraper

skills.sh 已收录本技能。任何支持 Agent Skills 格式的 agent（Claude Code、Codex、Gemini CLI、Cursor 等）都可以用这条命令安装，SKILL.md、脚本和城市码表随技能一起分发，按提示选择要安装到哪个 agent 即可。

方式 5：ClawHub 安装（OpenClaw / clawhub CLI）

本技能已上架 ClawHub（OpenClaw 生态的技能注册表），OpenClaw 用户可一条命令安装：

npx clawhub@latest install @eatmoreduck/boss-zhipin-scraper

方式 6：作为 Python 包安装（pip / uv）

不装技能、当命令行工具用：直接从 Git tag 或 Release 页安装（不上 PyPI，依赖自动从 PyPI 解析），装完即有 boss-scraper / boss-summary 命令：

# 指定版本（git tag）
pip install "git+https://github.com/eatmoreduck/[email protected]"
# 永远装最新 Release（固定 URL，版本以 wheel 元数据为准）
pip install https://github.com/eatmoreduck/boss-zhipin-scraper/releases/latest/download/boss_zhipin_scraper-latest-py3-none-any.whl
# uv（推荐，全局命令）
uv tool install "git+https://github.com/eatmoreduck/[email protected]"

完整用法见下文「作为命令行工具使用」。

验证安装

# 检查文件是否存在
ls ~/.hermes/skills/data-science/boss-zhipin-scraper/SKILL.md
ls ~/.hermes/skills/data-science/boss-zhipin-scraper/scripts/boss_cdp_raw.py
ls ~/.hermes/skills/data-science/boss-zhipin-scraper/scripts/job_summary.py
ls ~/.hermes/skills/data-science/boss-zhipin-scraper/data/city_codes.json

安装后直接在 Hermes 对话中说"帮我搜一下 BOSS直聘 上上海的 AI Agent 岗位"。

作为命令行工具使用

不想装成 Skill 也可以直接当 CLI 用。自 v2.4.0 起每个版本都会发布 GitHub Release（附可直接安装的 whl），无需上 PyPI：

以上为 README 的开头部分。其余内容请阅读原文。 查看完整 README ↗