MMCPMarkets
NM

nanmicoder/mediacrawler

Developer tools
67K stars Quality 68 Trend 100NOASSERTION
Repository Install

小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B 站视频 ｜ 评论爬虫、微博帖子 ｜ 评论爬虫、百度贴吧帖子 ｜ 百度贴吧评论回复爬虫 | 知乎问答文章｜评论爬虫

Overview

BrowserAct 支持一句话从任意网站提取数据。无需代码，一次构建、稳定复用，Token 消耗极低。BrowserAct 使用真实浏览器自动构建数据采集 Bot，内置隐身浏览、验证码处理和住宅代理，直接输出结构化结果。立即免费试用。 大家请以学习为目的使用本仓库⚠️⚠️⚠️⚠️，爬虫违法违规的案件 本仓库的所有内容仅供学习和参考之用，禁止用于商业用途。任何人或组织不得将本仓库的内容用于非法用途或侵犯他人合法权益。本仓库所涉及的爬虫技术仅用于学习和研究，不得用于对其他平台进行大规模爬虫或其他非法行为。对于因使用本仓库内容而引起的任何法律责任，本仓库不承担任何责任。使用本仓库的内容即表示您同意本免责声明的所有条款和条件。 点击查看更为详细的免责声明。点击跳转 一个功能强大的**，支持小红书、抖音、快手、B站、微博、贴吧、知乎等主流平台的公开信息抓取。 - ：基于 Playwright 浏览器自动化框架登录保存登录态 - ：利用保留登录态的浏览器上下文环境，通过 JS 表达式获取签名参数 - ：无需逆向复杂的加密算法，大幅降低技术门槛 专注于学习成熟项目的架构设计，不仅仅是爬虫技术，Pro 版本的代码设计思路同样值得深入学习！ - ✅ （新增功能） - ✅ （重点特性） - ✅ （重点特性） - ✅ ，使用更简单 - ✅ - ✅ ，更易读易维护（解耦 JS 签名逻辑） - ✅ ，适合构建大型爬虫项目 - ✅ ，高扩展性，源码学习价值更大 - ✅ （适合学习全栈开发） - ✅ （HomeFeed） - ✅ （OpenClaw 🦞 / Claude Code / Cursor 一键安装，让 Agent 自动爬取数据） - [ ]

README

🔥 MediaCrawler - 自媒体平台爬虫 🕷️

免责声明：

大家请以学习为目的使用本仓库⚠️⚠️⚠️⚠️，爬虫违法违规的案件

本仓库的所有内容仅供学习和参考之用，禁止用于商业用途。任何人或组织不得将本仓库的内容用于非法用途或侵犯他人合法权益。本仓库所涉及的爬虫技术仅用于学习和研究，不得用于对其他平台进行大规模爬虫或其他非法行为。对于因使用本仓库内容而引起的任何法律责任，本仓库不承担任何责任。使用本仓库的内容即表示您同意本免责声明的所有条款和条件。

点击查看更为详细的免责声明。点击跳转

📖 项目简介

一个功能强大的多平台自媒体数据采集工具，支持小红书、抖音、快手、B站、微博、贴吧、知乎等主流平台的公开信息抓取。

🔧 技术原理

  • 核心技术：基于 Playwright 浏览器自动化框架登录保存登录态
  • 无需JS逆向：利用保留登录态的浏览器上下文环境，通过 JS 表达式获取签名参数
  • 优势特点：无需逆向复杂的加密算法，大幅降低技术门槛

✨ 功能特性

平台 关键词搜索 指定帖子ID爬取 二级评论 指定创作者主页 登录态缓存 IP代理池 生成评论词云图
小红书 ✅ ✅ ✅ ✅ ✅ ✅ ✅
抖音 ✅ ✅ ✅ ✅ ✅ ✅ ✅
快手 ✅ ✅ ✅ ✅ ✅ ✅ ✅
B 站 ✅ ✅ ✅ ✅ ✅ ✅ ✅
微博 ✅ ✅ ✅ ✅ ✅ ✅ ✅
贴吧 ✅ ✅ ✅ ✅ ✅ ✅ ✅
知乎 ✅ ✅ ✅ ✅ ✅ ✅ ✅

🚀 快速开始

💡 如果这个项目对您有帮助，请给个 ⭐ Star 支持一下！

📋 前置依赖

🚀 uv 安装（推荐）

在进行下一步操作之前，请确保电脑上已经安装了 uv：

  • 安装地址：uv 官方安装指南
  • 验证安装：终端输入命令 uv --version，如果正常显示版本号，证明已经安装成功
  • 推荐理由：uv 是目前最强的 Python 包管理工具，速度快、依赖解析准确

🟢 Node.js 安装

项目依赖 Node.js，请前往官网下载安装：

📦 Python 包安装

# 进入项目目录
cd MediaCrawler

# 使用 uv sync 命令来保证 python 版本和相关依赖包的一致性
uv sync

🌐 浏览器驱动安装（可选）

如果使用默认的 CDP 模式（连接已有 Chrome 浏览器），无需安装浏览器驱动。仅在使用标准 Playwright 模式时需要安装。

# 仅在标准 Playwright 模式下需要安装浏览器驱动
uv run playwright install

🌍 Chrome 浏览器配置（推荐）

项目默认使用 CDP 模式连接用户已有的 Chrome 浏览器，可以复用浏览器已有的登录状态、Cookie、扩展等，大幅降低平台风控检测风险。

使用前需要：

  1. 安装最新版 Chrome 浏览器（版本 >= 144），下载地址
  2. 开启远程调试功能：在 Chrome 地址栏输入 chrome://inspect/#remote-debugging，勾选 “Allow remote debugging for this browser instance”
  3. 页面显示 Server running at: 127.0.0.1:9222 表示已就绪

💡 提示：运行爬虫后，Chrome 浏览器会弹出确认对话框，点击"接受"即可。程序会等待用户确认，60秒内操作完成即可。

如果不想使用 CDP 模式，可以在 config/base_config.py 中设置 ENABLE_CDP_MODE = False 切换为标准 Playwright 模式。

🚀 运行爬虫程序

# 在 config/base_config.py 查看配置项目功能，写的有中文注释

# 从配置文件中读取关键词搜索相关的帖子并爬取帖子信息与评论
uv run main.py --platform xhs --lt qrcode --type search

# 从配置文件中读取指定的帖子ID列表获取指定帖子的信息与评论信息
uv run main.py --platform xhs --lt qrcode --type detail

# 打开对应APP扫二维码登录

# 其他平台爬虫使用示例，执行下面的命令查看
uv run main.py --help

💾 数据保存

MediaCrawler 支持多种数据存储方式，包括 CSV、JSON、JSONL、Excel、SQLite 和 MySQL 数据库。

📖 详细使用说明请查看：数据存储指南

🚀 MediaCrawlerPro 重磅发布 🚀！更多的功能，更好的架构设计！开源不易，欢迎订阅支持！

💬 交流群组

💰 赞助商展示

🤝 成为赞助者

成为赞助者，可以将您的产品展示在这里，每天获得大量曝光！

联系方式：

☕ 请作者喝杯咖啡

如果这个项目对您有帮助，欢迎打赏支持，您的每一份支持都是我持续更新的动力 ❤️

📚 其他

🧩 我的其他项目

  • 爬虫入门教程：CrawlerTutorial 免费教程
  • 新闻爬虫开源项目：NewsCrawlerCollection
  • 开源桌面端 Agent：cc-haha — 本地优先、跨平台的 Agent 桌面工作台，支持多 Agent 协作、Git Worktree、技能市场、多模型与 Computer Use，并可通过微信 / 飞书 / 钉钉等远程接入
  • DeepSeek Harness 插件：dsh-agent-teams — 给 DeepSeek Harness 装上 Agent Teams，让多个 Agent 组队并行协作完成复杂任务

⭐ Star 趋势图

如果这个项目对您有帮助，请给个 ⭐ Star 支持一下，让更多的人看到 MediaCrawler！

📚 参考

免责声明

View this README on GitHub

Recommended Tools

Try a different keyword or remove a filter.

Install

npx skillfish add nanmicoder/mediacrawler