MediaCrawler

什么是 MediaCrawler?

MediaCrawler（作者 NanmiCoder，GitHub 约6万 star）是国内使用极广的自媒体数据采集框架，覆盖小红书、抖音、快手、B站、微博、百度贴吧、知乎7大平台，可采集笔记/视频/帖子、评论（含二级评论回复）、创作者主页内容与搜索结果。它不手工逆向各平台加密签名，而是用 Playwright 驱动真实浏览器、保留登录上下文（扫码或Cookie登录并缓存复用），通过执行JS表达式获取加密参数，大幅降低逆向门槛。各平台普遍支持关键词搜索、按帖子/视频ID采集、创作者主页采集、登录态缓存、IP代理池、评论词云图，结果可存为 CSV/JSON 或 MySQL/PostgreSQL/SQLite。环境建议 Python 3.11（推荐 uv 管理依赖）、部分平台需 Node.js 16+ 并安装 Playwright 浏览器。项目仅面向公开数据的学习与研究，商用需单独授权，使用时须遵守各平台条款、数据合规法律与账号安全规则。