今天要介绍两款在 GitHub 上开源的数据采集工具。


TikTokDownloader一款完全免费开源的 抖音/TikTok 采集工具。
XHS-Downloader小红书的 图文/视频 作品采集工具。

 

TikTokDownloader

640 (2).png

    完全开源，基于 HTTPX 模块实现的免费工具；批量下载抖音账号发布、喜欢、收藏作品,

  

  • ✅ 下载抖音无水印视频/图集

  • ✅ 下载 TikTok 无水印视频/图集

  • ✅ 批量下载抖音账号发布/喜欢/收藏作品

  • ✅ 批量下载 TikTok 账号发布/喜欢作品

  • ✅ 采集抖音 / TikTok 详细数据

  • ✅ 批量下载链接作品

  • ✅ 多账号批量下载作品

  • ✅ 自动跳过已下载的文件

  • ✅ 持久化保存采集数据

  • ✅ 下载动态/静态封面图

  • ✅ 获取抖音直播推流地址

  • ✅ 获取 TikTok 直播推流地址

  • ✅ 调用 ffmpeg 下载直播

  • ✅ Web UI 交互界面

  • ✅ 采集抖音作品评论数据

  • ✅ 批量下载抖音合集作品

  • ✅ 批量下载 TikTok 合辑作品

  • ✅ 记录点赞收藏等统计数据

  • ✅ 筛选作品发布时间

  • ✅ 支持账号作品增量下载

  • ✅ 支持使用代理采集数据

  • ✅ 支持局域网远程访问

  • ✅ 采集抖音账号详细数据

  • ✅ 作品统计数据更新

  • ✅ 自动更新账号昵称

  • ✅ 部署至私有服务器

  • ✅ 部署至公开服务器

  • ✅ 采集抖音搜索数据

  • ✅ 采集抖音热榜数据

  • ✅ 记录已下载作品 ID

  • ☑️ 扫码登陆获取 Cookie

  • ✅ 从浏览器获取 Cookie

  • ✅ 支持 Web API 调用

  • ✅ 支持多线程下载作品

  • ✅ 文件完整性处理机制

  • ✅ 自定义规则筛选作品

  • ✅ 支持文件断点续传下载


项目地址：

github.com/JoeanAmier/TikTokDownloader


XHS-Downloader

640 (3).png

    程序功能

  • ✅ 采集小红书作品信息

  • ✅ 提取小红书作品下载地址

  • ✅ 下载小红书无水印作品文件

  • ✅ 下载小红书 livePhoto 文件(非无水印)

  • ✅ 自动跳过已下载的作品文件

  • ✅ 作品文件完整性处理机制

  • ✅ 自定义图文作品文件下载格式

  • ✅ 持久化储存作品信息至文件

  • ✅ 作品文件储存至单独文件夹

  • ✅ 后台监听剪贴板下载作品

  • ✅ 记录已下载作品 ID

  • ✅ 支持命令行下载作品文件

  • ✅ 从浏览器读取 Cookie

  • ✅ 自定义文件名称格式

  • ✅ 支持 API 调用功能

  • ✅ 支持文件断点续传下载

    脚本功能

  • ✅ 下载小红书无水印作品文件

  • ✅ 提取发现页面作品链接

  • ✅ 提取账号发布作品链接

  • ✅ 提取账号收藏作品链接

  • ✅ 提取账号点赞作品链接

  • ✅ 提取账号专辑作品链接

  • ✅ 提取搜索结果作品链接

  • ✅ 提取搜索结果用户链接



项目地址：

https://github.com/commaai/openpilot