采集工作台作者:张博宇
aa0021233@mail.ustc.edu.cnLOCAL DATA WORKSPACE
连接中
X COLLECTOR / KEYWORDS

关键词采集可用

按关键词与日期搜索推文,完整保留接口返回内容。

01

配置采集任务

GetXAPI · Latest
将在保存目录下创建同名文件夹。
0 个关键词
添加的关键词会显示在这里
关键词数量不设上限,采集时每 8 个分为一组,组内以 OR 连接;结果合并去重。短语自动加引号,也可用分号或换行批量添加。
添加关键词后会显示分组数量。
至
包含开始与结束当天;自动按月切分,从最近月份、最新日期往前采集。
采集语言
仅英文按 X 识别的帖子语言筛选;全部语种不加语言条件。
保存目录 / 任务名称 / raw / 年份 / 月份.jsonl
请先选择日期,进程数不能超过月度分段数。
建议不超过 3 个进程。并发较高会增加网络占用,也可能触发限流。

这里保存的是搜索接口返回的数据。媒体保留链接;未被搜索返回的内容无法保证完整覆盖。

+
COMING SOON

微博采集

微博采集正在开发中,后续版本将接入。

开发中
𝕏
GetXAPI使用你自己的 API Key
本机未配置
首次使用需要自行填写。保存后在本机加密保留,刷新网页或重启服务后仍可使用。
网站不提供默认或共用 Key。每位用户使用自己的本地程序和配置,Key 不会上传到网站服务器。
当前连接的本地程序未连接
网络与重试设置

这些参数在创建新任务时保存。已创建任务继续使用其原有参数。

  1. Windows:下载 Windows 本地程序,解压后首次运行「install-and-start.bat」,以后运行「start.bat」。
  2. macOS(Intel / Apple 芯片):下载 Mac 本地程序,解压后首次双击「install-and-start.command」,以后双击「start.command」。已有旧服务运行时,先停止采集,双击新版的「update.command」可在原目录更新并重启;以后更新也只需运行该文件。「stop.command」用于退出空闲后台服务。需要 macOS 12 或更新版本。
  3. 首次安装需要 Python 3.11 或更新版本,以及下载依赖的网络连接。Mac 可先安装 Python 官方 macOS 安装包。启动后会自动打开本机工作台,不需要登录账号或填写连接码。
  4. 在线网页无法连接时,直接使用 本机工作台。两种入口共用本机服务,任务、数据和自己的 Key 都保存在自己的电脑上。

请用 Safari、Chrome 或 Edge 打开。在线网页首次连接本机时,浏览器可能询问本地网络访问权限,请选择允许。Mac 首次保存或读取 Key 时可能询问钥匙串访问权限。选择目录会打开这台电脑的系统文件夹窗口;关闭网页或启动窗口不影响后台采集。

自动添加格式后缀,不覆盖已有文件。