Grank icon indicating copy to clipboard operation
Grank copied to clipboard

GraphQL 无法根据时间抓取特定时间点的项目

Open bestony opened this issue 5 years ago • 0 comments

目前项目使用 GraphQL 来进行数据抓取,但 GraphQL 的数据分页参数 after 接受的是一个特定的指针,而非特定的时间,因此无法直接对特定时间的数据进行抓取,从而只抓取特定时间端内的 commit 数据。

目前的数据抓取是通过抓取一个项目所有的数据并在后续的分析时进行时间隔离的。

可能导致的问题

  1. 对于 commit /pr 特别多的项目,可能无法在一次请求中抓取到所有的数据。目前脚本暂无断点续抓的代码

bestony avatar Oct 01 '18 02:10 bestony