如何控制只爬取增量法典，即指定一个时间戳，只爬取时间戳之后的法典

Open mechigonft opened this issue 1 year ago • 3 comments

现在是全量爬取还是根据时间戳增量爬取的法典？如果是增量爬取，是在哪里通过时间戳控制的？

Jan 02 '24 08:01 mechigonft

现在是全量，按照时间顺序爬。

但可以加一个变量做判断，处理下日期文本，对比下，如果超过了直接 break。

Jan 02 '24 10:01 RanKKI

好像可以指定查询条件里面的施行日期和公布日期的start时间来过滤

Jan 02 '24 11:01 mechigonft

嗯，有这个字段会更方便一下。

如果你有兴趣，可以提个 pr

Jan 02 '24 23:01 RanKKI