如何做到增量爬取呢？

[AeReach]

trafficstars

现在爬取应该是全量爬取的吧?有没有办法全量爬取一次后以后都增量爬取呢？

[BenjaminChiu]

现在爬取应该是全量爬取的吧?有没有办法全量爬取一次后以后都增量爬取呢？

哥们，你是说只爬最新的一部分，不爬全部吗？ 如果是这样的话，需要为dytt_Lastest类，添加起始页面，和增量。

[monkey-soft]

现在爬取应该是全量爬取的吧?有没有办法全量爬取一次后以后都增量爬取呢？

如果后面想增量爬虫， 如果对抓取数据做下更新时间标记 time，然后定时去抓取时间比time晚的页面数据就行