app_comments_spider icon indicating copy to clipboard operation
app_comments_spider copied to clipboard

Published 20 hours ago • verified publisher icon stanleylsx
→

Metadata

爬取百度贴吧、TapTap、appstore、微博官方博主上的游戏评论(基于redis_scrapy)，过滤器采用了bloomfilter。

Results 1 app_comments_spider issues
Sort by recently updated
recently updated
newest added

如何进行持久爬取呢

1 comment

我测试了爬取taptap数据，程序运行后，几分钟就爬取完毕，但是之后taptap又有了新数据，这部分新数据就爬取不到了。只能通过重启程序才能爬到新数据。有什么持久爬取的办法吗

ZQbd avatar ZQbd

← Metadata

51
Stars
14
Forks
Watchers

Owner

verified publisher icon stanleylsx

Metadata

爬取百度贴吧、TapTap、appstore、微博官方博主上的游戏评论(基于redis_scrapy)，过滤器采用了bloomfilter。

Back