app_comments_spider
app_comments_spider copied to clipboard

Published 20 hours ago •

→

爬取百度贴吧、TapTap、appstore、微博官方博主上的游戏评论(基于redis_scrapy)，过滤器采用了bloomfilter。

Results 1 app_comments_spider issues

Sort by recently updated

我测试了爬取taptap数据，程序运行后，几分钟就爬取完毕，但是之后taptap又有了新数据，这部分新数据就爬取不到了。只能通过重启程序才能爬到新数据。有什么持久爬取的办法吗

Stars

Forks

Watchers

爬取百度贴吧、TapTap、appstore、微博官方博主上的游戏评论(基于redis_scrapy)，过滤器采用了bloomfilter。