weibo-crawler 上次爬到博主设置的不可见日期后还会报错继续爬需要手动停止这次直接卡住了还没开始下图片视频

上次爬到博主设置的不可见日期后还会报错继续爬需要手动停止这次直接卡住了还没开始下图片视频

Open gghrgr opened this issue 3 years ago • 6 comments

这是在后台继续无用功爬不可见的部分吗? 但是后面有1000多页可见部分也没下完而且今天不知道为什么特别慢不知道要不要继续等

Nov 07 '22 09:11 gghrgr

更新: 本来想ctrl c停掉结果按成x 然后居然动了继续龟速爬

Nov 07 '22 09:11 gghrgr

更新: 这次不可见部分居然还能爬而且没有报错但是是部分的搞不懂微博这机制

Nov 07 '22 10:11 gghrgr

程序使用的是接口，不是网页，可能是这个原因吧，不确定

Nov 07 '22 11:11 dataabc

ok 谢谢另外速度慢是因为上次下太多被IP限制了吗? 可是已经隔了一个礼拜了

Nov 07 '22 13:11 gghrgr

为了防止被限制，程序会在运行时每几页会暂停一段时间，可能是这个原因。还可能和接口或网络有关。

Nov 08 '22 12:11 dataabc

为了防止被限制，程序会在运行时每几页会暂停一段时间，可能是这个原因。还可能和接口或网络有关。

谢谢

Nov 09 '22 16:11 gghrgr