weibo-search icon indicating copy to clipboard operation
weibo-search copied to clipboard

爬取4小时候结果文件不继续更新

Open Sudddddd opened this issue 2 years ago • 4 comments

大佬晚上好,冒昧打扰您,我遇到了一个让我挠头的问题: 我的爬虫爬了大约4个小时之后,cmd无缘无故停止不继续爬了,同时结果文件也不更新了,完后我等了二十几分钟之后看它仍然不动,我按了几次回车键,之后还是不动。 然后我就(叉掉了)关闭了cmd,同时把weibo-search-master里的“结果文件”删了,重新爬一次,之后打开cmd后还是没有反应,出现了下图的状况,请问我这个应该怎么解决呐? (猜测原因是不是cookie过期呢?我用的cookie是一星期前的) 微信图片_20231209224956

Sudddddd avatar Dec 09 '23 14:12 Sudddddd

有可能是速度太快被暂时限制了,我也不确定,你在网页上看看能否搜索东西。

dataabc avatar Dec 09 '23 17:12 dataabc

您好,网页上可以搜东西的

---原始邮件--- 发件人: "Chen @.> 发送时间: 2023年12月10日(周日) 凌晨1:42 收件人: @.>; 抄送: @.@.>; 主题: Re: [dataabc/weibo-search] 一个让我挠头的问题: (Issue #439)

有可能是速度太快被暂时限制了,我也不确定,你在网页上看看能否搜索东西。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

Sudddddd avatar Dec 09 '23 17:12 Sudddddd

在进行上面这次爬虫的前一个小时,我成功爬虫了(包含30000条信息)

---原始邮件--- 发件人: "Chen @.> 发送时间: 2023年12月10日(周日) 凌晨1:42 收件人: @.>; 抄送: @.@.>; 主题: Re: [dataabc/weibo-search] 一个让我挠头的问题: (Issue #439)

有可能是速度太快被暂时限制了,我也不确定,你在网页上看看能否搜索东西。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

Sudddddd avatar Dec 09 '23 17:12 Sudddddd

同一台电脑同一账号,程序不行网页行,我也不知道怎么回事。如果网页要验证之类的,可能就是速度太快。

dataabc avatar Dec 10 '23 16:12 dataabc