爬取4小时候结果文件不继续更新
大佬晚上好,冒昧打扰您,我遇到了一个让我挠头的问题:
我的爬虫爬了大约4个小时之后,cmd无缘无故停止不继续爬了,同时结果文件也不更新了,完后我等了二十几分钟之后看它仍然不动,我按了几次回车键,之后还是不动。
然后我就(叉掉了)关闭了cmd,同时把weibo-search-master里的“结果文件”删了,重新爬一次,之后打开cmd后还是没有反应,出现了下图的状况,请问我这个应该怎么解决呐?
(猜测原因是不是cookie过期呢?我用的cookie是一星期前的)
有可能是速度太快被暂时限制了,我也不确定,你在网页上看看能否搜索东西。
您好,网页上可以搜东西的
---原始邮件--- 发件人: "Chen @.> 发送时间: 2023年12月10日(周日) 凌晨1:42 收件人: @.>; 抄送: @.@.>; 主题: Re: [dataabc/weibo-search] 一个让我挠头的问题: (Issue #439)
有可能是速度太快被暂时限制了,我也不确定,你在网页上看看能否搜索东西。
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>
在进行上面这次爬虫的前一个小时,我成功爬虫了(包含30000条信息)
---原始邮件--- 发件人: "Chen @.> 发送时间: 2023年12月10日(周日) 凌晨1:42 收件人: @.>; 抄送: @.@.>; 主题: Re: [dataabc/weibo-search] 一个让我挠头的问题: (Issue #439)
有可能是速度太快被暂时限制了,我也不确定,你在网页上看看能否搜索东西。
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>
同一台电脑同一账号,程序不行网页行,我也不知道怎么回事。如果网页要验证之类的,可能就是速度太快。