weibo-crawler
weibo-crawler copied to clipboard
COOKIE 有效,只能下载9张图片了,不能下18图了
COOKIE 有效,只能下载9张图片了,不能下18图了
如果是微博限制,程序也没有办法。
+1,甚至没注意6月更新前的版本是不是也有这个问题……
个人排了下bug,发现是get_long_weibo这个函数失效了,self.session.get没抓出/detail的网页源代码来(导致主程序仍然按一般微博的处理方式进行处理),俺给换了个基础的requests.get(url)就正常了
有点没理解,可以教一下这部分代码怎么修改吗?
有点没理解,可以教一下这部分代码怎么修改吗?
weibo.py文件里定位到def get_long_weibo这一块,下面有一行html = self.session.get(url, headers=self.headers, verify=False).text,我把这行换成了html = requests.get(url).text
有点没理解,可以教一下这部分代码怎么修改吗?
weibo.py文件里定位到def get_long_weibo这一块,下面有一行html = self.session.get(url, headers=self.headers, verify=False).text,我把这行换成了html = requests.get(url).text
大佬打扰了,我半个月前按您的方法修改成html = requests.get(url).text后能存9图以上了。今天突然发现又失效了,又只能存9图了.....本人水平刚入门,和AI聊改了半天也解决不了。大佬要是哪时闲了乐意找出问题所在了能踢下我吗,感激ORZ
有点没理解,可以教一下这部分代码怎么修改吗?
weibo.py文件里定位到def get_long_weibo这一块,下面有一行html = self.session.get(url, headers=self.headers, verify=False).text,我把这行换成了html = requests.get(url).text
大佬打扰了,我半个月前按您的方法修改成html = requests.get(url).text后能存9图以上了。今天突然发现又失效了,又只能存9图了.....本人水平刚入门,和AI聊改了半天也解决不了。大佬要是哪时闲了乐意找出问题所在了能踢下我吗,感激ORZ
同样的位置你改成html = self.session.get(url).text就好了 我不学后端,chatgpt告诉我这样改的,反正能重新下载9张图以上了 但是缺点是容易触发验证机制
--------------------------更新------------------------------------------ 根据我的进一步测试 def get_long_weibo(self, id)这个function里, html = self.session.get(url, headers=self.headers, verify=False).text 这个地方改回成这个
然后在def init(self, config):里 把self.headers = { } 里的 'user-agent''user-agent': 'Mozilla/5.0 (Linux; Android 10; Mobile; rv:109.0) Gecko/109.0 Firefox/109.0', 改成这个,或者你问gpt应该改成什么
这个的问题似乎是这个self.headers是用来伪装浏览器的,但是作者给的user-agent可能不适用了之类的,改了之后就好了,虽然我不懂这个user-agent到底是什么原理,求路过的大佬解答
有点没理解,可以教一下这部分代码怎么修改吗?
weibo.py文件里定位到def get_long_weibo这一块,下面有一行html = self.session.get(url, headers=self.headers, verify=False).text,我把这行换成了html = requests.get(url).text
大佬打扰了,我半个月前按您的方法修改成html = requests.get(url).text后能存9图以上了。今天突然发现又失效了,又只能存9图了.....本人水平刚入门,和AI聊改了半天也解决不了。大佬要是哪时闲了乐意找出问题所在了能踢下我吗,感激ORZ
同样的位置你改成html = self.session.get(url).text就好了 我不学后端,chatgpt告诉我这样改的,反正能重新下载9张图以上了 但是缺点是容易触发验证机制
--------------------------更新------------------------------------------ 根据我的进一步测试 def get_long_weibo(self, id)这个function里, html = self.session.get(url, headers=self.headers, verify=False).text 这个地方改回成这个
然后在def init(self, config):里 把self.headers = { } 里的 'user-agent''user-agent': 'Mozilla/5.0 (Linux; Android 10; Mobile; rv:109.0) Gecko/109.0 Firefox/109.0', 改成这个,或者你问gpt应该改成什么
这个的问题似乎是这个self.headers是用来伪装浏览器的,但是作者给的user-agent可能不适用了之类的,改了之后就好了,虽然我不懂这个user-agent到底是什么原理,求路过的大佬解答
多谢老哥!万分感激,成功了!
试了下 ua好像又不行了,只能是9图
试了下 ua好像又不行了,只能是9图
config里面你有加入cookie吗 cookie验证通过了吗 getlong_weibo改了吗的html = self.seesion.get()这里改了吗
如果还不行你就在def get_long_weibo(self, id):这个function里面的weibo_info = js.get("status")的后面print(weibo_info) 如果这里print出来的东西是none就说明是header或者cookie的问题,如果这里print出来有内容,一般是一大串内容,就是正常的 然后你就把get_long_weibo()复制过去问gpt,一步一步debug看到底是哪里出了问题就行
试了下 ua好像又不行了,只能是9图
config里面你有加入cookie吗 cookie验证通过了吗 getlong_weibo改了吗的html = self.seesion.get()这里改了吗
如果还不行你就在def get_long_weibo(self, id):这个function里面的weibo_info = js.get("status")的后面print(weibo_info) 如果这里print出来的东西是none就说明是header或者cookie的问题,如果这里print出来有内容,一般是一大串内容,就是正常的 然后你就把get_long_weibo()复制过去问gpt,一步一步debug看到底是哪里出了问题就行
感谢老哥解答,晚上按照您的思路再试下, 感谢~