weibo-crawler icon indicating copy to clipboard operation
weibo-crawler copied to clipboard

新浪微博爬虫,用python爬取新浪微博数据,并下载微博图片和微博视频

Results 248 weibo-crawler issues
Sort by recently updated
recently updated
newest added

这个怎么解决,按照网上的处理方法都试过了还是不行cannot import name 'csvutil' from 'util' (C:\Python313\Lib\idlelib\util.py)

verify_type虽然已经包含足够多的信息,但是无法与金v、蓝v、红v进行对应。之前有人已经问过同样问题,但是我不知道应该如何修改代码获取这一信息,并且将其写入csv文件。

很开心能找到这么好用的程序,谢谢作者。 不过我遇到一个问题,就是在没填cookie的时候,获取页面的速度大约是2s/it, 填入我的cookie之后,获取页面的速度变成400s/it, 是不是我设置有错误?网页看到的cookie内容是要全部填进去吗?

```python def get_long_weibo(self, id): """获取长微博""" for i in range(5): url = "https://m.weibo.cn/detail/%s" % id logger.info(f"""URL: {url} """) html = requests.get(url, headers=self.headers, verify=False).text html = html[html.find('"status":') :] html = html[: html.rfind('"call"')]...

现在速度超级慢,不到1000条微博,需要两个小时

我注意到requirement.txt的是lxml==4.9.3 windows11上pip install安装失败 ` Could not find function xmlCheckVersion in library libxml2. Is libxml2 installed? ********************************************************************************* error: command 'C:\\Program Files (x86)\\Microsoft Visual Studio\\2022\\BuildTools\\VC\\Tools\\MSVC\\14.41.34120\\bin\\HostX86\\x64\\cl.exe' failed with exit code 2 ` 升级到最新5.3.1就没事了

``` C:\Users\LS\Desktop\weibo-crawler-master\venv\Scripts\python.exe C:\Users\LS\Desktop\weibo-crawler-master\weibo.py 'data' Traceback (most recent call last): File "C:\Users\LS\Desktop\weibo-crawler-master\weibo.py", line 1965, in get_pages if self.get_user_info() != 0: ~~~~~~~~~~~~~~~~~~^^ File "C:\Users\LS\Desktop\weibo-crawler-master\weibo.py", line 374, in get_user_info info = js["data"]["userInfo"] ~~^^^^^^^^...