weibo-search
weibo-search copied to clipboard
获取微博搜索结果信息,搜索即可以是微博关键词搜索,也可以是微博话题搜索
Traceback (most recent call last): File "E:\Anaconda\envs\Machine-Learning\lib\runpy.py", line 193, in _run_module_as_main "__main__", mod_spec) File "E:\Anaconda\envs\Machine-Learning\lib\runpy.py", line 85, in _run_code exec(code, run_globals) File "E:\Anaconda\envs\Machine-Learning\Scripts\scrapy.exe\__main__.py", line 7, in File "E:\Anaconda\envs\Machine-Learning\lib\site-packages\scrapy\cmdline.py", line 158,...
hello 作者~我试图搜索特定超话内的微博,留意到weibospider爬下来的显示超话内帖子的格式是#XX[超话]#,于是我用了'#XX[超话]#'这个格式来试图在weibo-search这个程序爬取特定超话,但是似乎失败了? 请问我是搜索格式有问题,还是本程序暂时不支持搜索超话内容?如无,有考虑加上吗?
大佬我想请问下,我大概爬了4天的微博,然后我现在yahoo finance 的库我用不了,我应该怎么操作
关键词数量
大大你好,我的keyword_list.txt中包含大约50个关键词,但是只能爬取到大约前17个关键词相关的信息,请问可能的原因是什么呢
C:\Users\Administrator\Desktop\data\weibo-search>scrapy crawl search -s JOBDIR=crawls/search Traceback (most recent call last): File "d:\anaconda\lib\runpy.py", line 193, in _run_module_as_main "__main__", mod_spec) File "d:\anaconda\lib\runpy.py", line 85, in _run_code exec(code, run_globals) File "D:\anaconda\Scripts\scrapy.exe\__main__.py", line 7,...
作者您好,按照Readme步骤修改setting.py文件,cookie也是新获取的,且COOKIES_ENABLED = False。 但是不知道什么原因没有输出结果,想问一下您结果文件夹是什么名称或者输出结果是什么形式。
有没有办法爬到每个帖子的评论呢,感觉是不是还是要先爬帖子,在一个个爬评论
raise ProxyError(e,request=request)requests.exceptions.ProxyError: HTTpSConnectionPool(host='weibo.com', port=443): Max retries exceeded withurl:/ajax/statuses/show?id=NxSIDhgwt&locale=zh-CN(Causedby ProxyError('Unable to connect to proxy',0SError(0,'Error')))