weibo-search

weibo-search copied to clipboard

carwl: error: running 'scrapy crawl' with more than one spider is no longer supported.

2

你好大佬，请问这是什么原因呢？前几天都运行正常，今天突然不行了。

rrrrrrwx

weibo_spider与weibo-search是否可共用数据库

1

您好，请问我之前已经运行了您的weibo_spider爬虫创建了一个weibo数据库，我现在也需要运行您的weibo-search，是否可以将weibo-search爬取的内容，与weibo_spider爬取的内容存在一个数据库中呢？如果可以，应该如何修改呢？

banlangen1111

如何将end_date的参数设置为自动获取当前时间

2

end_date = datetime.datetime.now().strftime('%Y-%m-%d') #设置结束时间

like4h

大大，请问现在是不是获取不了微博发布的位置呀

1

AnthonyDY11

多进程爬虫

3

作者您好，想请问一下怎么进行多进程爬虫呢？我的想法是先将程序用jupyter notebook打开，然后调用multiprocessing包，但是不知道怎么把搜索关键词传进去。。

Zzzyc0528

PermissionError: [Errno 13] Permission denied: '结果文件\\XXXX\\XXXX.csv'

3

您好，请问在运行的时候cmd一直显示标题处的话语，permission denied是什么意思呢，这是否会导致数据无法输出到csv文件夹呢？来自一个python小白的弱弱提问，可是看网上搜寻过后也没能找到合适的解决方法。并且卡在这里之后就一直重复爬取，参考了#66的方法替换了 parse by hour 的代码也没能够解决。 具体显示如下： 'bid': 'L2QR222RJ', 'comments_count': '0', 'created_at': '2021-11-23 20:47', 'id': '4706798320487675', 'location': '', 'pics': ['https://wx2.sinaimg.cn/large/006rTUIigy1gwpdfkhrm5j30u00kn455.jpg'], 'reposts_count': '0', 'retweet_id': '', 'screen_name': '徐徐而来xx', 'source': 'iPhone客户端', 'text': '每日一善💫#阳光信用#💫#每日一善#要践行绿水青山就是金山银山的理念，推动国土绿化高质量发展，统筹山水林田湖草系统治理，因地制宜深入推进大规模国土绿化行动，持续推进森林城市、森林乡村建设，着力改善人居环境，做到四季常绿、季季有花，发展绿色经济，加强森林管护，推动国土绿化不断取得实实在在的成效。要推动经济高质量发展，把供给侧结构性改革聚焦到补短板上来，巩固“三去一降一补”成果，坚定不移深化改革开放，增强微观主体活力，提升产业链水平，畅通经济循环，推动农牧业高质量发展，促进城乡区域协调发展。要坚持生态优先、绿色发展，在集中集聚集约上找出路，加强草原保护，强化土地沙化荒漠化防治工作，保护好生态环境，筑牢我国北方重要生态安全屏',...

LhCmilk

显示一直在爬取，但是结果文件的修改时间停留在某个点，正常吗？

4

以及打开结果文件时还能同时爬数据吗？

laiyanqi

可以限制每天只爬取200条吗

1

你好，这个可以限制只爬取每日的前200条吗，需要在哪个组件进行修改呢

kafeiya

weibo-search report error

3

2022-02-16 14:06:22 [scrapy.core.scraper] ERROR: Spider error processing (referer: None) Traceback (most recent call last): File "/home/vsi/.local/lib/python3.7/site-packages/scrapy/utils/defer.py", line 120, in iter_errback yield next(it) File "/home/vsi/.local/lib/python3.7/site-packages/scrapy/utils/python.py", line 353, in __next__ return next(self.data)...

mooqing

安装scrapy失败

2

回车后显示如下，红色的字体，我是小白想要利用这个工具进行论文的文本获取，如果可以的话辛苦作者大大解答。谢谢！ ERROR: Exception: Traceback (most recent call last): File "D:\Anaconda\lib\site-packages\pip\_internal\cli\base_command.py", line 173, in _main status = self.run(options, args) File "D:\Anaconda\lib\site-packages\pip\_internal\cli\req_command.py", line 203, in wrapper return func(self, options, args) File "D:\Anaconda\lib\site-packages\pip\_internal\commands\install.py",...

laiyanqi