weibo-search issues

程序自动停止

6

爬取为期一周的数据，仅最后一天（从最后一天开始的）的两百多条就停止了。停止的机制是什么呢？

mokeeqian

地理位置

1

老师目前微博已全部要求显示地理位置，能不能加一个功能获取更多微博帖子的位置？我看现在能获取的位置还是比较少的

minUseers

作者你好，请问运行时报这个错误怎么解决

1

File "D:\weibo\weibo-search-master\weibo\spiders\search.py", line 186 def parse_by_hour(self, response): ^ IndentationError: unindent does not match any outer indentation level

hlhlhlh

首先感谢大佬开源项目，对我非常有帮助，感谢！一直使用 CSV 写入模式爬取数据，同时保存博文的图片及视频，使用正常，存储完整；但当切换到 MongoDB 模式再执行程序，过程中每条博文爬取后会报TypeError: 'NoneType' object is not subscriptable（该报错csv 模式下不会出现），但程序仍然会继续进行下去，直到爬取结束；爬取完成后在数据库中也只能找到爬取博文的属性数据，图片及视频文件不知道存储在哪里了，并没有找到。已在 csv 模式下确认当前 cookie 可用，并在 settings 中将'weibo.pipelines.MongoPipeline': 303以及MONGO_URI = 'localhost'取消注释，并将 csv 模式的配置语句注释掉。另外想请教，如何将每条博文的记录与保存的图片及视频文件对应起来？image_url 与图片文件名称、video_url 与视频文件名称之间是什么关系呢？感谢大佬们的付出，谢谢！

MinaAku

可否增加筛选条件

1

比如含有xxxx文字内容的博文跳过不爬取，微博名字中含有xxx的的博文跳过不爬取

puppyK

提取bid或者其他信息的时候，执行时常常会出现AttributeError，比如split或者replace

14

File "D:\PythonPro\weibo-search-master\weibo-search-master\weibo\spiders\search.py", line 356, in parse_weibo weibo['bid'] = sel.xpath(AttributeError: 'NoneType' object has no attribute 'split')

sanmu233