weibo-search
weibo-search copied to clipboard
dataabc
获取微博搜索结果信息，搜索即可以是微博关键词搜索，也可以是微博话题搜索
首先非常感谢您dataabc，项目对我很有帮助。 其中有一些细节也许仍有优化空间，也许对您会有一定作用，如下： 1.爬取微博数据的过程，显示进度，以及当前爬取的日期时间； 2.生成的文件名，可以根据start_date+end_date+关键词，完成个性化命名； 3.也是最重要的一点，尝试delay=0，同时多进程(4个以上)进行操作，仍未触发爬虫机制; 即在爬取速度上有提升空间，除了多线程，同时还可以添加多cookie等其他方法，在大数据场景下更nice； 当然，可以共同维护嘞。 以上仅代表个人观点，如有问题可忽视。
大佬晚上好，冒昧打扰您，我遇到了一个让我挠头的问题： 我的爬虫爬了大约4个小时之后，cmd无缘无故停止不继续爬了，同时结果文件也不更新了，完后我等了二十几分钟之后看它仍然不动，我按了几次回车键，之后还是不动。 然后我就（叉掉了）关闭了cmd，同时把weibo-search-master里的“结果文件”删了，重新爬一次，之后打开cmd后还是没有反应，出现了下图的状况，请问我这个应该怎么解决呐？ （猜测原因是不是cookie过期呢？我用的cookie是一星期前的） 
 不知道是不是python版本的问题，目前用的是3.11版本
大佬您好，我爬取的结果有些问题，想请教一下您。我需要爬取的关键词是“虚拟人”，时间是2023全年，但是出现了大量不符合要求的结果，如： “在最后一天收到了喜欢的日历！我是不做展望的类型，更罔论所信任的网上邻居做了时代的悲观预期在前，也就不做什么断论了。祝自己和其他人，明年过一种现实而非虚拟的生活，想见的人都能见到，微小的所愿都能达成，即使丧气也没有关系。” "多年以后我也会想这一切是否是真实存在的人是虚拟的感情是真的新年快乐萧逸" "我无数次试图在scoups、svt队长的身份下窥见普通人崔胜澈的一角这一部分忽近忽远也许你在不易察觉的时候展现过吧可是我不确定这些眼泪这些笑容是来自哪一个你爱豆呀一个又真实又虚拟的存在很难说我爱的是哪一个你但只要是你我就会爱着的新年快乐:)" 这种数据都是把“虚拟人”拆开，是由“虚拟”+“人”的结果。目前来看大量数据都是这样的，导致爬取效率较低，耗时也较高，请问有什么方式解决这个问题吗？
