weibo-search
weibo-search copied to clipboard
dataabc
获取微博搜索结果信息，搜索即可以是微博关键词搜索，也可以是微博话题搜索
# 要搜索的微博类型，0代表搜索全部微博，1代表搜索全部原创微博，2代表热门微博，3代表关注人微博，4代表认证用户微博，5代表媒体微博，6代表观点微博 可否将这个增加到结果中。 例如我想知道一条微博包含了上述哪种属性，这样我可以先将全部微博爬下来然后再根据后续研究目的做进一步筛选
C:\Users\33721\Desktop\weibo-search-master>scrapy crawl search -s JOBDIR=crawls/search 2024-05-18 12:51:09 [scrapy.core.scraper] ERROR: Spider error processing (referer: https://s.weibo.com/weibo?q=%23%E6%8A%91%E9%83%81%E7%97%87%23&scope=ori&suball=1×cope=custom:2024-03-01-0:2024-05-02-0) Traceback (most recent call last): File "C:\Users\33721\AppData\Local\Programs\Python\Python312\Lib\site-packages\scrapy\utils\defer.py", line 279, in iter_errback yield next(it) ^^^^^^^^ File "C:\Users\33721\AppData\Local\Programs\Python\Python312\Lib\site-packages\scrapy\utils\python.py",...
感谢作者提供的便利工具，2024年5月1日，由于微博防盗链机制，直接获得的图片链接已经无法访问,有相似问题的朋友可自行在MyImagesPipeline中，修改并拼接图片下载链接，以实现下载 eg: 爬虫获取的原链接https://wx2.sinaimg.cn/large/005EOMxagy1hleevmegvjj33kg2ocnpg.jpg 修改拼接后的链接https://image.baidu.com/search/down?url=https://wx2.sinaimg.cn/large/005EOMxagy1hleevmegvjj33kg2ocnpg.jpg 本人爬虫外行，仅在三台不同IP的设备下人工测试过，百度图片外链几乎不限频率不限速。 参考：https://blog.axiaoxin.com/post/2023-10-14-%E5%85%8D%E8%B4%B9%E5%9B%BE%E5%BA%8A%E4%B9%8B%E5%BE%AE%E5%8D%9A%E5%A4%96%E9%93%BE%E5%9B%BE%E7%89%87%E8%A7%A3%E5%86%B3%E6%96%B9%E6%A1%88/
我在微博上搜索包含关键词“抗议”的帖子，并设置了不同的时间范围。 - 当我将 START_DATE 和 END_DATE 设置在 2020-2023 年之间时，爬虫能够获取所有帖子。 - 然而，当我将时间范围设置为 2013 年、2014-2019 年的年份时，我无法获取任何结果，或者只获得零星的帖子（“当前页面搜索结果为空”）。 - 如果我缩短时间范围，将 START_DATE 和 END_DATE 设置得更接近（例如，START_DATE = '2013-01-01' 和 END_DATE = '2013-01-02'），我就可以收集到一些结果，但 START_DATE = '2013-01-01' 和...
csv
第一次正常运行后出现结果文件的文件夹，第二次更换关键词和时间再运行时，结果文件文件夹内数据不更新没有新的csv文件生成，删除文件夹清除程序所有缓存再爬取，仍然只爬出来上次的时间和关键词内容（还没上次全）是什么原因呀
  突然出现的现象
