weibo-search
weibo-search copied to clipboard
dataabc
获取微博搜索结果信息，搜索即可以是微博关键词搜索，也可以是微博话题搜索
时间范围设置无效
您好，请问我设置START_DATE = '2023-01-01'和END_DATE = '2023-03-31'，爬出来的数据还是2024年的呢，还是说要爬完2024年的数据才会开始爬取2023年的
搜素微博时会出现这种情况：一页的内容非常少，远低于我这里的7条，推测可能微博屏蔽了某些内容，在最极端的情况下，一页可能什么都没有，这时就会出现搜索结果为空 因此parse_page似乎会提前终止 特别的，如果第一页什么都没有，就会导致诸如parse, parse_by_day之类的立即停止 这是我目前的改动 ``
我把下载下来的图片去对应excel中的id，但是并没有找到该id，想知道这是为什么？ 
隔壁子项目 https://github.com/dataabc/weibo-crawler 可以获取用户的信息，但是这个项目必须指定用户ID。但是目前需求是，全网搜索指定关键词的帖子，同时获取到这些用户的信息。
请教大佬，在两台电脑上装了都是出现这个问题，把pipeline中的utf-8-sig改成utf-8还是出现同样的错误，请求大佬指教，非常感谢！
大佬好，感谢大佬的数据！去年用还没更新的代码的时候，可以完美爬到所有数据，但这几天使用更新过的代码，发现每次只能爬到一两千条数据进CSV后，结果文件就不再更新了，但程序还是再不断运行的，请问是为什么呢？ 另外还想问一下，这个代码似乎是模拟微博搜索程序的，微博搜索程序是以一小时为最小的单位，爬取50页数据，请问现在更新后的代码是不是也是这样，一个小时段最多能爬取50页数据呢？谢谢大佬解答！
def get_user_verified_info(self, bid): url = f"https://weibo.com/ajax/statuses/show?id={bid}&locale=zh-CN" headers = self.settings.get('DEFAULT_REQUEST_HEADERS') # 添加详细日志 logging.info(f"Requesting user info for bid: {bid}") logging.info(f"Request URL: {url}") logging.info(f"Request headers: {headers}") try: response = requests.get(url, headers=headers) response.raise_for_status() #...
