MediaCrawler icon indicating copy to clipboard operation
MediaCrawler copied to clipboard

[问题] 微博爬取评论数据返回302

Open 2368001770 opened this issue 10 months ago • 0 comments

⚠️ 提交前确认

  • [x] 我已经仔细阅读了项目使用过程中的常见问题汇总
  • [x] 我已经搜索并查看了已关闭的issues
  • [x] 我确认这不是由于滑块验证码、Cookie过期、Cookie提取错误、平台风控等常见原因导致的问题

❓ 问题描述

微博爬取评论数据返回302

🔍 使用场景

  • 目标平台: 微博
  • 使用功能: 关键词搜索

💻 环境信息

  • 操作系统: windown11
  • Python版本: 3.9
  • 是否使用IP代理: 否
  • 是否使用VPN翻墙软件:否
  • 目标平台(抖音/小红书/微博等): 微博

📋 错误日志

async def request(self, method, url, **kwargs) -> Union[Response, Dict]:
    enable_return_response = kwargs.pop("return_response", False)
    async with httpx.AsyncClient(proxies=self.proxies, verify=False) as client:
        response = await client.request(
            method, url, timeout=self.timeout,
            **kwargs
        )

    if enable_return_response:
        return response

    data: Dict = response.json()

    ok_code = data.get("ok")
    if ok_code not in [0, 1]:
        utils.logger.error(f"[WeiboClient.request] request {method}:{url} err, res:{data}")
        raise DataFetchError(data.get("msg", "unkonw error"))
    else:
        return data.get("data", {})

data: Dict = response.json()报错 JSONDecodeError('Expecting value: line 1 column 1 (char 0)') debug发现response状态码为302

📷 错误截图

Image

2368001770 avatar Feb 26 '25 06:02 2368001770