MediaCrawler icon indicating copy to clipboard operation
MediaCrawler copied to clipboard

请问知乎回答现在可以正常采集吗

Open xiaohanhahaha opened this issue 11 months ago • 5 comments

试了一下午好像都不行,各种报错,这是ChatGPT给我的原因:

根据错误日志,主要的问题是 ReadTimeout 错误,这意味着程序在请求数据时超时未能获得响应。详细分析如下:

SSL/TLS 异常:在读取 SSL 数据时出现了 SSLWantReadError,这是一个常见的非阻塞错误,通常与网络连接、SSL 握手或数据读取延迟相关。然后程序尝试重新执行读取操作,但由于超时未能成功完成。

TimeoutError:在请求过程中发生了 TimeoutError,这表明请求超时。tenacity 库在重试多次后依然失败,最终抛出了 RetryError。

错误传播:这个超时错误在多个调用栈中传播,最后在 asyncio 的事件循环中导致了失败。

xiaohanhahaha avatar Jan 08 '25 10:01 xiaohanhahaha

类似问题,小红书 MediaCrawler INFO (core.py:136) - [XiaoHongShuCrawler.search]search xhs keyword: 苹果, page: 1 Traceback (most recent call last): File "D:\APP\Python\Python310\lib\site-packages\anyio\streams\tls.py", line 140, in _call_sslobject_method result = func(*args) File "D:\APP\Python\Python310\lib\ssl.py", line 974, in do_handshake self._sslobj.do_handshake() ssl.SSLWantReadError: The operation did not complete (read) (_ssl.c:997)

Xuanhb99 avatar Jan 09 '25 02:01 Xuanhb99

我的xhs也能正常运行

2513502304 avatar Jan 10 '25 04:01 2513502304

试了一下午好像都不行,各种报错,这是ChatGPT给我的原因:

根据错误日志,主要的问题是 ReadTimeout 错误,这意味着程序在请求数据时超时未能获得响应。详细分析如下:

SSL/TLS 异常:在读取 SSL 数据时出现了 SSLWantReadError,这是一个常见的非阻塞错误,通常与网络连接、SSL 握手或数据读取延迟相关。然后程序尝试重新执行读取操作,但由于超时未能成功完成。

TimeoutError:在请求过程中发生了 TimeoutError,这表明请求超时。tenacity 库在重试多次后依然失败,最终抛出了 RetryError。

错误传播:这个超时错误在多个调用栈中传播,最后在 asyncio 的事件循环中导致了失败。

有开梯子🪜吗,如果有的话尝试关闭之后再试

NanmiCoder avatar Jan 10 '25 08:01 NanmiCoder

大佬们有什么好的解决办法吗

kekeche avatar Jan 15 '25 08:01 kekeche

试了一下午好像都不行,各种报错,这是ChatGPT给我的原因: 根据错误日志,主要的问题是 ReadTimeout 错误,这意味着程序在请求数据时超时未能获得响应。详细分析如下: SSL/TLS 异常:在读取 SSL 数据时出现了 SSLWantReadError,这是一个常见的非阻塞错误,通常与网络连接、SSL 握手或数据读取延迟相关。然后程序尝试重新执行读取操作,但由于超时未能成功完成。 TimeoutError:在请求过程中发生了 TimeoutError,这表明请求超时。tenacity 库在重试多次后依然失败,最终抛出了 RetryError。 错误传播:这个超时错误在多个调用栈中传播,最后在 asyncio 的事件循环中导致了失败。

有开梯子🪜吗,如果有的话尝试关闭之后再试

您好!我的梯子并没有开启,找了文档中的常见问题后发现报错有点不一样,不确定是不是同一类型的问题:playwright._impl._errors.TimeoutError: Timeout 30000ms exceeded.

ChloeC857 avatar Feb 21 '25 15:02 ChloeC857