程序员阿江-Relakkes
程序员阿江-Relakkes
错误日志是啥,我这边测试了没有发现有问题
还是未能复现该问题
xhs的已支持,dy的还不支持
暂时没有
我刚查了代码,过期IP的清理跟缓存没有关系。 当前ip代理过期的原因是由于MediaCrawler原始版本当初在设计之初时,代码启动时就固定了一个IP(只会从IP代理池取一个IP一直用下去),自媒体平台都需要账号登录,所以一个IP跟账号绑定是一种更加稳定的做法。
在多账号版本(账号和IP配对)没有提供前,我会将当前的代理功能先移除,免得误导大家。 最开始在MediaCrawler未开源是多账号版本,所以把代理IP的功能遗留到了单账号,导致了现在的问题。
连接超时可能是自媒体平台拒绝连接了,另外评论获取不到是不是没有开启评论爬取模式。
MediaCrawler当前不会处理视频下载,后续可能考虑单独出一个仓库来下载指定自媒体URL链接的图片和视频信息。