github2611
github2611
都出现这问题啦?
> > 都出现这个问题啦? > > 如果还没有解决,建议重启路由器,我重启网关路由器,目前恢复了 我重启完路由器,还是会出现status_code=429
> > > > 都出现这个问题啦? > > > > > > > > > 如果还没有解决,建议重启路由器,我重启网关路由器,目前恢复了 > > > > > > 我重启完路由器,还是会出现status_code=429 > > 我试了几次,发现是偶发的,我是懒得折腾,重试几遍就能下全,实在不行还有重新更新COOKIE这个方法 今天又可以正常下载了,应该是短时间内下载过多才会出现
同样出现了这种问题
> 这个问题,我用抖音网页版也出现过,是抖音后台做的api频率限制,碰到429重发请求即可  单纯重试总会出现429,有什么办法可以降低抓取速率减少429的出现呢?
> > 应该是爬页面爬的太快了,但是改参数应该不行,要在源码限制速度吧 > > 经过我简陋的测试,改速度只是一种偏向自我安慰的方法,只是单纯的放慢了下载速度,让人感觉上以为是降低了429出现的频率,但实际上该出还是出,比如上面几楼让改链接次数和同时进行任务数的参数,改了视觉上确实感觉出429慢了,但那其实是把过去一瞬间下完的进程给拉长了的错觉,只要有抓取这个动作,无论间隔多长,都可能触发429。所以我觉得这个429就是限制次数,和间隔时间,抓取快慢关系不大 也就是说无解了?