webmagic
webmagic copied to clipboard
希望作者支持一下动态重试?
因为很多网站现在有限流规则,比如一秒钟请求次数超过5次,就返回500错误或者去其他状态码。能不能改下源码,增加一个重试策略,变成像scrapy一样,第一次隔1秒,第二次2秒第三次5秒...这种递增式动态retry
的确是一个实用的特性
的确是一个实用的特性
希望作者可以将doCycleRetry改成protect访问级别,外部可以重写这个方法改变行为。
比如重试三次之后还是失败就没然后了, 我想通过改写这个方法做一些通知