webmagic icon indicating copy to clipboard operation
webmagic copied to clipboard

Published 20 hours ago • verified publisher icon code4craft

希望作者可以将doCycleRetry改成protect访问级别

Open hackeryutu opened this issue 1 year ago • 2 comments

希望作者可以将doCycleRetry改成protect访问级别，外部可以重写这个方法改变行为。

比如重试三次之后还是失败就没然后了， 我想通过改写这个方法做一些通知

hackeryutu avatar Jan 19 '24 08:01 hackeryutu

在 us.codecraft.webmagic.SpiderListener.onError(Request, Exception) 读取request.getExtra(Request.CYCLE_TRIED_TIMES),如果次数等于 site.getCycleRetryTimes()就发通知。

sutra avatar Jan 19 '24 09:01 sutra

我看的是0.10.0的代码，只有在page.isDownloadSuccess()是false的情况下才会走重试逻辑，不会走到onError中而是走到onSuccess中。 我感觉哪里怪怪的，isDownloadSuccess如果是false 不应该走onError方法吗？

hackeryutu avatar Jan 19 '24 09:01 hackeryutu