xxl-crawler icon indicating copy to clipboard operation
xxl-crawler copied to clipboard

CrawlerThread的process方法里判断当前链接是否是白名单链接逻辑有问题

Open lomoye opened this issue 6 years ago • 1 comments

// ------- pagevo ---------- if (!crawler.getRunConf().validWhiteUrl(link)) { // limit unvalid-page parse, only allow spread child return false; }

这一段代码返回false,如果用户设置了重试次数,会导致无意义的重试。这里应该返回true

lomoye avatar Aug 05 '18 08:08 lomoye

你好,感谢反馈! 已经合并至master,将会跟随想下个版本一同发布。

xuxueli avatar Oct 15 '18 08:10 xuxueli