xxl-crawler
xxl-crawler copied to clipboard
CrawlerThread的process方法里判断当前链接是否是白名单链接逻辑有问题
// ------- pagevo ---------- if (!crawler.getRunConf().validWhiteUrl(link)) { // limit unvalid-page parse, only allow spread child return false; }
这一段代码返回false,如果用户设置了重试次数,会导致无意义的重试。这里应该返回true
你好,感谢反馈! 已经合并至master,将会跟随想下个版本一同发布。