18547601391

在processor中有个site变量，里面有控制抓取间隔、重试次数

你是怎样判断出网站有进行防护的？

将多个爬虫需要的参数封装放在list中，用foreach遍历，在循环内调用spider的启动方法，这样一次爬虫结束以后就会进入下一个循环执行第二个爬虫