webmagic 请教怎样控制爬虫延时或者暂停？

请教怎样控制爬虫延时或者暂停？

Open Mr-LiuDC opened this issue 1 year ago • 3 comments

例如我在爬取网站时触发了网站的防护机制，当我判断出网站有进行防护时，我该怎样控制爬虫让它过一段时间再抓取？

Sep 23 '23 11:09 Mr-LiuDC

在processor中有个site变量，里面有控制抓取间隔、重试次数

Jan 04 '24 02:01 18547601391

在processor中有个site变量，里面有控制抓取间隔、重试次数

这是全局的配置，没法对某次的请求进行设置。

Feb 25 '24 09:02 Mr-LiuDC

你是怎样判断出网站有进行防护的？

Mar 01 '24 04:03 18547601391