webmagic icon indicating copy to clipboard operation
webmagic copied to clipboard

HttpClientDownloader中的httpClients为何要使用Map管理?

Open KeShBo opened this issue 4 years ago • 0 comments

看HttpClientDownloader源码,有个疑问,请教一下。

httpClients根据site中的域名映射,但是site中的域名并不会自动更新,而且就算在运行中手动更新好像也不能保证URL是根据自己的域名获取HttpClient。

难道使用Map管理是为了让多个Spider实例使用同一个HttpClientDownloader组件实例吗?这样不同的Spider实例中site配置不同的域名,获取不同的HttpClient。

KeShBo avatar Aug 08 '20 16:08 KeShBo