webmagic
webmagic copied to clipboard
HttpClientDownloader中的httpClients为何要使用Map管理?
看HttpClientDownloader源码,有个疑问,请教一下。
httpClients根据site中的域名映射,但是site中的域名并不会自动更新,而且就算在运行中手动更新好像也不能保证URL是根据自己的域名获取HttpClient。
难道使用Map管理是为了让多个Spider实例使用同一个HttpClientDownloader组件实例吗?这样不同的Spider实例中site配置不同的域名,获取不同的HttpClient。