DotnetSpider icon indicating copy to clipboard operation
DotnetSpider copied to clipboard

Published 20 hours ago • verified publisher icon dotnetcore

有没有增加 Cookie 池 与 UserAgent 池设计的计划

Open lawrence-peng opened this issue 6 years ago • 3 comments

有没有增加 Cookie 池 与 UserAgent 池设计的计划

lawrence-peng avatar Nov 20 '18 08:11 lawrence-peng

可以讨论一下在现在的反爬技术体系下, UA 池的作用还有多少？ Cookie现在是支持自己切换的

zlzforever avatar Nov 20 '18 09:11 zlzforever

我是爬虫开发新手，没有办法给很有建议性的意见，至于 Cookie 池网上都在说，我的理解不知道对不对，就像 Proxy 池一样，有自己维护的能力，如果 Cookie 还有效，就不去申请

lawrence-peng avatar Nov 22 '18 01:11 lawrence-peng

如果你要自实现也不是很难。框架里有CookieInject的接口，你可以自己实现一个从数据库取cookie的接口就可以。在afterdownloaderhandler判断是否要注入新的cookie

zlzforever avatar Nov 23 '18 02:11 zlzforever