TomCat
TomCat
> 结果是这个:(base) D:\bandzip\WEB_KG-master\baike>d:/ProgramData/Anaconda3/python.exe d:/bandzip/WEB_KG-master/baike/spiders/baike.py 好像感觉没有爬取到内容,是我什么地方出错了。 baike/settings.py 这个里面DEFAULT_REQUEST_HEADERS 换一个ua试试
> > 下午跑了下发现百度百科加验证了,不好爬取 > > 大佬,我出现的是这个,你也是吗?啥数据都爬下来了 2023-07-03 13:00:23 [py.warnings] WARNING: C:\Users\Q.conda\envs\q\lib \site-packages\scrapy\utils\request.py:232:ScrapyDeprecationWarning:“2.6”是“REQUEST_FINGERPRINTER_IMPLMENTATION”设置的已弃用值。 > > 这也是默认值。换句话说,如果您没有为“REQUEST_FINGERPRINTER_IMPLMENTATION”设置定义值,则收到此警告是正常的。这样做是出于向后兼容性的原因,但在 Scrapy 的未来版本中将会改变。 > > 有关如何处理此弃用的信息,请参阅“REQUEST_FINGERPRINTER_IMPLMENTATION”设置的文档。 返回cls(爬虫) baike/settings.py 这个里面DEFAULT_REQUEST_HEADERS 换一个ua尝试