Richard

2020-02-09 **云南省死亡病例**数据有误： ``` 云南省,昆明,140,146,17,0,41,0,6,0,2020-02-09 08:13:08.720 云南省,西双版纳,140,146,17,0,15,0,2,0,2020-02-09 08:13:08.720 云南省,玉溪,140,146,17,0,14,0,2,0,2020-02-09 08:13:08.720 云南省,昭通,140,146,17,0,12,0,1,0,2020-02-09 08:13:08.720 云南省,大理,140,146,17,0,11,0,2,0,2020-02-09 08:13:08.720 云南省,曲靖,140,146,17,0,11,0,1,0,2020-02-09 08:13:08.720 云南省,保山,140,146,17,0,9,0,0,0,2020-02-09 08:13:08.720 云南省,丽江,140,146,17,0,7,0,1,0,2020-02-09 08:13:08.720 云南省,红河,140,146,17,0,5,0,1,0,2020-02-09 08:13:08.720 云南省,德宏,140,146,17,0,5,0,0,0,2020-02-09 08:13:08.720 云南省,普洱,140,146,17,0,4,0,0,0,2020-02-09 08:13:08.720 云南省,楚雄,140,146,17,0,4,0,0,0,2020-02-09 08:13:08.720 云南省,临沧,140,146,17,0,1,0,0,0,2020-02-09 08:13:08.720 云南省,文山,140,146,17,0,1,0,0,0,2020-02-09...

感谢！已修改代码！

只需要修改[此行](https://github.com/dta0502/NBSPRC-spider/blob/cf26c7ade170eef874603969fd3858a4cdb747e6/Urban-and-rural-statistics-spider.py#L190)中的2016为2013即可。

请问博主，您在《Scrapy中如何提高数据的插入速度》这篇博文中的**MongoDB 索引**部分为什么**添加索引**放在了`open_spider()`方法里面而不是在`process_item()`方法里？

@zhangslob 感谢博主解答！ 意思就是说`open_spider()`方法是只会调用一次，那么如果我用了`process_item()`方法创建索引，会有什么后果呢，频繁调用性能下降？

> @zhangslob > > @dta0502 > > @zhangslob > > 感谢博主解答！ > > 意思就是说`open_spider()`方法是只会调用一次，那么如果我用了`process_item()`方法创建索引，会有什么后果呢，频繁调用性能下降？ > > 每插入一次数据就会调用一次`process_item()`，数据量大会造成数据库压力大，甚至挂掉 这是《精通scrapy网络爬虫》书中的一个实例： ```python def process_item(self, item, spider): collection = self.db[spider.name] post = dict(item) if...

> @zhangslob > > @dta0502 > > > @zhangslob > > > > @dta0502 > > > > @zhangslob > > > > 感谢博主解答！ > > > > 意思就是说`open_spider()`方法是只会调用一次，那么如果我用了`process_item()`方法创建索引，会有什么后果呢，频繁调用性能下降？ >...

这篇文章对我很有帮助，我采用`FormRequest()`一直报错，但是按照大佬的说法，改成`Request()`就可以了！ 大佬，有一个关于scrapy的ua的问题请教下： 这是我在settings的设置： ```python DEFAULT_REQUEST_HEADERS = { 'Content-Type': "application/json", 'user-agent': 'Mozilla/5.0 (Windows NT 6.3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36',} ``` 然后我想用随机ua，就在middlewares里面用了`fake_useragent`。 那么这个middlewares的随机ua真的能覆盖掉settings里的ua吗？到底哪个的优先级高？ 谢谢！

> @zhangslob > > @dta0502 > > 这篇文章对我很有帮助，我采用`FormRequest()`一直报错，但是按照大佬的说法，改成`Request()`就可以了！ > > 大佬，有一个关于scrapy的ua的问题请教下： > > > > 这是我在settings的设置： > > ```python > > DEFAULT_REQUEST_HEADERS = { > > 'Content-Type': "application/json", > >...

网站名称：小丁的个人博客 网站地址：https://tding.top 网站描述：世间所有的相遇，都是久别重逢 网站 Logo / 头像：https://tding.top/images/avatar.webp 已添加博主！