distribute_crawler 多个pipelines如何指定的？

多个pipelines如何指定的？

Open xiaonan opened this issue 11 years ago • 4 comments

settings.py里的ITEM_PIPELINES是一个list，如何指定让不同的spider对应到不同的pipeline呢？

Sep 12 '13 12:09 xiaonan

pipeline是用来处理item的，跟spider有什么关系？

Sep 12 '13 13:09 gnemoug

而你可以在pipeline中对处理哪些item进行设置吧

Sep 12 '13 13:09 gnemoug

都放进去,然后设置一个0-1000的值来决定他们的顺序

Jun 16 '15 02:06 seozed

settings.py里的ITEM_PIPELINES是一个list，如何指定让不同的spider对应到不同的pipeline呢？

可以进行spider级别的setting，http://blog.csdn.net/haipengdai/article/details/48543313

Sep 25 '15 03:09 daidaixiong