轻量爬虫-AirSpider - feapder-document

[Boris-code]

https://boris.org.cn/feapder/#/usage/AirSpider

feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

[WuT-fage]

tql,bg yyds

[ChinaEamonn]

8. 失败重试 中 code 应该替换为 status_code

[Boris-code]

@ChinaEamonn 8. 失败重试 中 code 应该替换为 status_code

是的，明天我改下

[ShellMonster]

你好，部分情况下数据抓取量会比较少，想存储为csv格式，请问这个怎么用类似yield item的方法进行存储。

[Boris-code]

@ShellMonster 你好，部分情况下数据抓取量会比较少，想存储为csv格式，请问这个怎么用类似yield item的方法进行存储。

自定义pipeline： https://boris-code.gitee.io/feapder/#/source_code/pipeline

[Boris-code]

@ShellMonster 你好，部分情况下数据抓取量会比较少，想存储为csv格式，请问这个怎么用类似yield item的方法进行存储。

自定义pipeline

[zhutuo]

浏览器渲染是异步的吗？为什么使用chrome时会浏览器闪退，爬取失败？是chromedriver的问题？

[Dumbliidore]

@Boris-code

@ShellMonster 你好，部分情况下数据抓取量会比较少，想存储为csv格式，请问这个怎么用类似yield item的方法进行存储。

自定义pipeline： https://boris-code.gitee.io/feapder/#/source_code/pipeline 可以说得清楚点吗？ 自定义pipline还要创建 item，可是存 csv/excel 的话根本不需要 item（需要db）吧？还是说直接在 parse 里存到 csv/excel 就好了？