crawlab 可否增加爬虫运行配置可自定义？

可否增加爬虫运行配置可自定义？

Open beifengle opened this issue 5 years ago • 2 comments

trafficstars

比如我有一个自己写的通用爬虫，没用到第三方框架，然后我这些爬虫有一些自定义的配置，比如运行频率，URL过滤条件，或者抓取结果过滤敏感词等，希望可以通过配置文件来修改实现功能

Mar 06 '20 09:03 beifengle

环境这个功能能满足你需求不

Mar 06 '20 13:03 tikazyq

@tikazyq 基本可以吧，但是更多的是在处理流程中一些不一样的功能，比如像scrapy一样，每个抓取有比较清晰的工作流步骤或节点，可以在每个节点自定义一些实现某种功能的模块，当然，我想说的是，如果可以把这些自定义的功能模块做成配置就方便多了

Mar 08 '20 01:03 beifengle