Elise icon indicating copy to clipboard operation
Elise copied to clipboard

模块重构

Open zidoshare opened this issue 6 years ago • 1 comments

由Elise-core模块提供全部的单机爬虫功能导致代码极度膨胀臃肿很费心里去做分布式和单机不同场景下的兼容问题,并且容易让某些特性无法发挥,比如:单机运行状态时,可以直接查询dom而不是必须的使用提供的response api。

模块重构迁移计划:

  1. 拆分Elise-core模块,用于提供通用的功能并提供先关的扩展接口,本身不再是一个完整的爬虫
  2. 分离出Elise-client模块,用于单机运行,在提供response api的同时能够提供直接可编程处理dom查询、saver存储等更多的编程可定制场景

zidoshare avatar Jan 25 '19 14:01 zidoshare

增加测试模块,更好的用于单元测试

zidoshare avatar Feb 13 '19 14:02 zidoshare