关于代码的一些建议

[yaoqiangpersonal]

如果要创建一个spider 然后考虑长期运行的话,需要有pageCount重置为0的问题，但是原代码是private final AtomicLong pageCount = new AtomicLong(0);，是否有考虑在initComponent 中把 pageCount 重置为0？还有executorService 这个变量，如果从外部传入，在结束的时候被强行shutdown,这是很危险的动作。pipelines 这个变量是线程不安全的，如果在运行过程中被修改了，是否会产生奇怪的异常，是否有考虑过CopyOnWriteArrayList? HttpClientDownloader 中的 HttpClientGenerator 是否考虑过让配置更加容易，毕竟httpClient是很重要的对象，如果想对httpClient进行配置，现在要花费不少的精力去重写class?