yao qiang
yao qiang
如果要创建一个spider 然后考虑长期运行的话,需要有pageCount重置为0的问题,但是原代码是`private final AtomicLong pageCount = new AtomicLong(0);`,是否有考虑在`initComponent` 中把 pageCount 重置为0?还有`executorService` 这个变量,如果从外部传入,在结束的时候被强行shutdown,这是很危险的动作。`pipelines` 这个变量是线程不安全的,如果在运行过程中被修改了,是否会产生奇怪的异常,是否有考虑过`CopyOnWriteArrayList`? `HttpClientDownloader` 中的 `HttpClientGenerator` 是否考虑过让配置更加容易,毕竟httpClient是很重要的对象,如果想对httpClient进行配置,现在要花费不少的精力去重写class?
### 功能描述 如果不使用自签证书,只能去弄个域名,然后在服务器上去申请证书,然后有些情况下确实不方便。比如80端口不开放的话,只能使用txt的方式。这种情况下,续签其实挺不方便的。对于个人用户来说,这种网路也没有太大的必要使用申请证书,只要能做到自己信任自己能够防止中间人攻击就行了。也不用申请域名了,而且有的时候dns 劫持会导致域名解析出错,多刷几下又好了。 ### 其他内容 _No response_
ipv6 address, r.URL.HOST will give an error