ZhihuQuestionsSpider

ZhihuQuestionsSpider copied to clipboard

java.lang.NullPointerException at me.stevenkin.spider.download.Downloader.download(Downloader.java:88) at me.stevenkin.spider.Spider.run(Spider.java:57) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748) 还有一个问题， 就是可以写的使用文档吗？

zhongzunfa

果不其然，开10个线程时就被知乎封了，需要一个代理池，从中获取可用代理，定时清除被无效代理，还需要一个爬虫可以爬取网上的免费代理

stevenkin

sssssshift