web-bee
web-bee copied to clipboard
文件下载器优化
讨论请求出带抓取文件队列后的下载问题。
@wangtonghe
.setHandler(new FileDownloadHandler("/Users/pg/Desktop"))
.setHandler(new ConsoleHandler())
down文件方法写在process
里更易懂,
.setHandler(new ConsoleHandler())
这行的作用是什么,能不能更简化一点
new ConsoleHandler()
设置处理结果的处理器,这个是设置在控制台输出
可以设置多个处理器。比如
.setHandler(new JsonFileHandler(PATH,FILENAME))
.setHandler(new ConsoleHandler())
会将爬取结果打印到控制台、保存在json文件中。
自感觉文件下载也是处理结果的一种方式,若用户在爬取过程中想下载某些文件,在这加一个文件结果处理器,然后在process
中把文件url放入结果集即可。这样和普通的爬取处理一致。