web-bee icon indicating copy to clipboard operation
web-bee copied to clipboard

文件下载器优化

Open nonacosa opened this issue 7 years ago • 3 comments

讨论请求出带抓取文件队列后的下载问题。

nonacosa avatar May 12 '17 17:05 nonacosa

@wangtonghe

.setHandler(new FileDownloadHandler("/Users/pg/Desktop"))
                .setHandler(new ConsoleHandler())

down文件方法写在process里更易懂, .setHandler(new ConsoleHandler()) 这行的作用是什么,能不能更简化一点

nonacosa avatar May 12 '17 18:05 nonacosa

new ConsoleHandler() 设置处理结果的处理器,这个是设置在控制台输出

wangtonghe avatar May 13 '17 03:05 wangtonghe

可以设置多个处理器。比如

.setHandler(new JsonFileHandler(PATH,FILENAME))
     .setHandler(new ConsoleHandler())

会将爬取结果打印到控制台、保存在json文件中。 自感觉文件下载也是处理结果的一种方式,若用户在爬取过程中想下载某些文件,在这加一个文件结果处理器,然后在process中把文件url放入结果集即可。这样和普通的爬取处理一致。

wangtonghe avatar May 13 '17 03:05 wangtonghe