执行run()之后，怎么判断已完成呢？

[zczhzy]

Spider.create(new TestProcessor()) .addUrl("http://xxx.xxx") .thread(5) .run(); 我想在页面爬完之后，做下一步的操作，怎么样才能知道已经爬完了呢？

[gcqst]

同问

[wqqwqqwqq]

个人发现的两个办法： 1.爬取动作从异步改为同步，调用的start方法改为run方法。 2.获取源码中的Spider.java，搜索“Spider {} closed! {} pages downloaded”，在下方写入自定义方法。。

[whitefly]

我最近在基于这个框架开发,也有这个需求 目前解决方法是继承Spider的类,然后在该类中重写run()方法,在super.run()之后插入一个函数作为钩子

[lomoye]

while (spiderWorker.getStatus() != Spider.Status.Stopped) { try { sleep(1000); log.info("spiderWorker running sleep"); } catch (InterruptedException e) { log.info("spiderWorker interruptedException", e); } } 我是这样搞的，在外面死循环判断爬虫的状态