crawlab icon indicating copy to clipboard operation
crawlab copied to clipboard
verified publisher icon crawlab-team

v 0.6.0 版本 爬虫卡住， 停止后无法启动新任务

Open timewalkerF opened this issue 3 years ago • 8 comments

Bug 描述 v 0.6.0 版本 原先 v 0.5.0 版本不会卡死。

复现步骤 该 Bug 复现步骤如下

  1. 爬虫不知道为什么卡死，然后之后任务全部变成待定。
  2. 把运行中的任务和待定任务全部停止，然后重启容器。
  3. 启动新任务还是待定。

期望结果 为什么会卡死，怎么样能启动新的任务。

截屏 image

timewalkerF avatar Jun 06 '22 01:06 timewalkerF

日志可以导出一份么

tikazyq avatar Jun 06 '22 04:06 tikazyq

已经重新拉了一遍最新的docker镜像。日志都没了。下次吧

timewalkerF avatar Jun 06 '22 07:06 timewalkerF

先关闭，后面出现了再reopen

tikazyq avatar Jun 06 '22 08:06 tikazyq

crawlab.log

timewalkerF avatar Jun 13 '22 06:06 timewalkerF

image scrapy爬虫没有结束

timewalkerF avatar Jun 13 '22 06:06 timewalkerF

不清除mongo 数据库里面的数据无法开始新的任务，就算没有运行中的任务并且重新拉取了crawlab 和 mongo 镜像。看页面是否需要提供对mongo 中的数据有个操作来让我可以开始新的任务。

timewalkerF avatar Jun 22 '22 03:06 timewalkerF

请问你解决了吗，我也遇到 了这个问题

IT-IvDragon avatar Jul 15 '22 06:07 IT-IvDragon

你解决了，我也遇到了这个问题

没有，需要定时清理卡死的脚本。如果攒了太多再关闭就不行了。

timewalkerF avatar Jul 15 '22 07:07 timewalkerF

duplicated in https://github.com/crawlab-team/crawlab/issues/1160

tikazyq avatar Aug 20 '22 09:08 tikazyq