crawlab 【需求汇总】请大家在这个 Issue 中提优化反馈

Jun 05 '20 02:06 tikazyq

关于爬虫的上传部署，不知道能不能增加git等方式的代码上传，这样每次重启能自动拉取最新代码去跑

请参考这个文档 https://docs.crawlab.cn/zh/CI/Git.html

Jun 23 '20 14:06 tikazyq

爬虫详情的scrapy配置，能不能支持读取多种配置文件。我看了下源码，目前只读取了default配置。default一般为本地配置，放服务器上面老是解析报错。

Jun 30 '20 02:06 orchidshype

访问scrapy配置页面总是有这种错误，但是爬虫可以正常运行。

Jun 30 '20 02:06 orchidshype

git里面不能切换分支，选择其他分支后，仍然自动切换到master。这种问题怎么解决呢

Jun 30 '20 08:06 orchidshype

git使用ssh拉取代码，出现以下错误 first path segment in URL cannot contain colon

Jun 30 '20 08:06 orchidshype

@selerisjava 可以在新开的issue里详细描述一下

Jun 30 '20 09:06 tikazyq

从git下拉代码能只指定一个目录吗？有很多爬虫代码不多，几十个爬虫就有几十个git库，配置起来有点烦

Jul 09 '20 10:07 larryliao

从git下拉代码能只指定一个目录吗？有很多爬虫代码不多，几十个爬虫就有几十个git库，配置起来有点烦

不好意思，暂时不支持，您可以考虑配合 CLI 工具来上传爬虫代码

Jul 09 '20 13:07 tikazyq

报错，打开链接显示 {"status":"ok","message":"unauthorized","data":null,"error":"unauthorized"}

爬虫代码是通过cli方式上传的服务器运行scrapy crawl spider_name正常

Aug 07 '20 07:08 mingzhongshui

初始化node失败是什么原因啊？配置那改ip也不行。

Aug 08 '20 23:08 diaozhegenyan

始化node失败是什么原因啊？配置那改ip也不行。

怎么配置的？看起来像配置问题

Aug 10 '20 01:08 tikazyq

不清楚呢，重新弄了现在可以了。

Aug 11 '20 18:08 diaozhegenyan

Failed to launch the browser process

Aug 25 '20 07:08 zhuangdx

Failed to launch the browser process

估计是没有安装相应的库导致的，可以搜索一下“ubuntu puppeteer docker"

Aug 25 '20 07:08 tikazyq

scrapy项目上传，爬虫解压的逻辑正常在本地打包项目，如果进入项目中进行压缩感觉有些反人类的操作在后台创建文件的目录树：

└── test2
    ├── md5.txt
    ├── scrapy.cfg
    └── test2
        ├── __init__.py
        ├── __pycache__
        │   ├── __init__.cpython-38.pyc
        │   └── settings.cpython-38.pyc
        ├── items.py
        ├── middlewares.py
        ├── pipelines.py
        ├── settings.py
        └── spiders

上传文件自动解压的目录树：
└── test_spider
    ├──  md5.txt
    └──  test_spider
        ├──  scrapy.cfg
        └── test_spider
            ├── __init__.py
            ├── __pycache__
            ├── items.py
            ├── middlewares.py
            ├── pipelines.py
            ├── settings.py
            └── spiders

多创建了一层文件夹

Sep 02 '20 07:09 stone0018

scrapy项目上传，爬虫解压的逻辑正常在本地打包项目，如果进入项目中进行压缩感觉有些反人类的操作在后台创建文件的目录树：

└── test2
    ├── md5.txt
    ├── scrapy.cfg
    └── test2
        ├── __init__.py
        ├── __pycache__
        │   ├── __init__.cpython-38.pyc
        │   └── settings.cpython-38.pyc
        ├── items.py
        ├── middlewares.py
        ├── pipelines.py
        ├── settings.py
        └── spiders

上传文件自动解压的目录树：
└── test_spider
    ├──  md5.txt
    └──  test_spider
        ├──  scrapy.cfg
        └── test_spider
            ├── __init__.py
            ├── __pycache__
            ├── items.py
            ├── middlewares.py
            ├── pipelines.py
            ├── settings.py
            └── spiders

多创建了一层文件夹

请关注这个 issue https://github.com/crawlab-team/crawlab/issues/836

Sep 02 '20 08:09 tikazyq

优化建议 1.网页错误提示建议全部取消，仅保留能够给予使用者实质性帮助的提示。
目前使用下来，除了登陆时的密码错误提示，其他提示对使用者毫无意义。增加干扰率，降低使用体验，降低安全感。。。 2.打开网页时cpu占用率太高。当前最需要时效的交互应该时日志显示页面，除了此页面外，其他页面底层交互频率可以适当减少。 3.任务假活状态有待优化 4.宿主机多个硬盘检测 5.模版yml中建议添加限制日志大小 6.任务详情建议增加一栏爬虫进程PID号显示