An Yuan

BTW，main_celery.log里有以下报错信息，不知道是否有关？ ``` [2022-04-19 17:17:50,027: DEBUG/MainProcess] TaskPool: Apply (args:('apps.codeproj.tasks.base.handle_scheduled_projects', '70f1ea21-5644-4603-a34a-48b1e4b fe770', {'lang': 'py', 'task': 'apps.codeproj.tasks.base.handle_scheduled_projects', 'id': '70f1ea21-5644-4603-a34a-48b1e4bfe770', 'shadow': None, 'eta': None, 'expires': None, 'group': None, 'group_ index': None, 'retries': 0, 'timelimit':...

找不到当时的日志了。今晚再执行一次，明早再查一下是否能复现错误场景。 顺便咨询下，当前版本如何部署能最大可能地实现大量仓库同时执行扫描？ 我通过启动单web+多server+多client+单点minio+单点redis+单点mysql的方式，批量通过api请求创建扫描任务，但是执行速度感觉并没有提升，而且请求**经常会有超时**。想咨询下，是因为多个server同时处理数据库和minio导致互相阻塞而导致执行速度较慢吗？还是单纯地我的数据库和minio性能低导致的？ ps.我没有选择额外的扫描工具，只是执行最基础的3种（圈复杂度+重复代码+代码统计）

此外，请教一下，我的main_log/codedog_error.log中有如下报错： ``` -2022-04-08 19:38:33,008-ERROR-apps.job.models.base: HTTPConnectionPool(host='127.0.0.1', port=8000): Max retries exceeded with url: /files/public_server_temp/jobdata/projects/6106/job8711/f6a2eeb6b72a11ecab030a580a24789e/task_params_20212.json (Caused by ResponseError('too many 500 error responses')) Traceback (most recent call last): File "/docker/opt/asmallcompany/codeanalysis_server/projects/main/apps/job/models/base.py", line 331, in task_params...

> 可以看一下nginx日志确认一下报错原因哈 nginx的错误日志路径：`/var/log/nginx/nginx_codedog_error.log`，文件服务器路由的错误日志路径：`/var/log/nginx/nginx_file_error.log` 如果有调整或找不到文件，可以到`/var/log/nginx/`看一下 我查了下main_log/codedog_error.log，里面一直在输出以下两种错误日志： ``` -2022-04-09 00:03:29,777-ERROR-apps.codeproj.apis.v3: [116]文件服务器异常 Traceback (most recent call last): File "/docker/opt/asmallcompany/codeanalysis_server/projects/main/apps/job/models/base.py", line 174, in context context_url = file_server.put_file(json.dumps(context), context_path, file_server.TypeEnum.TEMPORARY) File "/docker/opt/asmallcompany/codeanalysis_server/projects/main/util/retrylib.py", line 41, in...

> 看起来可能是任务参数获取不完整，文件服务上传这一块有存在什么异常么？ 这个问题应该解决了，问题应该是由于磁盘空间不足导致的。 检查了下监控发现，当时申请的client主机磁盘只有20G，中间出现了好几次df.bytes.free.percent的告警，我将磁盘调整成50G后，昨晚执行期间没有再出现该异常。

> 此外，我通过api或页面访问main/*接口时也频繁出现超时情况，即使直接通过ip:8001/main/*访问也会出现超时情况。 > > 请问下，通过api或页面访问时有正在执行扫描吗？`main_log/codedog_error.log`日志有错误信息吗？ > > 能否发一下您这边部署机器的配置信息和并发数量哈，我这边复现一下看看 '通过api或页面访问时有正在执行扫描吗？' -- 是的，出现超时情况时都是正在执行扫描 '`main_log/codedog_error.log`日志有错误信息吗？' -- 有的，我用`grep ERROR codedog_error.log`统计了下，只有以下的两种错误日志 ``` -2022-04-10 10:03:04,685-ERROR-apps.codeproj.core.projmgr: create repo exception: (1062, "Duplicate entry 'http://git.asmallcompany.com/xxx/xxxxx-ORG_1_TEA' for key 'codeproj_baserepository_scm_url_url_key_57a3deb9_uniq'") -2022-04-10...

您好，我也遇到这个问题了，请问这个bug现在有解决办法了吗？

+1，有进展吗