TDengine icon indicating copy to clipboard operation
TDengine copied to clipboard

Count(*) query is too slow

Open 13612858893 opened this issue 3 years ago • 2 comments

Bug Description version: 3.0.1.1 出问题的过程如下: 1、升级到3.0.1.1后,删除了/var/lib/taos/中的所有数据,进行了插入及验证。 2、在过程中发现查询数据速度越来越慢,如下图所示 c41dbe4c062bb9d6f92ad971b888210 同时对应的硬件资源占用率不高,如下所示 b2eb599697e4314ff569df5fc519e66 3、接下来继续插入数据,过了一天发现数据插入速度越来越慢,插入144万条数据用时超过100分钟,如下所示 319fc8145350a4a26c77f5b04a5d77d 4、当数据量达到4亿时,插入线程报超时,查询count(*)超过500秒,如下图所示 image

同时发现,主节点已停止,但无法启动,如下图所示 image 5、没做任何操作,一天后,主节点又可以启动,但过一会又会自动停止 image 帮忙看看问题所在,谢谢

13612858893 avatar Sep 20 '22 03:09 13612858893

请问有core 文件生成吗

yu285 avatar Sep 21 '22 02:09 yu285

有的,在三个节点均看到一些core文件,如下所示 image image image 是否需要远程查看一下,谢谢?

13612858893 avatar Sep 21 '22 03:09 13612858893

一般查询慢主要这几个原因:

1.数据被大量相同时间戳的数据覆盖过,导致碎片多,开源版数据导出再导入就行了。(企业版支持在线重组)

2.乱序比较多。

  1. 数据库建模优化不够,可以参考:https://www.taosdata.com/tdengine-engineering/21550.html

4.最好在最新版(当前为 3.3.3.0)上测试,确保数据库本身版本处于最优。

5.最好在服务端测试,确保没有网络等其他因素干扰。

yu285 avatar May 13 '24 11:05 yu285

3.0早期版本的bug 都已经都修复了,但是3.0.2.5 之前可能与现在的最新版(3.3.0.0)并不兼容,所以无法直接升级。因此建议重新部署一下最新的 3.3.0.0 ,后续升级都很方便,直接安装最新版软件即可。

开源版支持操作系统范围:https://docs.taosdata.com/reference/support-platform/

yu285 avatar May 13 '24 11:05 yu285