NetWork Architecture optimization suggestions
**您的功能请求是否与问题有关?请描述。
环境: cpu 12核,20核心线程,64G内存(一台电脑部署应用程序,缓存,关系数据库,tdengine)
-
压测一:HikariPool设置的是1024,buffer设置的是默认96。
-
压测二:HikariPool我设置的是128,buffer设置的是2048。
压力测试12h+,产生5.54亿条记录,丢失数据170w条。下面为建库语句
create DATABASE db BUFFER 2048 CACHEMODEL 'none' COMP 2
DURATION 1440 m WAL_FSYNC_PERIOD 30000
MAXROWS 8192 MINROWS 100 KEEP 527040m,527040m,527040m
PAGES 512 PAGESIZE 16 precision 'ms' REPLICA 1 STRICT 'off'
WAL_LEVEL 1 VGROUPS 20 SINGLE_STABLE 0
超级表(数据均衡分配)
CREATE STABLE a (_ts TIMESTAMP, satellites FLOAT, altitude FLOAT, productId VARCHAR(64), lng DOUBLE, createTime BIGINT, precision FLOAT, id VARCHAR(64), lat DOUBLE, speed FLOAT, direction FLOAT, mileage FLOAT) TAGS (deviceId VARCHAR(64))
CREATE STABLE b (_ts TIMESTAMP, productId VARCHAR(64), createTime BIGINT, id VARCHAR(64), items VARCHAR(1024)) TAGS (deviceId VARCHAR(64))
CREATE STABLE c (_ts TIMESTAMP, dateTime BIGINT, productId VARCHAR(64), createTime BIGINT, id VARCHAR(64), deviceStatus VARCHAR(1024), statusCode BIGINT) TAGS (deviceId VARCHAR(64))
CREATE STABLE d (_ts TIMESTAMP, dateTime BIGINT, productId VARCHAR(64), lng DOUBLE, data VARCHAR(1024), createTime BIGINT, level VARCHAR(256), alarmTime BIGINT, dataType INT, id VARCHAR(64), alarmCode BIGINT, lat DOUBLE) TAGS (deviceId VARCHAR(64))
应用程序内存占用18G tdengine内存占用21G
压力测试:10w tcp连接 -》 应用程序(响应式) -》 HikariPool(128) jdbc -》 tdengine 3.0.1.5 buffer 2048
问题:tdengine录入阻塞,录入频率如下:

1.阻塞 2.报错Connection is not available, request timed out after 10000ms
分别对应如下截图:

描述您想要的行为
能否帮忙调优下,参数如何调整?
如果您有任何解决方案/建议,请描述您的解决方案/建议 清晰简洁地描述您考虑过的此问题或功能的任何解决方案/建议。
原来是单机,后来尝试使用集群,但是问题并没有得到改善,该阻塞的依旧阻塞了。
192.168.0.11(主) 192.168.0.12 192.168.0.13 数据都从1出来,主比较吃力,能否直接从2、3出来?
我看了下192.168.0.11的IO是100M的话,12、13差不多都是50M左右的IO 目前从主的出来,假如说主的jdbc录入阻塞了,rest查询是100%阻塞。
如下调整,如何做到mnode阻塞,不影响rest查询

同样的环境下: 开启debugFlag日志阻塞,并且导致其他进程(如:es>mysql>redis等)卡 不开启debugFlag日志,阻塞其他进程(如:es)。 推断:日志模块可能需要优化。
3.0早期版本的问题 都已经都修复了,但是3.0.2.5 之前可能与现在的最新版(3.3.0.0)并不兼容,所以无法直接升级。因此建议重新部署一下最新的 3.3.0.0 ,后续升级都很方便,直接安装最新版软件即可。
开源版支持操作系统范围:https://docs.taosdata.com/reference/support-platform/
如果还有类似问题可以加微信 a15652223354