TDengine icon indicating copy to clipboard operation
TDengine copied to clipboard

data lost in RESTful in 3.0.0.1

Open qdwind opened this issue 3 years ago • 1 comments

问题:通过RESTful批量插入数据,出现数据丢失。某些节点的早期数据被自动删除。

数据库版本:3.0.0.1,数据库设置的keep值为10年(5256000m),其余参数按建库的默认设置。

操作步骤: 1、插入1个节点的数据(ts间隔1分钟),每条语句插入10000条记录,时间跨度730天,总记录数为1051200。 2、按上述步骤依次插入10个节点的数据,总记录数应为10512000,实际总记录数为9629770。 3、反复测试发现:丢失的都是时间戳较早的数据,越早分布的节点丢失越多,而时间较近的数据所有节点都没有丢失;当总记录数少于100万条时不会出现丢失,超过1000万条则一定会丢失。

数据自动删除是否与文件分页有关?

qdwind avatar Sep 19 '22 10:09 qdwind

丢数据并不应该

不过首先咱们需要升级到3.0.1.1 ,底层有变动。

然后可以重新发起测试。测试完可以再同步下测试结果。

yu285 avatar Sep 20 '22 03:09 yu285