awesomeleo

@luohaha 自己合入3.1验证了一下，用datax streamload 10个并发导入，导入速度相对之前变慢了，之前的版本可以到160MB/s，现在大部分时间在110MB/s，偶尔能到150MB/s。这个修改运行更稳定一些， 波动比以前变小，之前的版本导入速度从20MB/s 到160MB/s , 现在也会波动，最低在60MB/s。总的load时间和之前差不多。

> > @luohaha 自己合入3.1验证了一下，用datax streamload 10个并发导入，导入速度相对之前变慢了，之前的版本可以到160MB/s，现在大部分时间在110MB/s，偶尔能到150MB/s。这个修改运行更稳定一些， 波动比以前变小，之前的版本导入速度从20MB/s 到160MB/s , 现在也会波动，最低在60MB/s。总的load时间和之前差不多。 > > @awesomeleo 资源使用上有变化吗？这个改动主要是优化PK表在compaction时候的IO和内存开销，让IO和内存占用更平稳一些。 在大部分情况下，compaction本身的执行的速度对导入速度影响是不大的，变慢感觉可能是抖动？ 开始阶段cpu和内存降低了很多，cpu在600%左右，原来的差不多要2300%，到后面数据量大了又涨上来了，看上去pindex compaction占用不少资源。我也测试过Doris的，运行比较平稳，一直保持在120MB/s左右，偶尔会降低到90-100MB/s，很快又恢复到120 MB/s。 这个是Starrocks修改之前的 2024-05-09 23:49:00.079 [job-0] INFO StandAloneJobContainerCommunicator - Total 1318086690 records, 151535818403 bytes...

> > > > @luohaha 自己合入3.1验证了一下，用datax streamload 10个并发导入，导入速度相对之前变慢了，之前的版本可以到160MB/s，现在大部分时间在110MB/s，偶尔能到150MB/s。这个修改运行更稳定一些， 波动比以前变小，之前的版本导入速度从20MB/s 到160MB/s , 现在也会波动，最低在60MB/s。总的load时间和之前差不多。 > > > > > > > > > @awesomeleo 资源使用上有变化吗？这个改动主要是优化PK表在compaction时候的IO和内存开销，让IO和内存占用更平稳一些。 在大部分情况下，compaction本身的执行的速度对导入速度影响是不大的，变慢感觉可能是抖动？ > @awesomeleo 方便留一个微信详细聊聊吗？ 好的，我的微信号leo__song， 两个下划线

> > > > > > @luohaha 自己合入3.1验证了一下，用datax streamload 10个并发导入，导入速度相对之前变慢了，之前的版本可以到160MB/s，现在大部分时间在110MB/s，偶尔能到150MB/s。这个修改运行更稳定一些， 波动比以前变小，之前的版本导入速度从20MB/s 到160MB/s , 现在也会波动，最低在60MB/s。总的load时间和之前差不多。 > > > > > > > > > > > > > > > @awesomeleo...

> > ## Enhancement > > Starrocks3.1.11版本，使用DataX 10个并发导入tpch 1000g lineitem表，大概60亿行数据，导入到20亿行开始性能剧烈波动，导入速度从160MB/s 下降到20~90MB/s，一段时间后又会回升到150MB/s。 尝试调整过pindex相关的一些参数（如enable_pindex_read_by_page=true、enable_parallel_get_and_bf=false等），性能有所提升，但是还是会剧烈波动。 也测试过Doris主键模型，比较平稳，一直维持在120MB/s的导入速度。 希望这块能优化一下，实现平稳的数据导入。 > > | Error: NULL value in non-nullable column 'L_ORDERKEY'. Row: [NULL, 156267372, 1267403, 1, 32,...