zhangqiang

Results 4 comments of zhangqiang

给个测试环境的配置,导入频率,每次导入任务导入多少数据

> ## Enhancement > Starrocks3.1.11版本,使用DataX 10个并发导入tpch 1000g lineitem表,大概60亿行数据,导入到20亿行开始性能剧烈波动,导入速度从160MB/s 下降到20~90MB/s,一段时间后又会回升到150MB/s。 尝试调整过pindex相关的一些参数(如enable_pindex_read_by_page=true、enable_parallel_get_and_bf=false等),性能有所提升,但是还是会剧烈波动。 也测试过Doris主键模型,比较平稳,一直维持在120MB/s的导入速度。 希望这块能优化一下,实现平稳的数据导入。 | Error: NULL value in non-nullable column 'L_ORDERKEY'. Row: [NULL, 156267372, 1267403, 1, 32, 42609.9, 0.07, 0.01, 'N',...