doris icon indicating copy to clipboard operation
doris copied to clipboard

[feature](pipelline)add local merge sort exchaner

Open Mryange opened this issue 1 year ago • 13 comments

Proposed changes

Issue Number: close #xxx

Mryange avatar May 31 '24 00:05 Mryange

Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.

doris-robot avatar May 31 '24 00:05 doris-robot

run buildall

Mryange avatar May 31 '24 00:05 Mryange

clang-tidy review says "All clean, LGTM! :+1:"

github-actions[bot] avatar May 31 '24 00:05 github-actions[bot]

TPC-H: Total hot run time: 41494 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 6a8497c0f4cf4e95c2460fca147ebf837bcff0bf, data reload: false

------ Round 1 ----------------------------------
q1	17615	4324	4283	4283
q2	2041	198	192	192
q3	10443	1266	1234	1234
q4	10188	777	848	777
q5	7479	2710	2737	2710
q6	228	136	135	135
q7	961	620	596	596
q8	9242	2108	2106	2106
q9	9241	6721	6716	6716
q10	9669	3851	3962	3851
q11	460	247	236	236
q12	510	221	225	221
q13	17295	3300	3194	3194
q14	274	229	226	226
q15	536	486	479	479
q16	500	411	401	401
q17	995	739	678	678
q18	8368	7809	7903	7809
q19	8589	1638	1607	1607
q20	656	325	324	324
q21	5177	3383	4043	3383
q22	406	336	345	336
Total cold run time: 120873 ms
Total hot run time: 41494 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4544	4426	4449	4426
q2	382	269	262	262
q3	3139	2930	2894	2894
q4	1950	1731	1636	1636
q5	5307	5505	5520	5505
q6	217	127	126	126
q7	2194	1803	1803	1803
q8	3221	3371	3364	3364
q9	8644	8601	8631	8601
q10	4078	3881	3741	3741
q11	584	480	477	477
q12	771	608	625	608
q13	17152	3169	3147	3147
q14	297	268	278	268
q15	536	496	488	488
q16	500	429	437	429
q17	1832	1535	1494	1494
q18	7837	7468	7455	7455
q19	1669	1569	1499	1499
q20	2017	1768	1799	1768
q21	5101	4755	4675	4675
q22	612	514	522	514
Total cold run time: 72584 ms
Total hot run time: 55180 ms

doris-robot avatar May 31 '24 01:05 doris-robot

TeamCity be ut coverage result: Function Coverage: 36.27% (9231/25454) Line Coverage: 27.62% (75704/274078) Region Coverage: 26.84% (39203/146051) Branch Coverage: 23.59% (19893/84320) Coverage Report: http://coverage.selectdb-in.cc/coverage/6a8497c0f4cf4e95c2460fca147ebf837bcff0bf_6a8497c0f4cf4e95c2460fca147ebf837bcff0bf/report/index.html

doris-robot avatar May 31 '24 01:05 doris-robot

TPC-DS: Total hot run time: 170251 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 6a8497c0f4cf4e95c2460fca147ebf837bcff0bf, data reload: false

query1	922	380	374	374
query2	7725	2464	2510	2464
query3	6639	209	204	204
query4	19762	17551	17424	17424
query5	4119	414	423	414
query6	242	155	148	148
query7	4586	302	290	290
query8	305	283	286	283
query9	8779	2381	2344	2344
query10	452	270	255	255
query11	10550	10054	10150	10054
query12	141	91	93	91
query13	1634	377	369	369
query14	9483	7539	7515	7515
query15	235	190	190	190
query16	7900	266	260	260
query17	1777	523	537	523
query18	2045	270	269	269
query19	237	161	152	152
query20	99	91	86	86
query21	199	138	127	127
query22	4279	4065	3967	3967
query23	33315	33099	32950	32950
query24	6921	2892	2873	2873
query25	553	374	356	356
query26	700	155	156	155
query27	1983	319	322	319
query28	4360	2052	2064	2052
query29	864	626	596	596
query30	243	151	150	150
query31	969	780	753	753
query32	85	53	56	53
query33	485	265	260	260
query34	848	465	459	459
query35	720	599	602	599
query36	1042	923	914	914
query37	100	66	65	65
query38	2967	2797	2783	2783
query39	862	792	781	781
query40	200	132	127	127
query41	58	50	53	50
query42	105	98	98	98
query43	567	573	560	560
query44	1097	718	729	718
query45	188	173	172	172
query46	1061	699	712	699
query47	1870	1793	1810	1793
query48	375	301	288	288
query49	845	380	378	378
query50	769	373	381	373
query51	6789	6691	6638	6638
query52	103	92	93	92
query53	372	290	280	280
query54	525	426	446	426
query55	73	71	70	70
query56	253	235	248	235
query57	1110	1051	1046	1046
query58	223	205	205	205
query59	3555	3353	3319	3319
query60	269	258	257	257
query61	88	85	85	85
query62	605	469	433	433
query63	315	287	281	281
query64	8453	2221	1702	1702
query65	3138	3068	3151	3068
query66	789	320	327	320
query67	15343	14774	14784	14774
query68	4578	538	539	538
query69	446	271	275	271
query70	1171	1110	1140	1110
query71	372	273	269	269
query72	7490	2698	2530	2530
query73	709	320	318	318
query74	6016	5708	5636	5636
query75	3328	2637	2664	2637
query76	2248	947	988	947
query77	382	259	261	259
query78	10121	9971	9802	9802
query79	2028	504	511	504
query80	1115	429	431	429
query81	533	229	219	219
query82	643	94	88	88
query83	246	168	177	168
query84	233	82	87	82
query85	1673	266	301	266
query86	486	315	320	315
query87	3346	3093	3134	3093
query88	4014	2361	2332	2332
query89	474	381	377	377
query90	2047	182	182	182
query91	128	95	167	95
query92	64	51	53	51
query93	2720	507	492	492
query94	1200	193	183	183
query95	412	311	314	311
query96	588	263	263	263
query97	3153	3021	3061	3021
query98	241	221	216	216
query99	1139	839	853	839
Total cold run time: 261609 ms
Total hot run time: 170251 ms

doris-robot avatar May 31 '24 01:05 doris-robot

ClickBench: Total hot run time: 31.13 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 6a8497c0f4cf4e95c2460fca147ebf837bcff0bf, data reload: false

query1	0.04	0.03	0.03
query2	0.07	0.04	0.04
query3	0.23	0.04	0.04
query4	1.69	0.07	0.08
query5	0.50	0.49	0.48
query6	1.12	0.71	0.72
query7	0.03	0.02	0.02
query8	0.06	0.05	0.05
query9	0.54	0.49	0.48
query10	0.54	0.54	0.56
query11	0.14	0.11	0.11
query12	0.14	0.12	0.12
query13	0.59	0.59	0.62
query14	0.76	0.77	0.79
query15	0.82	0.79	0.80
query16	0.37	0.36	0.35
query17	0.97	1.00	1.00
query18	0.23	0.25	0.26
query19	1.77	1.80	1.81
query20	0.01	0.01	0.02
query21	15.53	0.67	0.67
query22	3.97	6.74	2.54
query23	18.24	1.35	1.24
query24	1.50	0.26	0.25
query25	0.16	0.08	0.09
query26	0.26	0.17	0.17
query27	0.08	0.07	0.07
query28	13.53	1.00	0.99
query29	13.72	3.22	3.26
query30	0.23	0.05	0.06
query31	2.86	0.38	0.39
query32	3.29	0.47	0.46
query33	2.83	2.98	2.87
query34	16.97	4.40	4.43
query35	4.58	4.45	4.63
query36	0.65	0.46	0.50
query37	0.18	0.16	0.15
query38	0.15	0.14	0.14
query39	0.04	0.04	0.04
query40	0.16	0.14	0.15
query41	0.09	0.05	0.04
query42	0.06	0.04	0.04
query43	0.04	0.03	0.04
Total cold run time: 109.74 s
Total hot run time: 31.13 s

doris-robot avatar May 31 '24 01:05 doris-robot

run buildall

Mryange avatar May 31 '24 04:05 Mryange

clang-tidy review says "All clean, LGTM! :+1:"

github-actions[bot] avatar May 31 '24 04:05 github-actions[bot]

TPC-H: Total hot run time: 40371 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit bcaa1891371dfe37bd5ef58cc1875210416a787f, data reload: false

------ Round 1 ----------------------------------
q1	17894	4735	4370	4370
q2	2716	201	193	193
q3	10848	1203	1265	1203
q4	10527	768	837	768
q5	7803	2745	2667	2667
q6	225	135	142	135
q7	972	623	607	607
q8	9584	2098	2124	2098
q9	9097	6497	6515	6497
q10	9048	3697	3759	3697
q11	473	256	237	237
q12	482	227	236	227
q13	17776	3000	2998	2998
q14	272	227	223	223
q15	526	483	470	470
q16	504	400	389	389
q17	978	695	678	678
q18	8085	7471	7510	7471
q19	7422	1627	1597	1597
q20	657	320	318	318
q21	4887	3197	3904	3197
q22	388	331	335	331
Total cold run time: 121164 ms
Total hot run time: 40371 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4379	4235	4256	4235
q2	377	261	274	261
q3	2962	2782	2727	2727
q4	1893	1600	1607	1600
q5	5279	5312	5325	5312
q6	214	129	130	129
q7	2158	1739	1763	1739
q8	3265	3347	3312	3312
q9	8394	8340	8374	8340
q10	3919	3689	3735	3689
q11	581	485	501	485
q12	798	616	583	583
q13	16322	3030	2978	2978
q14	292	268	250	250
q15	511	475	473	473
q16	477	426	408	408
q17	1783	1480	1475	1475
q18	7724	7482	7284	7284
q19	1676	1593	1561	1561
q20	1985	1786	1799	1786
q21	8511	4779	4790	4779
q22	606	529	528	528
Total cold run time: 74106 ms
Total hot run time: 53934 ms

doris-robot avatar May 31 '24 04:05 doris-robot

TeamCity be ut coverage result: Function Coverage: 36.27% (9232/25457) Line Coverage: 27.62% (75707/274099) Region Coverage: 26.83% (39195/146064) Branch Coverage: 23.59% (19892/84326) Coverage Report: http://coverage.selectdb-in.cc/coverage/bcaa1891371dfe37bd5ef58cc1875210416a787f_bcaa1891371dfe37bd5ef58cc1875210416a787f/report/index.html

doris-robot avatar May 31 '24 04:05 doris-robot

TPC-DS: Total hot run time: 172752 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit bcaa1891371dfe37bd5ef58cc1875210416a787f, data reload: false

query1	934	382	379	379
query2	6462	2483	2451	2451
query3	6663	207	207	207
query4	19096	17303	17335	17303
query5	4126	427	435	427
query6	247	162	160	160
query7	4599	312	295	295
query8	342	296	286	286
query9	8473	2379	2385	2379
query10	449	272	271	271
query11	10469	10055	10041	10041
query12	143	91	89	89
query13	1648	367	362	362
query14	10096	7666	6813	6813
query15	261	189	193	189
query16	8129	266	266	266
query17	1834	536	525	525
query18	2026	270	276	270
query19	201	184	156	156
query20	92	90	89	89
query21	195	130	131	130
query22	4294	4007	3879	3879
query23	33660	33068	33002	33002
query24	12008	2851	2822	2822
query25	643	356	361	356
query26	1737	155	153	153
query27	3012	317	337	317
query28	7594	2028	2080	2028
query29	1006	634	603	603
query30	296	151	151	151
query31	986	759	751	751
query32	97	56	63	56
query33	766	280	267	267
query34	1037	482	486	482
query35	762	632	593	593
query36	1076	923	913	913
query37	280	68	68	68
query38	2937	2820	2777	2777
query39	862	807	814	807
query40	275	127	123	123
query41	55	52	52	52
query42	103	93	97	93
query43	617	584	576	576
query44	1237	725	764	725
query45	187	170	170	170
query46	1080	730	733	730
query47	1825	1766	1786	1766
query48	365	294	307	294
query49	1187	383	385	383
query50	774	399	397	397
query51	6879	6837	6780	6780
query52	103	93	90	90
query53	356	293	283	283
query54	988	436	439	436
query55	76	79	73	73
query56	257	242	249	242
query57	1124	1022	1021	1021
query58	258	212	205	205
query59	3429	3264	3261	3261
query60	304	255	261	255
query61	94	89	89	89
query62	647	448	446	446
query63	308	304	291	291
query64	9811	2206	1798	1798
query65	3198	3127	3124	3124
query66	1366	334	331	331
query67	15019	14829	14879	14829
query68	4541	538	543	538
query69	450	270	270	270
query70	1146	1082	1116	1082
query71	414	271	277	271
query72	7549	5869	5280	5280
query73	745	329	322	322
query74	5911	5799	5603	5603
query75	3605	2654	2607	2607
query76	2988	998	1057	998
query77	403	291	274	274
query78	10132	9995	9880	9880
query79	2627	517	508	508
query80	1142	441	454	441
query81	527	225	221	221
query82	733	97	91	91
query83	244	173	170	170
query84	293	86	87	86
query85	1493	278	274	274
query86	455	315	318	315
query87	3307	3146	3126	3126
query88	4244	2362	2355	2355
query89	488	396	389	389
query90	1968	192	184	184
query91	123	100	96	96
query92	57	48	50	48
query93	1828	521	499	499
query94	1162	191	188	188
query95	398	311	311	311
query96	587	262	264	262
query97	3226	3046	3035	3035
query98	235	212	220	212
query99	1114	840	845	840
Total cold run time: 275595 ms
Total hot run time: 172752 ms

doris-robot avatar May 31 '24 04:05 doris-robot

ClickBench: Total hot run time: 30.6 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit bcaa1891371dfe37bd5ef58cc1875210416a787f, data reload: false

query1	0.04	0.04	0.03
query2	0.08	0.04	0.04
query3	0.23	0.04	0.05
query4	1.67	0.07	0.07
query5	0.52	0.47	0.51
query6	1.12	0.72	0.72
query7	0.02	0.02	0.02
query8	0.05	0.04	0.04
query9	0.54	0.50	0.50
query10	0.54	0.55	0.55
query11	0.15	0.12	0.11
query12	0.15	0.12	0.12
query13	0.59	0.60	0.59
query14	0.80	0.78	0.78
query15	0.82	0.81	0.82
query16	0.36	0.37	0.37
query17	0.97	0.98	0.97
query18	0.22	0.26	0.23
query19	1.78	1.70	1.81
query20	0.02	0.01	0.01
query21	15.48	0.70	0.66
query22	4.79	7.08	1.89
query23	18.29	1.38	1.31
query24	1.86	0.24	0.20
query25	0.15	0.08	0.08
query26	0.28	0.17	0.17
query27	0.09	0.09	0.07
query28	13.35	1.02	0.99
query29	13.17	3.31	3.25
query30	0.24	0.06	0.06
query31	2.89	0.39	0.38
query32	3.28	0.48	0.47
query33	2.86	2.95	2.94
query34	17.08	4.42	4.48
query35	4.51	4.48	4.51
query36	0.65	0.46	0.49
query37	0.18	0.17	0.15
query38	0.15	0.14	0.14
query39	0.05	0.04	0.04
query40	0.18	0.14	0.14
query41	0.10	0.05	0.05
query42	0.06	0.05	0.05
query43	0.05	0.03	0.04
Total cold run time: 110.41 s
Total hot run time: 30.6 s

doris-robot avatar May 31 '24 04:05 doris-robot

run buildall

Mryange avatar May 31 '24 10:05 Mryange

clang-tidy review says "All clean, LGTM! :+1:"

github-actions[bot] avatar May 31 '24 10:05 github-actions[bot]

TPC-H: Total hot run time: 40938 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 36916ade15e7de8ab38f2098725f429bc23f92b7, data reload: false

------ Round 1 ----------------------------------
q1	17721	4369	4306	4306
q2	2036	196	200	196
q3	10511	1232	1173	1173
q4	10164	857	796	796
q5	7476	2699	2670	2670
q6	217	135	138	135
q7	970	624	605	605
q8	9230	2094	2085	2085
q9	9076	6532	6477	6477
q10	9020	3714	3746	3714
q11	464	260	249	249
q12	443	235	234	234
q13	17778	3034	3015	3015
q14	252	224	232	224
q15	531	487	479	479
q16	516	384	394	384
q17	971	710	743	710
q18	8219	7443	7496	7443
q19	1692	1565	1511	1511
q20	664	310	320	310
q21	5090	3941	3889	3889
q22	390	333	342	333
Total cold run time: 113431 ms
Total hot run time: 40938 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4256	4236	4216	4216
q2	372	263	265	263
q3	2972	2766	2769	2766
q4	1916	1650	1615	1615
q5	5299	5312	5314	5312
q6	217	127	131	127
q7	2199	1755	1783	1755
q8	3201	3360	3336	3336
q9	8368	8400	8342	8342
q10	3871	3736	3697	3697
q11	584	488	524	488
q12	751	625	607	607
q13	16509	2982	2993	2982
q14	306	267	287	267
q15	522	473	474	473
q16	450	422	439	422
q17	1782	1476	1452	1452
q18	7598	7476	7361	7361
q19	1691	1501	1553	1501
q20	1979	1786	1765	1765
q21	4807	4742	4717	4717
q22	613	540	538	538
Total cold run time: 70263 ms
Total hot run time: 54002 ms

doris-robot avatar May 31 '24 11:05 doris-robot

TeamCity be ut coverage result: Function Coverage: 36.26% (9231/25456) Line Coverage: 27.62% (75703/274098) Region Coverage: 26.84% (39200/146058) Branch Coverage: 23.60% (19896/84322) Coverage Report: http://coverage.selectdb-in.cc/coverage/36916ade15e7de8ab38f2098725f429bc23f92b7_36916ade15e7de8ab38f2098725f429bc23f92b7/report/index.html

doris-robot avatar May 31 '24 11:05 doris-robot

TPC-DS: Total hot run time: 172906 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 36916ade15e7de8ab38f2098725f429bc23f92b7, data reload: false

query1	938	386	375	375
query2	6812	2285	2346	2285
query3	6663	210	214	210
query4	19191	17286	17077	17077
query5	4156	417	439	417
query6	261	173	157	157
query7	4592	299	288	288
query8	322	287	294	287
query9	8561	2431	2425	2425
query10	461	290	277	277
query11	10653	10021	9978	9978
query12	142	87	88	87
query13	1656	360	363	360
query14	9513	7752	7309	7309
query15	233	194	182	182
query16	7866	262	282	262
query17	1807	531	514	514
query18	1971	275	278	275
query19	203	155	158	155
query20	96	85	85	85
query21	208	128	129	128
query22	4106	3913	3973	3913
query23	33598	32986	33055	32986
query24	10794	2871	2839	2839
query25	572	376	367	367
query26	711	154	156	154
query27	2247	315	329	315
query28	5755	2108	2123	2108
query29	881	603	615	603
query30	262	151	151	151
query31	1014	755	739	739
query32	91	53	56	53
query33	683	274	271	271
query34	873	493	482	482
query35	696	607	614	607
query36	1056	909	922	909
query37	107	71	66	66
query38	2923	2753	2768	2753
query39	841	808	835	808
query40	207	125	125	125
query41	54	55	50	50
query42	107	99	99	99
query43	587	551	524	524
query44	1103	751	769	751
query45	185	174	174	174
query46	1060	717	702	702
query47	1876	1777	1782	1777
query48	367	300	307	300
query49	1030	397	404	397
query50	768	399	400	399
query51	6741	6696	6634	6634
query52	110	90	97	90
query53	356	291	302	291
query54	866	461	454	454
query55	76	76	76	76
query56	274	244	287	244
query57	1131	1065	1080	1065
query58	242	218	206	206
query59	3384	3086	3105	3086
query60	304	265	271	265
query61	96	94	95	94
query62	663	437	447	437
query63	317	289	301	289
query64	8580	2315	1900	1900
query65	3190	3088	3150	3088
query66	853	348	354	348
query67	15400	14829	14870	14829
query68	4637	544	537	537
query69	463	285	280	280
query70	1140	1177	1127	1127
query71	368	270	259	259
query72	7553	5344	5704	5344
query73	718	331	325	325
query74	5981	5710	5636	5636
query75	3309	2597	2622	2597
query76	2439	1081	1068	1068
query77	405	271	275	271
query78	10465	9866	10007	9866
query79	2117	517	526	517
query80	998	449	435	435
query81	545	219	219	219
query82	647	91	94	91
query83	249	219	179	179
query84	242	86	88	86
query85	1694	290	309	290
query86	482	310	303	303
query87	3364	3137	3106	3106
query88	4103	2397	2411	2397
query89	476	380	389	380
query90	1999	186	188	186
query91	132	97	100	97
query92	59	50	53	50
query93	2451	521	506	506
query94	1211	195	186	186
query95	407	311	305	305
query96	596	267	273	267
query97	3271	2991	3007	2991
query98	214	201	201	201
query99	1205	860	853	853
Total cold run time: 267382 ms
Total hot run time: 172906 ms

doris-robot avatar May 31 '24 11:05 doris-robot

ClickBench: Total hot run time: 30.7 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 36916ade15e7de8ab38f2098725f429bc23f92b7, data reload: false

query1	0.05	0.03	0.03
query2	0.08	0.04	0.04
query3	0.23	0.05	0.06
query4	1.67	0.07	0.07
query5	0.51	0.47	0.50
query6	1.13	0.72	0.73
query7	0.02	0.01	0.01
query8	0.05	0.05	0.04
query9	0.55	0.49	0.49
query10	0.54	0.55	0.55
query11	0.15	0.11	0.12
query12	0.14	0.12	0.12
query13	0.59	0.58	0.59
query14	0.77	0.76	0.79
query15	0.83	0.80	0.81
query16	0.36	0.35	0.36
query17	1.03	1.03	1.01
query18	0.20	0.25	0.23
query19	1.89	1.67	1.75
query20	0.02	0.01	0.00
query21	15.74	0.69	0.67
query22	3.87	7.39	2.11
query23	18.32	1.32	1.19
query24	2.19	0.22	0.22
query25	0.15	0.08	0.09
query26	0.25	0.17	0.17
query27	0.08	0.08	0.08
query28	13.24	1.03	1.00
query29	13.22	3.43	3.33
query30	0.25	0.06	0.05
query31	2.87	0.37	0.38
query32	3.28	0.47	0.46
query33	2.88	2.89	2.92
query34	17.07	4.43	4.44
query35	4.48	4.50	4.64
query36	0.66	0.48	0.48
query37	0.18	0.15	0.16
query38	0.15	0.14	0.15
query39	0.04	0.03	0.04
query40	0.17	0.15	0.13
query41	0.10	0.05	0.04
query42	0.06	0.04	0.04
query43	0.04	0.04	0.04
Total cold run time: 110.1 s
Total hot run time: 30.7 s

doris-robot avatar May 31 '24 11:05 doris-robot

run buildall

Mryange avatar Jun 02 '24 12:06 Mryange

TPC-H: Total hot run time: 41926 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit bdf3e9e0a14cb1c38a143aab500c1cd6c94e2b9d, data reload: false

------ Round 1 ----------------------------------
q1	17612	4315	4289	4289
q2	2034	190	195	190
q3	10445	1241	1161	1161
q4	10190	877	832	832
q5	7530	2716	2745	2716
q6	242	136	131	131
q7	976	636	613	613
q8	9212	2168	2147	2147
q9	9387	6756	6786	6756
q10	9750	3910	3851	3851
q11	448	243	244	243
q12	474	238	227	227
q13	17235	3190	3279	3190
q14	285	238	230	230
q15	511	462	465	462
q16	493	388	384	384
q17	984	613	667	613
q18	8509	7962	7793	7793
q19	6480	1476	1542	1476
q20	658	326	327	326
q21	5219	4028	3962	3962
q22	412	334	353	334
Total cold run time: 119086 ms
Total hot run time: 41926 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4621	4495	4414	4414
q2	375	260	270	260
q3	3162	2959	3013	2959
q4	1915	1675	1670	1670
q5	5498	5555	5547	5547
q6	218	123	123	123
q7	2215	1855	1802	1802
q8	3255	3414	3387	3387
q9	8629	8650	8759	8650
q10	4146	3888	3711	3711
q11	592	489	474	474
q12	771	616	658	616
q13	15884	3210	3146	3146
q14	308	274	274	274
q15	518	506	482	482
q16	480	440	424	424
q17	1826	1512	1514	1512
q18	8134	7524	7385	7385
q19	1793	1494	1590	1494
q20	3031	1794	1802	1794
q21	4895	4884	4642	4642
q22	639	560	530	530
Total cold run time: 72905 ms
Total hot run time: 55296 ms

doris-robot avatar Jun 02 '24 13:06 doris-robot

TPC-DS: Total hot run time: 171529 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit bdf3e9e0a14cb1c38a143aab500c1cd6c94e2b9d, data reload: false

query1	927	374	376	374
query2	6453	2500	2500	2500
query3	6641	204	202	202
query4	19259	17362	17486	17362
query5	4129	451	456	451
query6	247	163	156	156
query7	4591	306	299	299
query8	294	288	285	285
query9	8643	2351	2343	2343
query10	442	318	272	272
query11	10741	10138	9940	9940
query12	139	93	85	85
query13	1662	371	368	368
query14	9342	6374	7600	6374
query15	245	188	187	187
query16	7816	267	275	267
query17	1736	527	515	515
query18	1950	265	271	265
query19	194	156	151	151
query20	91	91	84	84
query21	208	133	129	129
query22	4245	3969	3994	3969
query23	33837	32934	33102	32934
query24	10883	2826	2824	2824
query25	610	345	359	345
query26	1205	158	150	150
query27	3007	347	326	326
query28	7365	2070	2052	2052
query29	871	602	610	602
query30	278	150	148	148
query31	961	747	768	747
query32	91	50	56	50
query33	762	281	270	270
query34	990	471	467	467
query35	737	638	616	616
query36	1113	969	942	942
query37	160	67	67	67
query38	2865	2770	2725	2725
query39	888	785	791	785
query40	203	123	122	122
query41	59	52	51	51
query42	126	98	105	98
query43	583	534	553	534
query44	1238	736	751	736
query45	196	163	170	163
query46	1078	722	706	706
query47	1845	1734	1776	1734
query48	381	301	301	301
query49	990	400	405	400
query50	770	379	382	379
query51	6797	6609	6671	6609
query52	100	91	89	89
query53	356	286	283	283
query54	863	457	445	445
query55	77	73	71	71
query56	282	295	248	248
query57	1119	1054	1075	1054
query58	262	231	263	231
query59	3332	3057	3163	3057
query60	298	273	259	259
query61	91	88	85	85
query62	646	439	453	439
query63	328	289	289	289
query64	8917	2211	1709	1709
query65	3205	3085	3130	3085
query66	825	320	327	320
query67	15259	14824	14847	14824
query68	4491	558	547	547
query69	468	328	312	312
query70	1111	1152	1146	1146
query71	398	266	281	266
query72	7038	5519	5394	5394
query73	737	321	325	321
query74	5972	5472	5464	5464
query75	3292	2623	2684	2623
query76	2516	858	937	858
query77	496	289	286	286
query78	10343	9841	9746	9746
query79	1994	512	511	511
query80	722	460	453	453
query81	587	227	214	214
query82	1179	101	104	101
query83	182	162	162	162
query84	255	83	86	83
query85	1353	264	265	264
query86	464	311	301	301
query87	3301	3101	3085	3085
query88	4152	2428	2421	2421
query89	485	382	397	382
query90	1901	187	184	184
query91	124	97	95	95
query92	58	51	49	49
query93	2130	528	510	510
query94	1233	184	179	179
query95	406	308	314	308
query96	586	278	268	268
query97	3197	3051	3034	3034
query98	213	201	195	195
query99	1265	818	832	818
Total cold run time: 269493 ms
Total hot run time: 171529 ms

doris-robot avatar Jun 02 '24 13:06 doris-robot

ClickBench: Total hot run time: 30.61 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit bdf3e9e0a14cb1c38a143aab500c1cd6c94e2b9d, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.03	0.04
query3	0.24	0.06	0.06
query4	1.65	0.08	0.08
query5	0.51	0.49	0.49
query6	1.12	0.73	0.72
query7	0.02	0.01	0.01
query8	0.05	0.04	0.05
query9	0.54	0.49	0.49
query10	0.55	0.56	0.54
query11	0.14	0.11	0.11
query12	0.14	0.12	0.12
query13	0.59	0.58	0.62
query14	0.77	0.76	0.78
query15	0.83	0.82	0.81
query16	0.37	0.38	0.37
query17	1.03	1.02	1.03
query18	0.24	0.23	0.25
query19	1.89	1.81	1.73
query20	0.01	0.01	0.01
query21	15.71	0.67	0.65
query22	4.28	6.78	1.87
query23	18.28	1.42	1.24
query24	2.11	0.22	0.21
query25	0.16	0.08	0.08
query26	0.25	0.17	0.17
query27	0.08	0.08	0.09
query28	13.25	1.01	1.00
query29	12.88	3.42	3.39
query30	0.24	0.05	0.05
query31	2.87	0.38	0.39
query32	3.28	0.47	0.46
query33	2.85	2.90	2.95
query34	17.17	4.42	4.40
query35	4.48	4.56	4.44
query36	0.68	0.51	0.48
query37	0.18	0.16	0.15
query38	0.16	0.14	0.15
query39	0.04	0.03	0.03
query40	0.17	0.14	0.14
query41	0.08	0.04	0.04
query42	0.05	0.05	0.04
query43	0.04	0.04	0.04
Total cold run time: 110.1 s
Total hot run time: 30.61 s

doris-robot avatar Jun 02 '24 13:06 doris-robot

TeamCity be ut coverage result: Function Coverage: 36.25% (9234/25474) Line Coverage: 27.59% (75689/274331) Region Coverage: 26.81% (39184/146172) Branch Coverage: 23.53% (19858/84378) Coverage Report: http://coverage.selectdb-in.cc/coverage/bdf3e9e0a14cb1c38a143aab500c1cd6c94e2b9d_bdf3e9e0a14cb1c38a143aab500c1cd6c94e2b9d/report/index.html

doris-robot avatar Jun 02 '24 13:06 doris-robot

run buildall

Mryange avatar Jun 02 '24 15:06 Mryange

clang-tidy review says "All clean, LGTM! :+1:"

github-actions[bot] avatar Jun 02 '24 15:06 github-actions[bot]

TeamCity be ut coverage result: Function Coverage: 36.25% (9234/25475) Line Coverage: 27.59% (75705/274346) Region Coverage: 26.81% (39202/146223) Branch Coverage: 23.53% (19859/84390) Coverage Report: http://coverage.selectdb-in.cc/coverage/68da8b3f9a5f675441658db45d2792f787f84f98_68da8b3f9a5f675441658db45d2792f787f84f98/report/index.html

doris-robot avatar Jun 02 '24 16:06 doris-robot

run performance

Mryange avatar Jun 03 '24 00:06 Mryange

TPC-H: Total hot run time: 40852 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 68da8b3f9a5f675441658db45d2792f787f84f98, data reload: false

------ Round 1 ----------------------------------
q1	17628	4394	4265	4265
q2	2036	203	192	192
q3	10443	1289	1096	1096
q4	10189	881	768	768
q5	7509	2724	2759	2724
q6	220	138	144	138
q7	982	633	627	627
q8	9230	2115	2073	2073
q9	9234	6703	6734	6703
q10	9177	3911	3948	3911
q11	442	251	249	249
q12	428	235	240	235
q13	17273	3217	3255	3217
q14	267	227	234	227
q15	544	467	480	467
q16	492	378	381	378
q17	970	517	643	517
q18	8311	7826	7882	7826
q19	7322	1212	1508	1212
q20	657	322	326	322
q21	5093	3360	4181	3360
q22	404	345	362	345
Total cold run time: 118851 ms
Total hot run time: 40852 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4503	4480	4585	4480
q2	392	260	290	260
q3	3173	2950	2935	2935
q4	2049	1600	1589	1589
q5	5405	5497	5548	5497
q6	225	125	126	125
q7	2206	1841	1778	1778
q8	3188	3404	3450	3404
q9	8692	8654	8648	8648
q10	4110	3886	3793	3793
q11	571	488	492	488
q12	787	586	589	586
q13	15935	3119	3179	3119
q14	306	265	271	265
q15	522	479	477	477
q16	460	433	428	428
q17	1788	1522	1498	1498
q18	8014	7967	7358	7358
q19	1729	1540	1554	1540
q20	3029	1790	1795	1790
q21	5756	4616	4746	4616
q22	929	517	534	517
Total cold run time: 73769 ms
Total hot run time: 55191 ms

doris-robot avatar Jun 03 '24 00:06 doris-robot

TPC-DS: Total hot run time: 173145 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 68da8b3f9a5f675441658db45d2792f787f84f98, data reload: false

query1	927	388	384	384
query2	6460	2424	2384	2384
query3	6645	204	209	204
query4	19032	17382	17360	17360
query5	4156	454	459	454
query6	246	156	163	156
query7	4588	298	294	294
query8	312	288	282	282
query9	8632	2366	2332	2332
query10	443	305	283	283
query11	10332	10089	9887	9887
query12	137	82	85	82
query13	1653	364	368	364
query14	10164	7821	7681	7681
query15	248	187	187	187
query16	7809	264	280	264
query17	1356	532	525	525
query18	1910	276	277	276
query19	193	160	156	156
query20	96	88	87	87
query21	211	141	125	125
query22	4199	3961	3923	3923
query23	33794	33013	33178	33013
query24	11331	2884	2862	2862
query25	606	357	374	357
query26	1214	161	162	161
query27	2895	314	318	314
query28	7378	2023	2033	2023
query29	910	617	615	615
query30	270	151	152	151
query31	1011	762	735	735
query32	92	58	53	53
query33	746	312	278	278
query34	916	476	477	476
query35	729	610	634	610
query36	1057	942	944	942
query37	151	68	74	68
query38	2843	2719	2703	2703
query39	885	794	791	791
query40	204	128	125	125
query41	56	54	51	51
query42	128	100	100	100
query43	589	593	548	548
query44	1189	747	746	746
query45	196	164	167	164
query46	1073	766	726	726
query47	1836	1752	1797	1752
query48	379	305	300	300
query49	982	420	461	420
query50	782	396	397	396
query51	6847	6668	6742	6668
query52	101	91	91	91
query53	359	302	296	296
query54	886	451	443	443
query55	75	76	73	73
query56	287	251	277	251
query57	1154	1083	1103	1083
query58	275	238	238	238
query59	3434	3067	3249	3067
query60	292	287	280	280
query61	93	87	93	87
query62	623	428	448	428
query63	320	298	293	293
query64	9410	2299	1749	1749
query65	3206	3137	3123	3123
query66	1200	338	330	330
query67	15523	15174	14772	14772
query68	4612	551	544	544
query69	571	490	396	396
query70	1204	1123	1169	1123
query71	427	270	317	270
query72	7889	5200	5567	5200
query73	766	325	326	325
query74	5844	5565	5499	5499
query75	3483	2674	2722	2674
query76	2794	1014	934	934
query77	641	297	291	291
query78	10256	9971	9708	9708
query79	1980	535	539	535
query80	1889	476	468	468
query81	564	225	225	225
query82	667	103	105	103
query83	287	169	183	169
query84	260	89	86	86
query85	1246	286	277	277
query86	450	315	301	301
query87	3272	3053	3110	3053
query88	3761	2444	2471	2444
query89	492	408	397	397
query90	1759	198	199	198
query91	210	100	99	99
query92	62	49	49	49
query93	1897	532	507	507
query94	1234	194	187	187
query95	396	318	323	318
query96	587	271	265	265
query97	3179	3057	3044	3044
query98	237	201	194	194
query99	1190	846	820	820
Total cold run time: 272182 ms
Total hot run time: 173145 ms

doris-robot avatar Jun 03 '24 01:06 doris-robot