doris icon indicating copy to clipboard operation
doris copied to clipboard

[refine](exchange) refine exchange sink/ buffer code

Open Mryange opened this issue 1 year ago • 87 comments

Proposed changes

Issue Number: close #xxx

Mryange avatar Oct 16 '24 08:10 Mryange

Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.

doris-robot avatar Oct 16 '24 08:10 doris-robot

run buildall

Mryange avatar Oct 16 '24 08:10 Mryange

clang-tidy review says "All clean, LGTM! :+1:"

github-actions[bot] avatar Oct 16 '24 08:10 github-actions[bot]

TeamCity be ut coverage result: Function Coverage: 37.47% (9709/25914) Line Coverage: 28.74% (80637/280605) Region Coverage: 28.17% (41718/148070) Branch Coverage: 24.75% (21212/85698) Coverage Report: http://coverage.selectdb-in.cc/coverage/53c2d4ccb98e809d4137af9ce4f2e2d68cae8946_53c2d4ccb98e809d4137af9ce4f2e2d68cae8946/report/index.html

doris-robot avatar Oct 16 '24 08:10 doris-robot

TPC-H: Total hot run time: 41443 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 53c2d4ccb98e809d4137af9ce4f2e2d68cae8946, data reload: false

------ Round 1 ----------------------------------
q1	17589	7401	7292	7292
q2	2041	289	286	286
q3	12024	1058	1178	1058
q4	10576	898	843	843
q5	7752	3079	3036	3036
q6	236	155	159	155
q7	1021	619	609	609
q8	9367	1942	1999	1942
q9	6542	6485	6434	6434
q10	7056	2439	2403	2403
q11	443	248	245	245
q12	422	222	232	222
q13	17787	3017	2967	2967
q14	237	216	217	216
q15	588	521	511	511
q16	656	592	570	570
q17	982	477	513	477
q18	7265	6763	6834	6763
q19	1346	1034	1037	1034
q20	472	186	186	186
q21	3965	3198	3225	3198
q22	1093	1004	996	996
Total cold run time: 109460 ms
Total hot run time: 41443 ms

----- Round 2, with runtime_filter_mode=off -----
q1	7327	7231	7222	7222
q2	330	240	234	234
q3	3022	2888	2923	2888
q4	2096	1869	1836	1836
q5	5794	5789	5784	5784
q6	238	144	146	144
q7	2251	1854	1775	1775
q8	3415	3507	3456	3456
q9	8980	8932	8958	8932
q10	3589	3564	3581	3564
q11	573	489	490	489
q12	884	664	607	607
q13	9636	3268	3223	3223
q14	301	290	288	288
q15	569	538	522	522
q16	697	642	632	632
q17	1842	1637	1593	1593
q18	8403	7859	7764	7764
q19	1753	1563	1423	1423
q20	2104	1875	1865	1865
q21	5635	5432	5488	5432
q22	1159	1086	1041	1041
Total cold run time: 70598 ms
Total hot run time: 60714 ms

doris-robot avatar Oct 16 '24 08:10 doris-robot

TPC-DS: Total hot run time: 192038 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 53c2d4ccb98e809d4137af9ce4f2e2d68cae8946, data reload: false

query1	876	389	408	389
query2	6234	2093	2015	2015
query3	8697	193	213	193
query4	34250	23707	23506	23506
query5	3691	498	484	484
query6	273	167	162	162
query7	4189	287	289	287
query8	283	227	238	227
query9	9566	2744	2751	2744
query10	486	284	285	284
query11	17839	15393	15310	15310
query12	150	109	98	98
query13	1569	407	398	398
query14	10629	7955	6888	6888
query15	242	174	178	174
query16	8007	497	478	478
query17	1578	593	587	587
query18	2110	305	314	305
query19	363	155	157	155
query20	124	112	117	112
query21	211	109	109	109
query22	4764	4450	4646	4450
query23	35092	34464	34273	34273
query24	10954	2735	2785	2735
query25	622	411	409	409
query26	1128	165	167	165
query27	2278	287	291	287
query28	7549	2426	2419	2419
query29	816	435	422	422
query30	258	156	152	152
query31	1034	804	814	804
query32	97	56	56	56
query33	769	284	293	284
query34	928	508	515	508
query35	895	752	761	752
query36	1101	957	942	942
query37	153	89	91	89
query38	4033	3900	3925	3900
query39	1481	1449	1442	1442
query40	217	104	101	101
query41	47	44	45	44
query42	123	104	108	104
query43	551	479	493	479
query44	1267	819	821	819
query45	197	165	163	163
query46	1142	686	695	686
query47	1930	1805	1825	1805
query48	427	331	319	319
query49	923	427	439	427
query50	830	400	393	393
query51	7036	6969	7013	6969
query52	103	88	96	88
query53	268	184	181	181
query54	1138	434	426	426
query55	81	82	87	82
query56	292	289	295	289
query57	1287	1155	1132	1132
query58	239	235	232	232
query59	3152	3125	2983	2983
query60	293	273	276	273
query61	107	98	98	98
query62	895	685	653	653
query63	230	190	190	190
query64	3952	651	622	622
query65	3281	3198	3243	3198
query66	843	303	323	303
query67	15823	15664	15706	15664
query68	4748	548	567	548
query69	448	294	290	290
query70	1188	1144	1070	1070
query71	339	280	272	272
query72	7044	3996	4011	3996
query73	797	357	356	356
query74	10385	9261	8968	8968
query75	3443	2660	2691	2660
query76	2697	952	903	903
query77	559	317	295	295
query78	10808	9750	9657	9657
query79	2101	590	599	590
query80	1801	463	462	462
query81	592	238	237	237
query82	692	138	139	138
query83	295	138	131	131
query84	284	71	72	71
query85	1531	294	284	284
query86	440	289	267	267
query87	4590	4388	4384	4384
query88	3419	2199	2179	2179
query89	399	295	286	286
query90	2098	187	190	187
query91	135	98	99	98
query92	65	48	52	48
query93	1725	531	531	531
query94	1167	285	295	285
query95	350	257	250	250
query96	626	273	287	273
query97	3292	3105	3149	3105
query98	225	202	193	193
query99	1615	1318	1307	1307
Total cold run time: 301891 ms
Total hot run time: 192038 ms

doris-robot avatar Oct 16 '24 09:10 doris-robot

ClickBench: Total hot run time: 32.57 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 53c2d4ccb98e809d4137af9ce4f2e2d68cae8946, data reload: false

query1	0.03	0.03	0.02
query2	0.06	0.03	0.02
query3	0.23	0.07	0.06
query4	1.63	0.10	0.11
query5	0.50	0.50	0.49
query6	1.14	0.72	0.72
query7	0.02	0.02	0.02
query8	0.03	0.03	0.02
query9	0.56	0.49	0.49
query10	0.54	0.54	0.54
query11	0.14	0.11	0.10
query12	0.14	0.10	0.10
query13	0.63	0.58	0.60
query14	2.74	2.72	2.79
query15	0.87	0.82	0.83
query16	0.38	0.37	0.38
query17	1.01	0.99	1.01
query18	0.20	0.19	0.20
query19	1.86	1.85	1.87
query20	0.02	0.01	0.01
query21	15.35	0.57	0.56
query22	2.60	2.54	1.98
query23	17.00	0.78	0.80
query24	2.95	0.90	1.35
query25	0.30	0.10	0.06
query26	0.45	0.13	0.13
query27	0.04	0.04	0.04
query28	10.66	1.08	1.06
query29	12.56	3.25	3.23
query30	0.25	0.06	0.06
query31	2.87	0.39	0.37
query32	3.28	0.46	0.45
query33	2.99	3.03	3.00
query34	17.18	4.45	4.47
query35	4.44	4.50	4.52
query36	0.65	0.50	0.49
query37	0.08	0.06	0.05
query38	0.04	0.03	0.03
query39	0.03	0.02	0.02
query40	0.16	0.13	0.13
query41	0.08	0.02	0.03
query42	0.04	0.02	0.02
query43	0.03	0.03	0.03
Total cold run time: 106.76 s
Total hot run time: 32.57 s

doris-robot avatar Oct 16 '24 09:10 doris-robot

run buildall

Mryange avatar Oct 16 '24 10:10 Mryange

clang-tidy review says "All clean, LGTM! :+1:"

github-actions[bot] avatar Oct 16 '24 10:10 github-actions[bot]

run buildall

Mryange avatar Oct 16 '24 10:10 Mryange

clang-tidy review says "All clean, LGTM! :+1:"

github-actions[bot] avatar Oct 16 '24 10:10 github-actions[bot]

TPC-H: Total hot run time: 41206 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 57c6a33b9c9443482165171e92a548892b3e4d8f, data reload: false

------ Round 1 ----------------------------------
q1	17575	7885	7330	7330
q2	2059	155	157	155
q3	10578	1123	1162	1123
q4	10223	826	764	764
q5	7729	3085	3003	3003
q6	245	155	153	153
q7	1044	607	605	605
q8	9352	1915	1995	1915
q9	6680	6432	6460	6432
q10	7058	2408	2493	2408
q11	447	248	256	248
q12	414	224	221	221
q13	17803	3001	3005	3001
q14	258	217	207	207
q15	574	528	522	522
q16	664	576	583	576
q17	971	501	484	484
q18	7446	6953	6782	6782
q19	1358	1039	944	944
q20	479	183	184	183
q21	4260	3216	3177	3177
q22	1095	1012	973	973
Total cold run time: 108312 ms
Total hot run time: 41206 ms

----- Round 2, with runtime_filter_mode=off -----
q1	7314	7314	7282	7282
q2	322	231	233	231
q3	2936	2799	2862	2799
q4	1965	1718	1734	1718
q5	5467	5523	5526	5523
q6	229	140	142	140
q7	2136	1712	1746	1712
q8	3232	3395	3441	3395
q9	8525	8552	8574	8552
q10	3523	3473	3449	3449
q11	574	496	488	488
q12	817	632	620	620
q13	8550	3030	3055	3030
q14	306	261	274	261
q15	560	519	517	517
q16	683	632	641	632
q17	1823	1590	1584	1584
q18	7903	7545	7452	7452
q19	1682	1490	1518	1490
q20	2043	1782	1801	1782
q21	5472	5319	5277	5277
q22	1122	1016	1023	1016
Total cold run time: 67184 ms
Total hot run time: 58950 ms

doris-robot avatar Oct 16 '24 10:10 doris-robot

TeamCity be ut coverage result: Function Coverage: 37.46% (9709/25919) Line Coverage: 28.74% (80647/280614) Region Coverage: 28.17% (41714/148085) Branch Coverage: 24.75% (21214/85700) Coverage Report: http://coverage.selectdb-in.cc/coverage/57c6a33b9c9443482165171e92a548892b3e4d8f_57c6a33b9c9443482165171e92a548892b3e4d8f/report/index.html

doris-robot avatar Oct 16 '24 10:10 doris-robot

TPC-DS: Total hot run time: 191802 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 57c6a33b9c9443482165171e92a548892b3e4d8f, data reload: false

query1	962	378	374	374
query2	6540	2069	2049	2049
query3	6786	209	218	209
query4	34266	23588	23579	23579
query5	4317	470	471	470
query6	257	163	171	163
query7	4606	301	300	300
query8	298	235	225	225
query9	9631	2703	2702	2702
query10	461	270	266	266
query11	18114	15345	15311	15311
query12	149	106	98	98
query13	1659	450	424	424
query14	10486	7499	7458	7458
query15	265	171	182	171
query16	7948	457	485	457
query17	1659	566	559	559
query18	2125	300	309	300
query19	373	158	149	149
query20	117	108	107	107
query21	217	108	110	108
query22	4545	4208	4195	4195
query23	35086	34028	33856	33856
query24	11158	2784	2769	2769
query25	676	410	421	410
query26	1314	168	161	161
query27	2820	289	292	289
query28	7974	2435	2417	2417
query29	915	435	430	430
query30	318	157	160	157
query31	1037	793	816	793
query32	103	57	61	57
query33	790	299	301	299
query34	967	528	554	528
query35	875	751	751	751
query36	1092	957	963	957
query37	160	92	92	92
query38	4099	3970	3925	3925
query39	1492	1431	1407	1407
query40	296	105	104	104
query41	49	45	46	45
query42	119	101	97	97
query43	548	493	470	470
query44	1202	807	801	801
query45	195	166	173	166
query46	1153	683	713	683
query47	1921	1794	1810	1794
query48	428	335	331	331
query49	1165	447	434	434
query50	799	381	393	381
query51	7055	6956	7015	6956
query52	99	91	87	87
query53	257	185	183	183
query54	1320	444	437	437
query55	80	80	78	78
query56	284	270	263	263
query57	1350	1170	1160	1160
query58	259	260	264	260
query59	3148	3012	3046	3012
query60	289	289	278	278
query61	135	129	98	98
query62	877	661	653	653
query63	222	187	184	184
query64	5354	645	602	602
query65	3277	3263	3186	3186
query66	1441	309	314	309
query67	15922	15667	15696	15667
query68	4421	591	552	552
query69	424	288	283	283
query70	1191	1093	1129	1093
query71	338	280	275	275
query72	6323	3931	4021	3931
query73	792	358	363	358
query74	10229	9038	8988	8988
query75	3415	2624	2701	2624
query76	2700	976	870	870
query77	426	303	300	300
query78	10626	9648	9622	9622
query79	2439	605	622	605
query80	1733	455	453	453
query81	579	242	238	238
query82	876	140	137	137
query83	259	139	147	139
query84	272	70	67	67
query85	1511	303	274	274
query86	469	300	308	300
query87	4480	4303	4248	4248
query88	3746	2240	2223	2223
query89	408	287	296	287
query90	2069	185	185	185
query91	138	98	98	98
query92	73	48	48	48
query93	1633	544	535	535
query94	1142	289	280	280
query95	349	239	241	239
query96	619	287	291	287
query97	3274	3120	3084	3084
query98	229	201	190	190
query99	1768	1298	1304	1298
Total cold run time: 304852 ms
Total hot run time: 191802 ms

doris-robot avatar Oct 16 '24 10:10 doris-robot

ClickBench: Total hot run time: 33.27 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 57c6a33b9c9443482165171e92a548892b3e4d8f, data reload: false

query1	0.03	0.04	0.04
query2	0.07	0.02	0.03
query3	0.23	0.06	0.06
query4	1.64	0.10	0.10
query5	0.49	0.50	0.51
query6	1.14	0.72	0.73
query7	0.02	0.02	0.01
query8	0.04	0.03	0.04
query9	0.57	0.50	0.51
query10	0.55	0.56	0.55
query11	0.14	0.11	0.10
query12	0.13	0.13	0.11
query13	0.60	0.59	0.59
query14	2.83	2.71	2.79
query15	0.89	0.83	0.82
query16	0.39	0.37	0.38
query17	1.05	1.00	1.05
query18	0.23	0.22	0.21
query19	1.95	1.88	2.07
query20	0.01	0.01	0.01
query21	15.38	0.56	0.58
query22	2.44	2.41	2.70
query23	16.91	1.19	0.81
query24	2.59	1.02	1.52
query25	0.18	0.09	0.14
query26	0.53	0.14	0.13
query27	0.04	0.04	0.04
query28	10.53	1.09	1.08
query29	12.52	3.24	3.22
query30	0.26	0.06	0.07
query31	2.87	0.39	0.37
query32	3.28	0.45	0.46
query33	3.00	3.01	3.03
query34	16.93	4.43	4.51
query35	4.48	4.52	4.46
query36	0.69	0.51	0.48
query37	0.08	0.06	0.06
query38	0.05	0.04	0.04
query39	0.03	0.02	0.02
query40	0.16	0.13	0.14
query41	0.07	0.02	0.02
query42	0.03	0.02	0.02
query43	0.03	0.03	0.03
Total cold run time: 106.08 s
Total hot run time: 33.27 s

doris-robot avatar Oct 16 '24 11:10 doris-robot

run buildall

Mryange avatar Oct 16 '24 12:10 Mryange

clang-tidy review says "All clean, LGTM! :+1:"

github-actions[bot] avatar Oct 16 '24 12:10 github-actions[bot]

TeamCity be ut coverage result: Function Coverage: 37.46% (9709/25917) Line Coverage: 28.72% (80602/280610) Region Coverage: 28.17% (41708/148083) Branch Coverage: 24.75% (21209/85700) Coverage Report: http://coverage.selectdb-in.cc/coverage/71d1fa6e2e2e15a5ced30b535d0106db60ddabcf_71d1fa6e2e2e15a5ced30b535d0106db60ddabcf/report/index.html

doris-robot avatar Oct 16 '24 13:10 doris-robot

TPC-H: Total hot run time: 41402 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 71d1fa6e2e2e15a5ced30b535d0106db60ddabcf, data reload: false

------ Round 1 ----------------------------------
q1	17586	7552	7348	7348
q2	2050	279	271	271
q3	11883	1067	1235	1067
q4	10595	837	904	837
q5	7759	3143	3048	3048
q6	247	160	152	152
q7	1057	610	614	610
q8	9362	1995	1914	1914
q9	6575	6477	6494	6477
q10	7068	2416	2479	2416
q11	467	250	256	250
q12	432	224	218	218
q13	17795	2998	2978	2978
q14	241	206	227	206
q15	569	528	530	528
q16	643	579	584	579
q17	997	571	556	556
q18	7358	6827	6704	6704
q19	1359	1001	1025	1001
q20	491	186	188	186
q21	3975	3386	3050	3050
q22	1109	1029	1006	1006
Total cold run time: 109618 ms
Total hot run time: 41402 ms

----- Round 2, with runtime_filter_mode=off -----
q1	7359	7346	7322	7322
q2	326	237	249	237
q3	3091	2969	2974	2969
q4	2079	1824	1843	1824
q5	5771	5811	5837	5811
q6	244	148	149	148
q7	2275	1868	1796	1796
q8	3415	3508	3511	3508
q9	8977	8896	8984	8896
q10	3633	3573	3538	3538
q11	590	488	488	488
q12	857	652	623	623
q13	10157	3187	3185	3185
q14	295	270	265	265
q15	592	541	512	512
q16	704	640	658	640
q17	1855	1598	1620	1598
q18	8431	7752	7489	7489
q19	1731	1400	1593	1400
q20	2094	1900	1895	1895
q21	5609	5528	5437	5437
q22	1153	1084	1050	1050
Total cold run time: 71238 ms
Total hot run time: 60631 ms

doris-robot avatar Oct 16 '24 13:10 doris-robot

TPC-DS: Total hot run time: 192183 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 71d1fa6e2e2e15a5ced30b535d0106db60ddabcf, data reload: false

query1	893	395	403	395
query2	6279	2099	2011	2011
query3	8683	189	202	189
query4	34140	23586	23488	23488
query5	3721	481	458	458
query6	287	177	187	177
query7	4193	299	303	299
query8	299	244	235	235
query9	9115	2735	2751	2735
query10	448	276	273	273
query11	18078	15219	15160	15160
query12	162	99	104	99
query13	1556	426	400	400
query14	9750	7493	7491	7491
query15	270	170	181	170
query16	8072	451	505	451
query17	1681	619	586	586
query18	2168	313	313	313
query19	402	155	153	153
query20	120	109	121	109
query21	213	110	107	107
query22	4800	4617	4757	4617
query23	34861	34079	34103	34079
query24	10984	2730	2778	2730
query25	634	411	410	410
query26	1096	160	171	160
query27	2341	282	287	282
query28	7299	2434	2402	2402
query29	825	430	433	430
query30	256	163	155	155
query31	1044	809	804	804
query32	99	55	57	55
query33	762	304	299	299
query34	928	504	508	504
query35	926	774	760	760
query36	1107	942	940	940
query37	152	84	86	84
query38	4134	3898	3888	3888
query39	1488	1451	1430	1430
query40	207	98	101	98
query41	48	44	47	44
query42	124	106	99	99
query43	524	496	474	474
query44	1236	808	812	808
query45	196	168	170	168
query46	1125	715	715	715
query47	1973	1858	1871	1858
query48	431	319	337	319
query49	917	439	430	430
query50	840	379	381	379
query51	7156	7037	6822	6822
query52	105	90	90	90
query53	257	178	180	178
query54	1188	410	427	410
query55	80	75	78	75
query56	270	253	281	253
query57	1302	1180	1141	1141
query58	226	233	223	223
query59	3223	3038	3228	3038
query60	287	264	264	264
query61	104	104	99	99
query62	893	683	672	672
query63	215	190	185	185
query64	3975	633	624	624
query65	3263	3255	3217	3217
query66	857	312	306	306
query67	15906	15686	15600	15600
query68	4550	568	560	560
query69	528	287	306	287
query70	1237	1129	1084	1084
query71	367	273	272	272
query72	7413	3983	3987	3983
query73	776	357	355	355
query74	10446	9000	9014	9000
query75	3546	2638	2676	2638
query76	3308	895	910	895
query77	411	289	289	289
query78	10559	9698	9698	9698
query79	2314	594	613	594
query80	2511	440	452	440
query81	597	236	235	235
query82	625	136	142	136
query83	288	134	136	134
query84	269	72	69	69
query85	1270	293	278	278
query86	357	296	295	295
query87	4658	4440	4301	4301
query88	3635	2199	2174	2174
query89	412	286	287	286
query90	2233	187	185	185
query91	133	100	106	100
query92	67	48	48	48
query93	1241	533	542	533
query94	1005	294	289	289
query95	352	253	246	246
query96	631	280	284	280
query97	3239	3126	3095	3095
query98	215	203	192	192
query99	1695	1319	1295	1295
Total cold run time: 302082 ms
Total hot run time: 192183 ms

doris-robot avatar Oct 16 '24 13:10 doris-robot

ClickBench: Total hot run time: 32.2 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 71d1fa6e2e2e15a5ced30b535d0106db60ddabcf, data reload: false

query1	0.03	0.03	0.03
query2	0.07	0.03	0.02
query3	0.22	0.06	0.06
query4	1.65	0.10	0.10
query5	0.52	0.50	0.51
query6	1.14	0.72	0.72
query7	0.02	0.02	0.02
query8	0.04	0.03	0.03
query9	0.56	0.50	0.49
query10	0.56	0.54	0.54
query11	0.15	0.11	0.11
query12	0.14	0.11	0.11
query13	0.61	0.60	0.59
query14	2.71	2.71	2.76
query15	0.90	0.83	0.82
query16	0.38	0.37	0.39
query17	1.03	0.98	1.03
query18	0.19	0.20	0.20
query19	1.86	1.79	1.98
query20	0.02	0.01	0.01
query21	15.35	0.58	0.57
query22	2.58	1.93	2.46
query23	17.15	0.85	0.73
query24	3.52	0.66	1.14
query25	0.19	0.10	0.07
query26	0.53	0.15	0.14
query27	0.04	0.05	0.05
query28	10.52	1.09	1.07
query29	12.55	3.28	3.21
query30	0.25	0.08	0.06
query31	2.86	0.38	0.37
query32	3.27	0.47	0.45
query33	2.97	3.01	3.04
query34	16.99	4.44	4.50
query35	4.45	4.50	4.50
query36	0.68	0.47	0.46
query37	0.08	0.06	0.05
query38	0.04	0.03	0.03
query39	0.03	0.02	0.02
query40	0.16	0.12	0.12
query41	0.08	0.02	0.03
query42	0.03	0.02	0.02
query43	0.03	0.02	0.02
Total cold run time: 107.15 s
Total hot run time: 32.2 s

doris-robot avatar Oct 16 '24 13:10 doris-robot

run buildall

Mryange avatar Oct 16 '24 15:10 Mryange

clang-tidy review says "All clean, LGTM! :+1:"

github-actions[bot] avatar Oct 16 '24 15:10 github-actions[bot]

TeamCity be ut coverage result: Function Coverage: 37.46% (9710/25919) Line Coverage: 28.73% (80632/280609) Region Coverage: 28.17% (41713/148085) Branch Coverage: 24.75% (21209/85698) Coverage Report: http://coverage.selectdb-in.cc/coverage/1e2f0cf35a6372a205902b5ddd1ea30034166e71_1e2f0cf35a6372a205902b5ddd1ea30034166e71/report/index.html

doris-robot avatar Oct 16 '24 16:10 doris-robot

TPC-H: Total hot run time: 41347 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 1e2f0cf35a6372a205902b5ddd1ea30034166e71, data reload: false

------ Round 1 ----------------------------------
q1	17827	7466	7312	7312
q2	2046	282	274	274
q3	12276	1073	1148	1073
q4	10571	833	898	833
q5	7754	3091	3051	3051
q6	241	149	148	148
q7	1039	610	615	610
q8	9353	1941	1946	1941
q9	6558	6522	6415	6415
q10	7071	2433	2422	2422
q11	444	245	252	245
q12	406	223	222	222
q13	17766	2999	3013	2999
q14	247	216	213	213
q15	563	526	538	526
q16	640	596	600	596
q17	993	537	520	520
q18	7347	6640	6885	6640
q19	1353	1066	942	942
q20	476	193	186	186
q21	4007	3255	3182	3182
q22	1109	997	1014	997
Total cold run time: 110087 ms
Total hot run time: 41347 ms

----- Round 2, with runtime_filter_mode=off -----
q1	7291	7260	7247	7247
q2	329	233	236	233
q3	3094	2947	2972	2947
q4	2115	1850	1808	1808
q5	5777	5785	5811	5785
q6	235	143	149	143
q7	2283	1836	1816	1816
q8	3392	3528	3460	3460
q9	8964	8956	8942	8942
q10	3617	3572	3577	3572
q11	592	495	484	484
q12	851	647	635	635
q13	10349	3199	3174	3174
q14	304	274	276	274
q15	576	535	531	531
q16	681	668	632	632
q17	1859	1639	1584	1584
q18	8369	7930	7697	7697
q19	1723	1374	1435	1374
q20	2165	1907	1840	1840
q21	5623	5630	5549	5549
q22	1156	1067	1058	1058
Total cold run time: 71345 ms
Total hot run time: 60785 ms

doris-robot avatar Oct 16 '24 16:10 doris-robot

TPC-DS: Total hot run time: 191534 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 1e2f0cf35a6372a205902b5ddd1ea30034166e71, data reload: false

query1	948	425	408	408
query2	6276	2066	2042	2042
query3	8685	193	200	193
query4	34101	23675	23769	23675
query5	3542	481	465	465
query6	278	162	168	162
query7	4190	296	295	295
query8	288	237	247	237
query9	9290	2747	2740	2740
query10	472	273	276	273
query11	17957	15262	15315	15262
query12	158	102	97	97
query13	1567	447	414	414
query14	8693	6566	7602	6566
query15	263	177	176	176
query16	8198	404	444	404
query17	1619	598	596	596
query18	2143	332	320	320
query19	307	155	157	155
query20	125	118	126	118
query21	219	107	108	107
query22	4707	4565	4454	4454
query23	35581	34112	34906	34112
query24	10879	2826	2775	2775
query25	622	412	399	399
query26	1222	164	162	162
query27	2314	295	289	289
query28	7527	2456	2447	2447
query29	841	430	421	421
query30	282	156	147	147
query31	1063	802	800	800
query32	101	56	54	54
query33	767	292	306	292
query34	922	508	506	506
query35	863	768	769	768
query36	1107	967	960	960
query37	172	87	90	87
query38	4016	3857	3829	3829
query39	1483	1436	1409	1409
query40	209	99	99	99
query41	49	45	44	44
query42	117	104	100	100
query43	528	497	500	497
query44	1255	806	806	806
query45	197	166	163	163
query46	1121	689	690	689
query47	1942	1830	1858	1830
query48	447	321	322	321
query49	945	437	430	430
query50	809	387	393	387
query51	7004	6999	6975	6975
query52	104	89	89	89
query53	261	182	178	178
query54	1171	430	438	430
query55	77	76	81	76
query56	275	269	262	262
query57	1326	1141	1168	1141
query58	251	224	224	224
query59	3242	3004	3139	3004
query60	279	264	256	256
query61	105	105	98	98
query62	821	668	668	668
query63	226	190	179	179
query64	4024	623	591	591
query65	3277	3208	3207	3207
query66	726	298	295	295
query67	16404	15559	15600	15559
query68	4498	571	555	555
query69	492	288	295	288
query70	1231	1183	1136	1136
query71	353	281	276	276
query72	7607	3974	3982	3974
query73	783	358	361	358
query74	10044	9000	9166	9000
query75	3528	2664	2654	2654
query76	3263	927	1005	927
query77	593	297	307	297
query78	10587	9701	9562	9562
query79	1990	600	591	591
query80	1558	441	445	441
query81	577	245	237	237
query82	711	137	141	137
query83	277	134	133	133
query84	269	71	68	68
query85	1544	282	279	279
query86	415	299	292	292
query87	4625	4333	4307	4307
query88	3445	2239	2182	2182
query89	401	288	283	283
query90	2048	184	186	184
query91	133	99	98	98
query92	62	54	48	48
query93	1922	535	538	535
query94	1016	289	294	289
query95	345	248	245	245
query96	628	271	287	271
query97	3278	3167	3157	3157
query98	218	210	198	198
query99	1571	1318	1323	1318
Total cold run time: 300992 ms
Total hot run time: 191534 ms

doris-robot avatar Oct 16 '24 16:10 doris-robot

ClickBench: Total hot run time: 32.69 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 1e2f0cf35a6372a205902b5ddd1ea30034166e71, data reload: false

query1	0.03	0.03	0.02
query2	0.07	0.03	0.03
query3	0.23	0.06	0.06
query4	1.64	0.10	0.10
query5	0.50	0.50	0.51
query6	1.13	0.72	0.73
query7	0.02	0.01	0.01
query8	0.04	0.03	0.03
query9	0.56	0.50	0.51
query10	0.56	0.55	0.54
query11	0.13	0.10	0.10
query12	0.13	0.11	0.11
query13	0.61	0.60	0.60
query14	2.70	2.72	2.72
query15	0.91	0.83	0.85
query16	0.38	0.38	0.42
query17	1.05	1.06	1.01
query18	0.20	0.20	0.21
query19	1.87	1.86	1.98
query20	0.02	0.01	0.01
query21	15.36	0.59	0.59
query22	2.21	2.02	2.30
query23	17.06	1.10	0.89
query24	2.84	0.74	1.23
query25	0.22	0.13	0.08
query26	0.59	0.13	0.14
query27	0.04	0.04	0.04
query28	10.96	1.09	1.07
query29	12.54	3.28	3.23
query30	0.24	0.06	0.06
query31	2.86	0.38	0.38
query32	3.29	0.46	0.46
query33	3.00	3.09	2.99
query34	16.73	4.48	4.43
query35	4.50	4.46	4.47
query36	0.65	0.49	0.51
query37	0.08	0.06	0.06
query38	0.05	0.03	0.04
query39	0.03	0.02	0.02
query40	0.15	0.13	0.13
query41	0.07	0.02	0.02
query42	0.04	0.02	0.02
query43	0.03	0.02	0.03
Total cold run time: 106.32 s
Total hot run time: 32.69 s

doris-robot avatar Oct 16 '24 16:10 doris-robot

run p0

Mryange avatar Oct 16 '24 23:10 Mryange

run buildall

Mryange avatar Oct 17 '24 01:10 Mryange

clang-tidy review says "All clean, LGTM! :+1:"

github-actions[bot] avatar Oct 17 '24 01:10 github-actions[bot]