doris icon indicating copy to clipboard operation
doris copied to clipboard

[feat](nereids)push Limit to local agg

Open englefly opened this issue 1 year ago • 57 comments

Proposed changes

for a pattern: topn(n)->globalAgg->localAgg this pr tries to add a filter on global/localAgg which means only the first n tuples are counted, and others could be ignored.

Issue Number: close #xxx

Further comments

If this is a relatively large or complex change, kick off the discussion at [email protected] by explaining why you chose the solution you did and what alternatives you considered, etc...

englefly avatar May 14 '24 11:05 englefly

Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.

doris-robot avatar May 14 '24 11:05 doris-robot

run buildall

englefly avatar May 14 '24 11:05 englefly

clang-tidy review says "All clean, LGTM! :+1:"

github-actions[bot] avatar May 14 '24 11:05 github-actions[bot]

clang-tidy review says "All clean, LGTM! :+1:"

github-actions[bot] avatar May 15 '24 08:05 github-actions[bot]

add description please

morrySnow avatar May 15 '24 08:05 morrySnow

clang-tidy review says "All clean, LGTM! :+1:"

github-actions[bot] avatar May 15 '24 10:05 github-actions[bot]

add description

morrySnow avatar May 21 '24 12:05 morrySnow

run buildall

englefly avatar May 22 '24 01:05 englefly

clang-tidy review says "All clean, LGTM! :+1:"

github-actions[bot] avatar May 22 '24 01:05 github-actions[bot]

TPC-H: Total hot run time: 42152 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit e9d6017c9dbf124d3af8c1cb73e23ad03eae6a3a, data reload: false

------ Round 1 ----------------------------------
q1	17606	5006	4316	4316
q2	2023	196	195	195
q3	10444	1163	1215	1163
q4	10194	861	835	835
q5	7461	2699	2707	2699
q6	222	134	134	134
q7	1043	602	610	602
q8	9246	2193	2105	2105
q9	9147	6760	6757	6757
q10	9178	3943	3882	3882
q11	459	242	251	242
q12	458	222	229	222
q13	17252	3210	3237	3210
q14	285	234	219	219
q15	528	467	468	467
q16	517	380	398	380
q17	989	669	649	649
q18	8569	7852	7999	7852
q19	6185	1585	1493	1493
q20	644	327	339	327
q21	5252	4185	4128	4128
q22	354	291	275	275
Total cold run time: 118056 ms
Total hot run time: 42152 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4545	4465	4439	4439
q2	380	281	266	266
q3	3174	2927	2755	2755
q4	1868	1607	1688	1607
q5	5536	5535	5498	5498
q6	212	121	128	121
q7	2336	1962	1978	1962
q8	3293	3426	3505	3426
q9	8713	8851	8642	8642
q10	3926	3857	3845	3845
q11	613	494	496	494
q12	812	617	603	603
q13	15955	3115	3197	3115
q14	300	284	270	270
q15	530	497	493	493
q16	507	418	429	418
q17	1787	1515	1466	1466
q18	7769	7650	7633	7633
q19	1667	1586	1515	1515
q20	2024	1789	1776	1776
q21	11576	4809	4951	4809
q22	563	497	460	460
Total cold run time: 78086 ms
Total hot run time: 55613 ms

doris-robot avatar May 22 '24 03:05 doris-robot

TPC-DS: Total hot run time: 181914 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit e9d6017c9dbf124d3af8c1cb73e23ad03eae6a3a, data reload: false

query1	913	394	385	385
query2	6434	2308	2437	2308
query3	6654	205	205	205
query4	23729	21263	21312	21263
query5	4140	420	416	416
query6	273	177	176	176
query7	4580	288	286	286
query8	243	192	195	192
query9	8535	2401	2385	2385
query10	424	249	246	246
query11	14660	14211	14159	14159
query12	133	89	87	87
query13	1637	380	375	375
query14	9670	8529	7722	7722
query15	226	184	180	180
query16	7133	260	256	256
query17	1032	549	548	548
query18	1915	295	269	269
query19	200	153	150	150
query20	93	104	85	85
query21	194	132	127	127
query22	5045	4846	4818	4818
query23	34474	33661	33429	33429
query24	5028	3018	2884	2884
query25	468	402	370	370
query26	692	155	155	155
query27	1845	319	332	319
query28	3844	2043	2044	2043
query29	843	610	592	592
query30	251	183	178	178
query31	920	769	739	739
query32	59	51	60	51
query33	379	249	241	241
query34	865	462	479	462
query35	770	721	665	665
query36	1043	950	899	899
query37	112	71	74	71
query38	2866	2777	2777	2777
query39	1620	1564	1568	1564
query40	198	134	127	127
query41	57	45	48	45
query42	106	95	101	95
query43	601	568	546	546
query44	1063	725	735	725
query45	269	257	244	244
query46	1052	729	734	729
query47	1938	1905	1895	1895
query48	375	309	297	297
query49	780	401	396	396
query50	768	393	375	375
query51	6880	6823	6782	6782
query52	108	90	88	88
query53	354	280	295	280
query54	558	429	432	429
query55	73	70	74	70
query56	235	225	225	225
query57	1231	1138	1147	1138
query58	226	200	200	200
query59	3732	3134	3396	3134
query60	250	236	235	235
query61	93	92	87	87
query62	577	460	483	460
query63	308	283	282	282
query64	2614	1840	1806	1806
query65	3162	3128	3125	3125
query66	688	355	350	350
query67	15248	14660	14844	14660
query68	4550	549	545	545
query69	483	307	310	307
query70	1173	1113	1147	1113
query71	430	274	273	273
query72	7234	2704	2515	2515
query73	723	317	318	317
query74	6647	6257	6204	6204
query75	3342	2644	2605	2605
query76	2334	1053	908	908
query77	449	273	277	273
query78	10735	10249	10287	10249
query79	2301	520	522	520
query80	873	446	445	445
query81	533	240	247	240
query82	809	101	102	101
query83	255	173	177	173
query84	267	93	88	88
query85	1151	326	313	313
query86	464	312	304	304
query87	3312	3129	3176	3129
query88	4067	2335	2333	2333
query89	477	383	387	383
query90	2073	196	191	191
query91	136	107	110	107
query92	66	51	50	50
query93	2045	511	500	500
query94	1133	188	188	188
query95	531	307	335	307
query96	592	263	268	263
query97	3203	2964	2972	2964
query98	243	228	219	219
query99	1225	898	885	885
Total cold run time: 261342 ms
Total hot run time: 181914 ms

doris-robot avatar May 22 '24 03:05 doris-robot

ClickBench: Total hot run time: 30.66 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit e9d6017c9dbf124d3af8c1cb73e23ad03eae6a3a, data reload: false

query1	0.04	0.04	0.03
query2	0.08	0.04	0.04
query3	0.23	0.05	0.06
query4	1.67	0.08	0.08
query5	0.50	0.48	0.50
query6	1.12	0.73	0.74
query7	0.02	0.01	0.02
query8	0.05	0.04	0.04
query9	0.53	0.50	0.49
query10	0.55	0.57	0.55
query11	0.15	0.11	0.11
query12	0.15	0.11	0.12
query13	0.60	0.59	0.59
query14	0.76	0.77	0.78
query15	0.82	0.81	0.81
query16	0.36	0.37	0.36
query17	0.95	1.04	0.98
query18	0.22	0.25	0.24
query19	1.84	1.72	1.71
query20	0.01	0.01	0.01
query21	15.49	0.68	0.66
query22	4.09	7.55	1.85
query23	18.25	1.38	1.34
query24	1.67	0.28	0.21
query25	0.15	0.09	0.09
query26	0.26	0.17	0.16
query27	0.08	0.08	0.08
query28	13.34	1.02	1.00
query29	12.74	3.30	3.26
query30	0.24	0.06	0.06
query31	2.86	0.38	0.38
query32	3.29	0.47	0.48
query33	2.85	2.94	2.90
query34	17.03	4.43	4.41
query35	4.53	4.53	4.54
query36	0.68	0.49	0.46
query37	0.18	0.16	0.16
query38	0.17	0.14	0.14
query39	0.04	0.04	0.04
query40	0.16	0.14	0.14
query41	0.09	0.04	0.05
query42	0.05	0.05	0.05
query43	0.04	0.04	0.04
Total cold run time: 108.93 s
Total hot run time: 30.66 s

doris-robot avatar May 22 '24 03:05 doris-robot

clang-tidy review says "All clean, LGTM! :+1:"

github-actions[bot] avatar May 22 '24 06:05 github-actions[bot]

run buildall

englefly avatar May 22 '24 08:05 englefly

clang-tidy review says "All clean, LGTM! :+1:"

github-actions[bot] avatar May 22 '24 09:05 github-actions[bot]

TPC-H: Total hot run time: 40308 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 8c1ead2da8d951d6396d7c5af18194600ae996f3, data reload: false

------ Round 1 ----------------------------------
q1	17596	4919	4265	4265
q2	2018	188	204	188
q3	10551	1233	1199	1199
q4	10394	838	754	754
q5	7557	2753	2618	2618
q6	222	138	151	138
q7	973	618	631	618
q8	9474	2139	2092	2092
q9	9103	6646	6622	6622
q10	9430	3762	3714	3714
q11	461	252	245	245
q12	483	231	225	225
q13	18829	3012	3041	3012
q14	252	228	229	228
q15	503	472	472	472
q16	547	384	387	384
q17	995	622	749	622
q18	8160	7504	7486	7486
q19	4501	1572	1458	1458
q20	667	317	315	315
q21	5028	3899	3372	3372
q22	348	281	282	281
Total cold run time: 118092 ms
Total hot run time: 40308 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4364	4254	4229	4229
q2	374	263	272	263
q3	2970	2800	2692	2692
q4	1884	1565	1557	1557
q5	5288	5301	5296	5296
q6	215	128	130	128
q7	2168	1691	1783	1691
q8	3222	3322	3329	3322
q9	8400	8312	8328	8312
q10	3873	3699	3684	3684
q11	587	497	504	497
q12	763	599	628	599
q13	17179	3040	3036	3036
q14	281	253	270	253
q15	521	475	482	475
q16	476	422	412	412
q17	1772	1501	1479	1479
q18	7882	7538	7510	7510
q19	1661	1562	1581	1562
q20	1984	1771	1801	1771
q21	4888	4815	4728	4728
q22	571	508	478	478
Total cold run time: 71323 ms
Total hot run time: 53974 ms

doris-robot avatar May 22 '24 10:05 doris-robot

TPC-DS: Total hot run time: 171080 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 8c1ead2da8d951d6396d7c5af18194600ae996f3, data reload: false

query1	920	387	375	375
query2	6450	2487	2351	2351
query3	6649	211	205	205
query4	20028	17376	17353	17353
query5	4176	423	426	423
query6	252	169	170	169
query7	4601	300	291	291
query8	248	203	206	203
query9	8363	2393	2372	2372
query10	454	296	272	272
query11	10598	10257	10109	10109
query12	139	89	91	89
query13	1645	368	368	368
query14	8528	7307	7755	7307
query15	262	168	170	168
query16	8176	268	266	266
query17	1828	550	539	539
query18	2118	281	277	277
query19	283	165	163	163
query20	93	88	84	84
query21	197	131	132	131
query22	4384	4157	3898	3898
query23	33770	33087	34008	33087
query24	11733	2886	2830	2830
query25	547	351	362	351
query26	1269	151	150	150
query27	2901	293	295	293
query28	7517	2037	2049	2037
query29	858	603	631	603
query30	319	173	176	173
query31	968	751	748	748
query32	87	53	56	53
query33	773	273	259	259
query34	1054	473	481	473
query35	699	569	553	553
query36	1071	928	910	910
query37	212	80	80	80
query38	2910	2793	2802	2793
query39	849	791	792	791
query40	284	121	118	118
query41	48	44	41	41
query42	101	95	100	95
query43	588	564	553	553
query44	1207	738	767	738
query45	184	164	162	162
query46	1074	692	734	692
query47	1841	1772	1738	1738
query48	371	297	290	290
query49	1178	388	390	388
query50	786	416	399	399
query51	6983	6832	6704	6704
query52	110	100	89	89
query53	351	292	284	284
query54	921	434	422	422
query55	75	72	73	72
query56	260	242	242	242
query57	1108	1053	1065	1053
query58	238	209	211	209
query59	3386	3323	3193	3193
query60	301	256	250	250
query61	94	87	90	87
query62	844	684	653	653
query63	311	281	284	281
query64	9751	2234	1807	1807
query65	3197	3108	3134	3108
query66	1274	334	325	325
query67	15245	15041	14835	14835
query68	6406	529	539	529
query69	503	269	276	269
query70	1223	1157	1135	1135
query71	510	269	270	269
query72	7765	5666	2737	2737
query73	821	318	320	318
query74	6130	5612	5664	5612
query75	4024	2599	2632	2599
query76	4521	994	961	961
query77	677	270	272	270
query78	10392	9901	10038	9901
query79	3029	512	520	512
query80	1276	503	434	434
query81	524	246	245	245
query82	763	206	203	203
query83	215	175	171	171
query84	265	86	84	84
query85	1436	286	263	263
query86	463	310	295	295
query87	3357	3094	3079	3079
query88	4393	2315	2328	2315
query89	501	401	388	388
query90	2015	195	192	192
query91	125	95	97	95
query92	62	51	48	48
query93	4047	511	501	501
query94	1135	237	186	186
query95	419	320	317	317
query96	610	266	267	266
query97	3191	2999	2967	2967
query98	239	218	212	212
query99	1663	1283	1282	1282
Total cold run time: 282740 ms
Total hot run time: 171080 ms

doris-robot avatar May 22 '24 10:05 doris-robot

ClickBench: Total hot run time: 30.31 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 8c1ead2da8d951d6396d7c5af18194600ae996f3, data reload: false

query1	0.04	0.04	0.03
query2	0.09	0.04	0.04
query3	0.23	0.05	0.06
query4	1.65	0.07	0.08
query5	0.50	0.48	0.50
query6	1.12	0.72	0.71
query7	0.03	0.01	0.01
query8	0.04	0.04	0.04
query9	0.54	0.49	0.49
query10	0.55	0.55	0.53
query11	0.16	0.11	0.12
query12	0.15	0.12	0.12
query13	0.59	0.59	0.60
query14	0.78	0.77	0.78
query15	0.83	0.82	0.80
query16	0.37	0.34	0.37
query17	0.96	0.95	0.95
query18	0.21	0.25	0.25
query19	1.82	1.69	1.63
query20	0.02	0.01	0.01
query21	15.74	0.66	0.65
query22	4.00	8.03	1.83
query23	18.25	1.38	1.27
query24	1.64	0.26	0.22
query25	0.14	0.09	0.08
query26	0.25	0.17	0.17
query27	0.08	0.08	0.07
query28	13.48	1.02	1.02
query29	13.05	3.32	3.31
query30	0.24	0.06	0.06
query31	2.84	0.40	0.38
query32	3.27	0.47	0.46
query33	2.92	2.87	2.91
query34	17.26	4.40	4.48
query35	4.52	4.56	4.47
query36	0.65	0.45	0.47
query37	0.17	0.15	0.15
query38	0.15	0.15	0.15
query39	0.05	0.03	0.04
query40	0.16	0.14	0.14
query41	0.10	0.05	0.04
query42	0.06	0.05	0.04
query43	0.04	0.03	0.04
Total cold run time: 109.74 s
Total hot run time: 30.31 s

doris-robot avatar May 22 '24 10:05 doris-robot

run buildall

englefly avatar May 27 '24 02:05 englefly

TPC-H: Total hot run time: 41660 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 0736491208510c40800cb07c07a7c2395bfe67bc, data reload: false

------ Round 1 ----------------------------------
q1	17617	4383	4177	4177
q2	2009	190	185	185
q3	10449	1277	1244	1244
q4	10185	918	790	790
q5	7463	2724	2696	2696
q6	216	134	135	134
q7	992	629	627	627
q8	9222	2147	2095	2095
q9	9357	6670	6630	6630
q10	9448	3901	3826	3826
q11	520	235	226	226
q12	415	226	219	219
q13	18198	3283	3222	3222
q14	280	219	240	219
q15	517	483	471	471
q16	499	389	375	375
q17	962	685	696	685
q18	8339	7957	7748	7748
q19	2066	1544	1498	1498
q20	649	298	317	298
q21	5117	4016	4125	4016
q22	347	285	279	279
Total cold run time: 114867 ms
Total hot run time: 41660 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4550	4358	4391	4358
q2	385	270	265	265
q3	3146	2865	2953	2865
q4	2010	1638	1641	1638
q5	5378	5471	5499	5471
q6	217	128	124	124
q7	2192	1841	1817	1817
q8	3205	3393	3355	3355
q9	8680	8632	8619	8619
q10	4043	3728	3830	3728
q11	586	513	491	491
q12	806	613	630	613
q13	16858	3113	3139	3113
q14	303	276	281	276
q15	529	495	482	482
q16	499	435	434	434
q17	1792	1512	1528	1512
q18	7759	7599	7546	7546
q19	1682	1591	1553	1553
q20	2034	1772	1795	1772
q21	4815	4715	4711	4711
q22	589	500	485	485
Total cold run time: 72058 ms
Total hot run time: 55228 ms

doris-robot avatar May 27 '24 03:05 doris-robot

TPC-DS: Total hot run time: 171056 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 0736491208510c40800cb07c07a7c2395bfe67bc, data reload: false

query1	922	392	371	371
query2	6429	2240	2346	2240
query3	6655	217	209	209
query4	19493	17393	17407	17393
query5	4113	432	414	414
query6	242	155	151	151
query7	4603	294	289	289
query8	237	191	197	191
query9	8615	2375	2365	2365
query10	460	269	288	269
query11	10393	10198	10051	10051
query12	136	98	87	87
query13	1655	372	368	368
query14	9403	5929	6860	5929
query15	211	171	168	168
query16	7131	286	258	258
query17	1062	528	525	525
query18	1905	272	273	272
query19	202	152	150	150
query20	92	86	84	84
query21	193	127	131	127
query22	4261	3937	3850	3850
query23	33547	33152	32850	32850
query24	6984	2840	2816	2816
query25	566	357	362	357
query26	704	152	146	146
query27	2024	291	288	288
query28	3926	2033	2037	2033
query29	864	604	586	586
query30	246	168	175	168
query31	945	767	740	740
query32	91	87	53	53
query33	501	266	260	260
query34	852	472	469	469
query35	674	589	563	563
query36	1068	928	932	928
query37	116	75	79	75
query38	2865	2776	2744	2744
query39	872	778	778	778
query40	194	120	122	120
query41	46	44	44	44
query42	101	98	98	98
query43	586	550	549	549
query44	1052	721	735	721
query45	184	168	164	164
query46	1060	721	708	708
query47	1829	1748	1773	1748
query48	356	287	289	287
query49	765	381	416	381
query50	770	392	400	392
query51	6898	6713	6759	6713
query52	100	97	91	91
query53	359	287	284	284
query54	540	448	426	426
query55	76	74	73	73
query56	261	251	248	248
query57	1087	1057	1062	1057
query58	230	217	228	217
query59	3380	3157	3045	3045
query60	274	259	250	250
query61	88	90	91	90
query62	770	669	638	638
query63	307	277	280	277
query64	8564	2216	1693	1693
query65	3170	3102	3106	3102
query66	906	333	334	333
query67	15018	14992	14676	14676
query68	4541	538	533	533
query69	447	283	269	269
query70	1177	1144	1178	1144
query71	381	274	272	272
query72	7343	5278	5269	5269
query73	718	319	319	319
query74	5956	5616	5567	5567
query75	3316	2610	2630	2610
query76	2153	944	1016	944
query77	399	270	272	270
query78	10064	9809	9722	9722
query79	1964	513	507	507
query80	989	441	442	441
query81	517	242	243	242
query82	959	197	196	196
query83	262	168	171	168
query84	260	83	88	83
query85	1036	276	267	267
query86	481	314	309	309
query87	3375	3123	3091	3091
query88	3326	2351	2344	2344
query89	472	391	373	373
query90	1995	190	192	190
query91	127	98	93	93
query92	59	48	49	48
query93	1963	505	489	489
query94	1140	185	184	184
query95	399	312	314	312
query96	585	268	265	265
query97	3119	3015	3006	3006
query98	262	220	228	220
query99	1528	1275	1269	1269
Total cold run time: 255542 ms
Total hot run time: 171056 ms

doris-robot avatar May 27 '24 03:05 doris-robot

ClickBench: Total hot run time: 31.22 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 0736491208510c40800cb07c07a7c2395bfe67bc, data reload: false

query1	0.04	0.03	0.04
query2	0.09	0.04	0.04
query3	0.24	0.06	0.07
query4	1.65	0.10	0.09
query5	0.49	0.51	0.50
query6	1.11	0.72	0.72
query7	0.02	0.01	0.01
query8	0.05	0.04	0.04
query9	0.54	0.51	0.50
query10	0.54	0.55	0.54
query11	0.16	0.12	0.11
query12	0.15	0.12	0.12
query13	0.59	0.59	0.60
query14	0.81	0.77	0.77
query15	0.84	0.82	0.82
query16	0.37	0.37	0.35
query17	1.02	0.94	0.98
query18	0.96	0.94	0.94
query19	1.78	1.71	1.68
query20	0.01	0.01	0.01
query21	15.51	0.69	0.68
query22	3.50	7.70	2.03
query23	18.29	1.30	1.22
query24	1.79	0.26	0.20
query25	0.14	0.08	0.09
query26	0.25	0.16	0.16
query27	0.08	0.07	0.07
query28	13.32	1.01	0.99
query29	13.27	3.32	3.24
query30	0.24	0.06	0.06
query31	2.86	0.38	0.38
query32	3.30	0.46	0.47
query33	2.94	2.86	2.93
query34	17.10	4.46	4.41
query35	4.49	4.48	4.63
query36	0.65	0.46	0.46
query37	0.17	0.15	0.16
query38	0.15	0.14	0.15
query39	0.04	0.03	0.04
query40	0.15	0.14	0.15
query41	0.09	0.05	0.04
query42	0.05	0.04	0.04
query43	0.04	0.04	0.04
Total cold run time: 109.88 s
Total hot run time: 31.22 s

doris-robot avatar May 27 '24 03:05 doris-robot

run buildall

englefly avatar May 27 '24 10:05 englefly

TPC-H: Total hot run time: 41785 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 92102fb32fe5f41035cb4494dcb098ea0ba5a857, data reload: false

------ Round 1 ----------------------------------
q1	17639	4448	4226	4226
q2	2022	195	184	184
q3	10519	1244	1263	1244
q4	10205	873	780	780
q5	7517	2714	2717	2714
q6	218	135	135	135
q7	946	619	609	609
q8	9208	2120	2089	2089
q9	9359	6753	6651	6651
q10	9423	3935	3895	3895
q11	438	255	247	247
q12	429	231	235	231
q13	17218	3167	3215	3167
q14	261	228	229	228
q15	533	463	477	463
q16	480	375	367	367
q17	969	725	694	694
q18	8329	7752	7986	7752
q19	4357	1537	1593	1537
q20	625	311	313	311
q21	5190	3976	4189	3976
q22	372	285	289	285
Total cold run time: 116257 ms
Total hot run time: 41785 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4615	4399	4356	4356
q2	395	271	263	263
q3	3195	2912	2915	2912
q4	1922	1660	1608	1608
q5	5484	5485	5501	5485
q6	221	130	130	130
q7	2151	1850	1812	1812
q8	3251	3396	3396	3396
q9	8578	8632	8638	8632
q10	4015	3692	3814	3692
q11	585	487	493	487
q12	791	612	626	612
q13	16992	3106	3167	3106
q14	304	280	276	276
q15	531	480	479	479
q16	479	429	453	429
q17	1788	1483	1444	1444
q18	7797	7667	7545	7545
q19	1667	1577	1520	1520
q20	1997	1803	1810	1803
q21	5424	4842	4719	4719
q22	571	487	507	487
Total cold run time: 72753 ms
Total hot run time: 55193 ms

doris-robot avatar May 27 '24 11:05 doris-robot

TPC-DS: Total hot run time: 169907 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 92102fb32fe5f41035cb4494dcb098ea0ba5a857, data reload: false

query1	916	381	364	364
query2	6433	2424	2464	2424
query3	6641	205	206	205
query4	19437	17469	17455	17455
query5	4198	430	423	423
query6	241	160	155	155
query7	4586	293	295	293
query8	236	179	176	176
query9	8377	2438	2447	2438
query10	454	278	259	259
query11	10882	10330	10296	10296
query12	129	94	89	89
query13	1648	365	358	358
query14	9578	6892	6915	6892
query15	215	164	166	164
query16	7205	265	259	259
query17	1323	525	554	525
query18	1922	269	267	267
query19	194	158	160	158
query20	91	83	83	83
query21	195	138	126	126
query22	4394	4164	4205	4164
query23	34058	32721	32824	32721
query24	5049	2837	2823	2823
query25	466	353	361	353
query26	688	154	157	154
query27	1846	323	317	317
query28	3849	2075	2076	2075
query29	840	609	593	593
query30	228	152	159	152
query31	900	742	755	742
query32	62	50	52	50
query33	420	301	259	259
query34	852	483	468	468
query35	711	599	588	588
query36	1058	919	924	919
query37	105	64	65	64
query38	2888	2842	2806	2806
query39	845	781	783	781
query40	202	128	121	121
query41	45	43	44	43
query42	107	92	97	92
query43	569	556	565	556
query44	1082	711	744	711
query45	180	159	164	159
query46	1061	695	725	695
query47	1868	1778	1799	1778
query48	367	292	295	292
query49	758	374	379	374
query50	767	388	391	388
query51	6966	6800	6709	6709
query52	100	92	85	85
query53	358	275	277	275
query54	519	438	430	430
query55	72	74	70	70
query56	260	247	242	242
query57	1153	1059	1059	1059
query58	222	219	215	215
query59	3436	3012	2965	2965
query60	279	250	267	250
query61	89	99	91	91
query62	537	456	461	456
query63	309	283	276	276
query64	2585	1786	1702	1702
query65	3208	3077	3110	3077
query66	688	333	330	330
query67	15053	14930	14764	14764
query68	4586	541	521	521
query69	423	269	267	267
query70	1129	1174	1108	1108
query71	397	271	264	264
query72	7544	5259	2760	2760
query73	699	323	320	320
query74	6001	5734	5633	5633
query75	3279	2625	2637	2625
query76	2215	1010	1001	1001
query77	401	261	260	260
query78	10294	9838	9913	9838
query79	2253	509	510	509
query80	881	446	423	423
query81	505	217	218	217
query82	895	91	87	87
query83	231	166	166	166
query84	247	83	83	83
query85	1160	271	263	263
query86	444	301	322	301
query87	3318	3158	3153	3153
query88	4007	2430	2425	2425
query89	467	383	376	376
query90	1984	189	190	189
query91	134	104	129	104
query92	59	49	48	48
query93	2336	504	495	495
query94	1128	260	178	178
query95	398	316	309	309
query96	591	279	263	263
query97	3227	3019	3049	3019
query98	241	219	211	211
query99	1264	848	854	848
Total cold run time: 249738 ms
Total hot run time: 169907 ms

doris-robot avatar May 27 '24 11:05 doris-robot

ClickBench: Total hot run time: 30.66 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 92102fb32fe5f41035cb4494dcb098ea0ba5a857, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.04	0.04
query3	0.23	0.05	0.05
query4	1.67	0.09	0.07
query5	0.50	0.50	0.50
query6	1.12	0.72	0.72
query7	0.02	0.02	0.01
query8	0.05	0.05	0.04
query9	0.53	0.49	0.48
query10	0.55	0.55	0.55
query11	0.16	0.11	0.11
query12	0.14	0.12	0.11
query13	0.59	0.60	0.60
query14	0.78	0.80	0.78
query15	0.82	0.80	0.80
query16	0.37	0.37	0.38
query17	0.95	0.98	0.95
query18	0.22	0.24	0.27
query19	1.74	1.67	1.67
query20	0.01	0.01	0.01
query21	15.75	0.67	0.66
query22	3.91	6.29	2.13
query23	18.25	1.41	1.30
query24	1.85	0.28	0.20
query25	0.13	0.09	0.08
query26	0.26	0.17	0.16
query27	0.08	0.08	0.08
query28	13.27	1.01	0.99
query29	13.58	3.25	3.23
query30	0.24	0.06	0.05
query31	2.88	0.38	0.38
query32	3.28	0.47	0.46
query33	2.84	2.98	2.89
query34	17.18	4.40	4.44
query35	4.51	4.48	4.54
query36	0.68	0.47	0.46
query37	0.17	0.16	0.15
query38	0.16	0.14	0.15
query39	0.04	0.04	0.03
query40	0.16	0.14	0.15
query41	0.09	0.04	0.04
query42	0.06	0.04	0.05
query43	0.04	0.04	0.04
Total cold run time: 109.98 s
Total hot run time: 30.66 s

doris-robot avatar May 27 '24 11:05 doris-robot

run buildall

englefly avatar Jun 04 '24 01:06 englefly

TPC-H: Total hot run time: 42048 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 0090d2e770ea1948eb60ef9c1f54f6117ac5a5bc, data reload: false

------ Round 1 ----------------------------------
q1	17607	4416	4314	4314
q2	2030	197	199	197
q3	10451	1247	1206	1206
q4	10200	818	861	818
q5	7518	2722	2703	2703
q6	224	135	142	135
q7	953	626	618	618
q8	9217	2150	2144	2144
q9	8872	6756	6713	6713
q10	9196	3899	3894	3894
q11	449	249	243	243
q12	498	238	248	238
q13	18505	3294	3256	3256
q14	265	227	236	227
q15	518	483	467	467
q16	520	415	423	415
q17	982	567	641	567
q18	8574	7836	7828	7828
q19	6895	1454	1396	1396
q20	638	322	310	310
q21	5197	4083	4019	4019
q22	408	343	340	340
Total cold run time: 119717 ms
Total hot run time: 42048 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4696	4514	4428	4428
q2	393	274	278	274
q3	3158	2838	2820	2820
q4	1903	1719	1693	1693
q5	5513	5476	5500	5476
q6	220	127	136	127
q7	2197	1809	1829	1809
q8	3235	3390	3417	3390
q9	8597	8654	8747	8654
q10	4069	3769	3726	3726
q11	584	486	503	486
q12	812	604	630	604
q13	16148	3106	3212	3106
q14	293	265	262	262
q15	517	487	502	487
q16	499	415	436	415
q17	1858	1509	1554	1509
q18	7848	7579	7395	7395
q19	1732	1659	1626	1626
q20	2109	1813	1761	1761
q21	9656	4806	4878	4806
q22	637	513	537	513
Total cold run time: 76674 ms
Total hot run time: 55367 ms

doris-robot avatar Jun 04 '24 02:06 doris-robot

run buildall

englefly avatar Jun 04 '24 11:06 englefly

run buildall

englefly avatar Jun 04 '24 12:06 englefly