doris icon indicating copy to clipboard operation
doris copied to clipboard

[refactor](Nereids)refactor runtime filter generator

Open englefly opened this issue 9 months ago • 24 comments

Proposed changes

  1. unify the process of generating rf for hash join and for nested loop join
  2. fix some bugs in generating rf
  3. remove some duplicated check

Issue Number: close #xxx

Further comments

If this is a relatively large or complex change, kick off the discussion at [email protected] by explaining why you chose the solution you did and what alternatives you considered, etc...

englefly avatar Apr 29 '24 05:04 englefly

Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.

doris-robot avatar Apr 29 '24 05:04 doris-robot

run buildall

englefly avatar Apr 29 '24 05:04 englefly

run buildall

englefly avatar Apr 29 '24 07:04 englefly

TPC-H: Total hot run time: 40827 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit eb5c899642d2f86e9f74f5306a9cbda677ea1aa1, data reload: false

------ Round 1 ----------------------------------
q1	18530	6450	4379	4379
q2	2583	213	211	211
q3	11533	1128	1244	1128
q4	10500	818	792	792
q5	7951	2750	2706	2706
q6	215	135	137	135
q7	1069	647	603	603
q8	9285	2143	2087	2087
q9	9441	6736	6568	6568
q10	8750	3701	3751	3701
q11	453	248	235	235
q12	406	220	220	220
q13	17864	2954	2945	2945
q14	271	231	237	231
q15	509	481	463	463
q16	521	399	384	384
q17	981	715	681	681
q18	8123	7394	7624	7394
q19	4153	1527	1530	1527
q20	668	322	319	319
q21	5082	4117	4007	4007
q22	158	116	111	111
Total cold run time: 119046 ms
Total hot run time: 40827 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4359	4229	4250	4229
q2	380	276	284	276
q3	3063	2758	2751	2751
q4	1864	1605	1604	1604
q5	5307	5290	5323	5290
q6	210	122	125	122
q7	2256	1865	1854	1854
q8	3175	3338	3308	3308
q9	8560	8571	8496	8496
q10	3888	3649	3703	3649
q11	562	466	494	466
q12	751	601	600	600
q13	16327	2940	2946	2940
q14	300	288	274	274
q15	519	483	472	472
q16	471	423	419	419
q17	1787	1492	1439	1439
q18	7722	7455	7353	7353
q19	1669	1518	1563	1518
q20	1999	1750	1774	1750
q21	4962	4891	4970	4891
q22	548	495	491	491
Total cold run time: 70679 ms
Total hot run time: 54192 ms

doris-robot avatar Apr 29 '24 07:04 doris-robot

TPC-DS: Total hot run time: 185859 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit eb5c899642d2f86e9f74f5306a9cbda677ea1aa1, data reload: false

query1	904	363	344	344
query2	6460	2345	2230	2230
query3	6655	214	211	211
query4	24346	21202	21114	21114
query5	4138	426	413	413
query6	265	182	172	172
query7	4589	293	288	288
query8	251	196	213	196
query9	8402	2353	2355	2353
query10	436	243	277	243
query11	14711	14218	14305	14218
query12	136	86	94	86
query13	1632	350	358	350
query14	9699	6698	7525	6698
query15	215	182	180	180
query16	7810	260	255	255
query17	1860	557	544	544
query18	1966	284	276	276
query19	208	156	149	149
query20	94	86	88	86
query21	200	135	135	135
query22	5013	4822	4832	4822
query23	33902	33341	33154	33154
query24	12110	3006	2934	2934
query25	699	396	381	381
query26	1866	157	151	151
query27	3224	331	341	331
query28	7634	2006	1986	1986
query29	1206	638	604	604
query30	286	154	155	154
query31	989	765	739	739
query32	92	55	60	55
query33	765	252	249	249
query34	1125	481	493	481
query35	819	692	676	676
query36	1093	952	919	919
query37	286	70	69	69
query38	3171	3015	2976	2976
query39	1583	1506	1553	1506
query40	281	127	131	127
query41	45	42	42	42
query42	108	98	99	98
query43	550	535	555	535
query44	1224	734	744	734
query45	292	239	266	239
query46	1083	727	734	727
query47	1938	1839	1875	1839
query48	366	305	297	297
query49	1196	410	412	410
query50	775	390	386	386
query51	6813	6750	6777	6750
query52	108	91	97	91
query53	345	281	284	281
query54	222	174	179	174
query55	84	83	80	80
query56	251	227	231	227
query57	1228	1113	1123	1113
query58	236	204	206	204
query59	3401	3229	3222	3222
query60	269	242	231	231
query61	93	90	90	90
query62	641	431	444	431
query63	305	282	281	281
query64	9513	7184	7186	7184
query65	3208	3070	3096	3070
query66	1392	347	341	341
query67	15559	15354	15228	15228
query68	10104	545	557	545
query69	604	311	310	310
query70	1406	1137	1134	1134
query71	521	282	282	282
query72	8750	2628	2418	2418
query73	1609	321	339	321
query74	6606	6044	6072	6044
query75	5209	2675	2676	2675
query76	5986	1028	1059	1028
query77	704	277	271	271
query78	11149	10201	10277	10201
query79	11454	544	531	531
query80	1582	440	434	434
query81	500	219	216	216
query82	251	92	96	92
query83	212	170	170	170
query84	269	86	83	83
query85	1078	268	258	258
query86	346	319	303	303
query87	3348	3088	3098	3088
query88	5104	2338	2361	2338
query89	520	398	398	398
query90	2002	185	186	185
query91	129	118	96	96
query92	59	50	48	48
query93	5766	530	507	507
query94	1349	187	185	185
query95	409	310	308	308
query96	615	270	261	261
query97	3148	2911	2975	2911
query98	249	209	221	209
query99	1062	849	862	849
Total cold run time: 314466 ms
Total hot run time: 185859 ms

doris-robot avatar Apr 29 '24 08:04 doris-robot

run p0

englefly avatar Apr 29 '24 08:04 englefly

run p1

englefly avatar Apr 29 '24 08:04 englefly

run buildall

englefly avatar Apr 29 '24 12:04 englefly

TPC-H: Total hot run time: 41200 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 0db0561994f3f68b20249b35c4e1521a2235bbd2, data reload: false

------ Round 1 ----------------------------------
q1	17912	4260	4238	4238
q2	2014	181	190	181
q3	10500	1191	1295	1191
q4	10199	765	856	765
q5	7538	2720	2670	2670
q6	215	130	132	130
q7	1025	599	624	599
q8	9226	2135	2082	2082
q9	9469	6822	6724	6724
q10	9525	3940	3861	3861
q11	464	242	233	233
q12	501	218	221	218
q13	17335	3236	3094	3094
q14	277	240	228	228
q15	524	477	468	468
q16	524	406	397	397
q17	977	691	779	691
q18	8213	7767	7746	7746
q19	6722	1555	1530	1530
q20	1032	321	317	317
q21	5152	3562	4119	3562
q22	338	284	275	275
Total cold run time: 119682 ms
Total hot run time: 41200 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4538	4443	4421	4421
q2	520	280	267	267
q3	3193	2877	2867	2867
q4	1981	1746	1694	1694
q5	5384	5452	5495	5452
q6	214	124	122	122
q7	2285	1945	1970	1945
q8	3264	3417	3388	3388
q9	8811	8773	8876	8773
q10	4084	3882	3721	3721
q11	591	486	496	486
q12	781	605	608	605
q13	16906	3096	3100	3096
q14	313	267	288	267
q15	538	487	481	481
q16	481	434	432	432
q17	1793	1508	1529	1508
q18	7769	7558	7225	7225
q19	1643	1527	1512	1512
q20	1966	1745	1735	1735
q21	10366	4753	4797	4753
q22	556	484	485	484
Total cold run time: 77977 ms
Total hot run time: 55234 ms

doris-robot avatar Apr 29 '24 13:04 doris-robot

TPC-DS: Total hot run time: 184366 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 0db0561994f3f68b20249b35c4e1521a2235bbd2, data reload: false

query1	910	363	351	351
query2	6439	2370	2265	2265
query3	6644	211	211	211
query4	23163	21221	21215	21215
query5	4101	412	425	412
query6	267	171	166	166
query7	4580	283	283	283
query8	240	192	195	192
query9	8767	2334	2315	2315
query10	433	248	252	248
query11	14783	14144	14137	14137
query12	142	89	86	86
query13	1637	361	382	361
query14	9622	8227	6717	6717
query15	258	178	173	173
query16	8133	263	264	263
query17	1789	582	558	558
query18	2121	276	275	275
query19	322	159	159	159
query20	98	92	85	85
query21	197	128	125	125
query22	5015	4851	4783	4783
query23	33803	32932	32958	32932
query24	7537	2905	2861	2861
query25	596	369	368	368
query26	686	154	148	148
query27	2100	302	308	302
query28	5347	2009	2018	2009
query29	835	624	605	605
query30	229	154	160	154
query31	982	740	727	727
query32	93	51	56	51
query33	547	241	250	241
query34	862	471	479	471
query35	775	695	672	672
query36	1064	897	875	875
query37	108	66	68	66
query38	3193	3106	3062	3062
query39	1566	1524	1532	1524
query40	199	125	124	124
query41	41	38	38	38
query42	107	98	95	95
query43	546	517	539	517
query44	1102	726	734	726
query45	287	263	266	263
query46	1071	739	727	727
query47	1923	1824	1822	1822
query48	357	287	280	280
query49	839	391	401	391
query50	778	385	377	377
query51	6937	6701	6786	6701
query52	101	90	89	89
query53	351	276	280	276
query54	254	227	237	227
query55	77	75	71	71
query56	236	226	218	218
query57	1203	1163	1121	1121
query58	223	222	210	210
query59	3396	3060	3078	3060
query60	267	229	231	229
query61	109	102	89	89
query62	597	433	433	433
query63	300	276	270	270
query64	8155	7148	7133	7133
query65	3100	3030	3052	3030
query66	784	336	331	331
query67	15406	14888	14760	14760
query68	5210	518	523	518
query69	466	308	299	299
query70	1152	1093	1088	1088
query71	378	262	273	262
query72	7038	2667	2420	2420
query73	708	315	320	315
query74	6423	6028	6098	6028
query75	3391	2690	2626	2626
query76	2817	990	927	927
query77	409	270	267	267
query78	11071	10157	10255	10157
query79	4731	532	536	532
query80	1959	447	432	432
query81	534	227	220	220
query82	1407	95	101	95
query83	314	176	171	171
query84	265	88	80	80
query85	1484	269	257	257
query86	473	294	283	283
query87	3259	3076	3175	3076
query88	5065	2332	2351	2332
query89	493	381	369	369
query90	2065	189	179	179
query91	122	97	96	96
query92	63	47	50	47
query93	5399	521	509	509
query94	1237	183	179	179
query95	390	314	301	301
query96	608	261	263	261
query97	3156	2940	2920	2920
query98	241	226	211	211
query99	1239	853	871	853
Total cold run time: 282297 ms
Total hot run time: 184366 ms

doris-robot avatar Apr 29 '24 13:04 doris-robot

run buildall

englefly avatar Apr 30 '24 00:04 englefly

TPC-DS: Total hot run time: 186086 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit c425b2d6790bc7b76a75275bc1e5aaa64b8c6f19, data reload: false

query1	909	357	337	337
query2	6458	2286	2278	2278
query3	6648	202	203	202
query4	23106	21774	22085	21774
query5	3782	414	426	414
query6	280	169	170	169
query7	4577	280	288	280
query8	236	185	180	180
query9	8403	2291	2292	2291
query10	410	245	252	245
query11	15269	14919	14744	14744
query12	118	89	87	87
query13	1615	357	348	348
query14	9561	7555	7794	7555
query15	244	173	171	171
query16	8139	257	263	257
query17	1700	560	551	551
query18	2073	265	260	260
query19	224	146	144	144
query20	86	80	80	80
query21	193	125	121	121
query22	4984	4794	4837	4794
query23	33786	33215	33030	33030
query24	11126	2920	2795	2795
query25	566	346	353	346
query26	1256	149	143	143
query27	2972	313	313	313
query28	7594	1950	1943	1943
query29	843	580	596	580
query30	248	150	147	147
query31	967	704	706	704
query32	91	51	50	50
query33	736	234	237	234
query34	1029	473	474	473
query35	813	654	669	654
query36	1010	904	896	896
query37	126	66	77	66
query38	3114	3022	2983	2983
query39	1579	1520	1542	1520
query40	199	127	125	125
query41	43	39	40	39
query42	100	93	98	93
query43	551	523	544	523
query44	1250	719	737	719
query45	249	284	250	250
query46	1069	733	711	711
query47	1970	1886	1857	1857
query48	375	298	301	298
query49	878	385	385	385
query50	758	376	376	376
query51	6958	6623	6684	6623
query52	105	84	93	84
query53	351	276	280	276
query54	294	229	239	229
query55	82	70	74	70
query56	238	213	212	212
query57	1193	1132	1130	1130
query58	219	197	197	197
query59	3366	3224	3174	3174
query60	248	250	235	235
query61	88	86	84	84
query62	648	427	433	427
query63	301	281	274	274
query64	8468	7081	7050	7050
query65	3073	3046	3035	3035
query66	1373	332	332	332
query67	15602	14927	14807	14807
query68	5117	575	522	522
query69	468	305	293	293
query70	1119	1034	1151	1034
query71	419	265	274	265
query72	7237	2506	2359	2359
query73	696	316	318	316
query74	6486	6196	6123	6123
query75	3474	2605	2632	2605
query76	3222	1022	991	991
query77	380	255	255	255
query78	10963	10153	10201	10153
query79	2619	511	502	502
query80	2014	412	411	411
query81	549	216	215	215
query82	717	86	91	86
query83	316	168	168	168
query84	267	85	88	85
query85	2085	267	260	260
query86	511	304	289	289
query87	3252	3122	3086	3086
query88	4240	2389	2379	2379
query89	465	371	371	371
query90	1984	178	186	178
query91	135	141	93	93
query92	69	47	46	46
query93	2469	498	494	494
query94	1207	176	178	176
query95	382	296	292	292
query96	588	269	265	265
query97	3170	2957	2939	2939
query98	236	223	224	223
query99	1210	838	854	838
Total cold run time: 284986 ms
Total hot run time: 186086 ms

doris-robot avatar Apr 30 '24 01:04 doris-robot

run buildall

englefly avatar Apr 30 '24 02:04 englefly

run buildall

englefly avatar Apr 30 '24 05:04 englefly

TPC-H: Total hot run time: 41950 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit b8daa10ee89bb57ca8264d6c47fdfcbfb8760164, data reload: false

------ Round 1 ----------------------------------
q1	17904	4299	4271	4271
q2	2021	189	187	187
q3	10465	1216	1180	1180
q4	10190	750	777	750
q5	7460	2715	2748	2715
q6	221	132	132	132
q7	1047	614	603	603
q8	9231	2140	2108	2108
q9	9751	6777	6751	6751
q10	9617	3946	3918	3918
q11	441	262	243	243
q12	539	230	221	221
q13	17977	3196	3151	3151
q14	255	223	210	210
q15	501	474	479	474
q16	515	402	379	379
q17	979	694	713	694
q18	8190	7696	7846	7696
q19	1885	1541	1554	1541
q20	660	316	318	316
q21	5328	4126	4158	4126
q22	371	300	284	284
Total cold run time: 115548 ms
Total hot run time: 41950 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4546	4412	4446	4412
q2	363	275	254	254
q3	3175	3010	2795	2795
q4	1871	1579	1662	1579
q5	5534	5486	5462	5462
q6	212	123	123	123
q7	2340	1992	1963	1963
q8	3218	3435	3416	3416
q9	8746	8762	8664	8664
q10	4020	3832	3880	3832
q11	592	490	490	490
q12	803	641	642	641
q13	17266	3236	3025	3025
q14	296	247	279	247
q15	508	482	468	468
q16	457	406	402	402
q17	1753	1502	1447	1447
q18	7570	8672	7548	7548
q19	2276	1551	1546	1546
q20	1955	1778	1711	1711
q21	5047	4926	4843	4843
q22	558	492	488	488
Total cold run time: 73106 ms
Total hot run time: 55356 ms

doris-robot avatar Apr 30 '24 06:04 doris-robot

TPC-DS: Total hot run time: 186252 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit b8daa10ee89bb57ca8264d6c47fdfcbfb8760164, data reload: false

query1	932	360	340	340
query2	6445	2432	2307	2307
query3	6659	216	218	216
query4	22833	21142	21285	21142
query5	4146	407	412	407
query6	270	201	185	185
query7	4575	293	287	287
query8	244	183	189	183
query9	8435	2437	2404	2404
query10	436	244	247	244
query11	14657	14168	14067	14067
query12	140	91	84	84
query13	1654	371	385	371
query14	10557	8260	7484	7484
query15	254	165	177	165
query16	8040	271	275	271
query17	1716	581	557	557
query18	2033	277	283	277
query19	319	160	154	154
query20	92	99	88	88
query21	194	128	130	128
query22	5004	4901	4772	4772
query23	33695	33192	33256	33192
query24	6487	2874	2943	2874
query25	581	403	382	382
query26	696	154	150	150
query27	1888	326	317	317
query28	3794	2082	2077	2077
query29	847	619	618	618
query30	249	155	153	153
query31	965	741	723	723
query32	93	55	59	55
query33	495	256	246	246
query34	853	478	506	478
query35	781	681	657	657
query36	1041	891	888	888
query37	108	68	68	68
query38	3105	2987	3011	2987
query39	1580	1541	1558	1541
query40	203	132	132	132
query41	46	42	42	42
query42	105	100	98	98
query43	567	532	562	532
query44	1088	734	747	734
query45	268	259	261	259
query46	1054	740	733	733
query47	1972	1881	1866	1866
query48	378	302	321	302
query49	918	391	390	390
query50	774	401	398	398
query51	6784	6684	6655	6655
query52	98	94	88	88
query53	353	280	276	276
query54	258	233	226	226
query55	75	71	68	68
query56	233	216	222	216
query57	1200	1176	1133	1133
query58	213	198	197	197
query59	3364	3073	3085	3073
query60	259	230	244	230
query61	89	85	85	85
query62	595	444	442	442
query63	309	284	279	279
query64	8265	7234	7257	7234
query65	3104	3026	3066	3026
query66	797	340	337	337
query67	15942	14959	14929	14929
query68	9985	552	552	552
query69	602	313	303	303
query70	1315	1094	1076	1076
query71	466	268	272	268
query72	8652	2549	2373	2373
query73	1615	325	329	325
query74	6488	6080	6072	6072
query75	4976	2639	2602	2602
query76	5543	1037	1008	1008
query77	687	263	266	263
query78	10947	10372	10422	10372
query79	10570	517	515	515
query80	1878	421	423	421
query81	503	220	220	220
query82	205	90	91	90
query83	210	168	165	165
query84	266	88	84	84
query85	1050	267	255	255
query86	334	310	310	310
query87	3342	3092	3062	3062
query88	4897	2422	2418	2418
query89	481	376	370	370
query90	2388	182	180	180
query91	121	96	92	92
query92	91	45	49	45
query93	5420	506	499	499
query94	1566	183	180	180
query95	400	300	310	300
query96	593	272	262	262
query97	3135	2941	2983	2941
query98	255	218	214	214
query99	1092	898	896	896
Total cold run time: 296277 ms
Total hot run time: 186252 ms

doris-robot avatar Apr 30 '24 06:04 doris-robot

run buildall

englefly avatar Apr 30 '24 10:04 englefly

TPC-H: Total hot run time: 41658 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 61f41b3adf57dc6e6d6b93c40f2c56cc9e58b9cc, data reload: false

------ Round 1 ----------------------------------
q1	17913	4291	4201	4201
q2	2010	187	193	187
q3	10481	1143	1131	1131
q4	10207	863	778	778
q5	7499	2727	2756	2727
q6	231	137	138	137
q7	1038	636	635	635
q8	9238	2134	2105	2105
q9	9594	6708	6699	6699
q10	9152	3894	3811	3811
q11	458	245	251	245
q12	462	227	231	227
q13	17458	3350	3162	3162
q14	267	220	222	220
q15	537	480	467	467
q16	512	400	409	400
q17	988	686	703	686
q18	8211	7777	7703	7703
q19	2033	1538	1535	1535
q20	673	326	316	316
q21	5225	3992	4170	3992
q22	371	294	314	294
Total cold run time: 114558 ms
Total hot run time: 41658 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4607	4385	4391	4385
q2	372	281	272	272
q3	3191	3002	2929	2929
q4	2008	1710	1715	1710
q5	5347	5466	5513	5466
q6	212	124	126	124
q7	2382	1982	1986	1982
q8	3264	3472	3429	3429
q9	8724	8751	8850	8751
q10	4081	3842	3723	3723
q11	600	489	499	489
q12	784	635	626	626
q13	15920	3109	3153	3109
q14	289	266	284	266
q15	532	491	498	491
q16	491	450	424	424
q17	1812	1549	1497	1497
q18	8046	7626	7323	7323
q19	1651	1570	1562	1562
q20	2006	1770	1753	1753
q21	10965	4861	4878	4861
q22	573	518	497	497
Total cold run time: 77857 ms
Total hot run time: 55669 ms

doris-robot avatar Apr 30 '24 10:04 doris-robot

TPC-DS: Total hot run time: 186470 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 61f41b3adf57dc6e6d6b93c40f2c56cc9e58b9cc, data reload: false

query1	913	357	349	349
query2	6735	2365	2369	2365
query3	6640	210	208	208
query4	23801	21247	21073	21073
query5	4138	420	416	416
query6	270	180	192	180
query7	4591	292	291	291
query8	247	190	197	190
query9	8471	2434	2434	2434
query10	418	242	267	242
query11	14838	14179	14146	14146
query12	137	97	88	88
query13	1640	370	379	370
query14	9690	7462	8341	7462
query15	257	171	168	168
query16	8087	272	270	270
query17	1724	581	568	568
query18	2108	278	276	276
query19	302	154	151	151
query20	92	85	85	85
query21	194	130	128	128
query22	5071	4854	4824	4824
query23	34015	33381	33256	33256
query24	6908	2993	2802	2802
query25	574	400	379	379
query26	698	156	152	152
query27	1952	315	323	315
query28	3820	2090	2077	2077
query29	865	626	626	626
query30	250	155	157	155
query31	959	736	732	732
query32	96	53	56	53
query33	479	253	255	253
query34	864	484	497	484
query35	788	664	663	663
query36	1082	903	902	902
query37	104	69	68	68
query38	3117	3067	3001	3001
query39	1597	1543	1576	1543
query40	203	126	125	125
query41	44	42	41	41
query42	108	97	95	95
query43	563	535	545	535
query44	1065	728	733	728
query45	273	267	231	231
query46	1071	714	723	714
query47	1961	1847	1864	1847
query48	357	310	371	310
query49	853	394	413	394
query50	774	391	380	380
query51	6862	6838	6663	6663
query52	99	89	92	89
query53	350	275	276	275
query54	534	424	419	419
query55	71	76	70	70
query56	249	220	213	213
query57	1241	1138	1128	1128
query58	237	196	210	196
query59	3467	3133	3284	3133
query60	267	232	225	225
query61	89	85	84	84
query62	635	457	446	446
query63	303	281	282	281
query64	8289	7292	7177	7177
query65	3110	3067	3044	3044
query66	777	337	338	337
query67	15606	15046	15315	15046
query68	9268	560	563	560
query69	601	337	309	309
query70	1389	1106	1156	1106
query71	471	268	269	268
query72	8692	2569	2333	2333
query73	1609	332	337	332
query74	6586	6167	6125	6125
query75	4841	2640	2601	2601
query76	5166	1046	1007	1007
query77	718	268	271	268
query78	11057	10210	10077	10077
query79	11458	523	524	523
query80	1961	436	423	423
query81	507	216	220	216
query82	180	94	95	94
query83	210	167	167	167
query84	259	83	84	83
query85	946	270	256	256
query86	350	302	314	302
query87	3327	3116	3069	3069
query88	5150	2422	2414	2414
query89	503	388	373	373
query90	2405	177	175	175
query91	125	95	97	95
query92	62	47	45	45
query93	5958	514	511	511
query94	1584	181	178	178
query95	404	298	295	295
query96	606	266	264	264
query97	3168	2949	2988	2949
query98	234	221	219	219
query99	1098	875	862	862
Total cold run time: 298883 ms
Total hot run time: 186470 ms

doris-robot avatar Apr 30 '24 11:04 doris-robot

run buildall

englefly avatar Apr 30 '24 12:04 englefly

TPC-DS: Total hot run time: 187246 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 1f5fb4244ee7455b1596ce8372feb0c62e889a66, data reload: false

query1	904	368	350	350
query2	6143	2340	2380	2340
query3	6668	208	209	208
query4	23334	21779	21924	21779
query5	3903	443	410	410
query6	274	187	183	183
query7	4545	289	295	289
query8	241	192	192	192
query9	8543	2395	2384	2384
query10	408	258	247	247
query11	15242	14837	14714	14714
query12	121	86	89	86
query13	1631	374	371	371
query14	10492	7578	7496	7496
query15	261	167	182	167
query16	8170	252	250	250
query17	1727	536	535	535
query18	2082	292	265	265
query19	285	148	143	143
query20	89	80	85	80
query21	191	129	126	126
query22	5054	4791	4807	4791
query23	33903	33381	33283	33283
query24	10680	2848	2841	2841
query25	597	361	354	354
query26	1123	154	148	148
query27	2883	320	310	310
query28	7411	2016	2022	2016
query29	862	614	596	596
query30	246	154	151	151
query31	964	716	733	716
query32	90	51	52	51
query33	731	237	234	234
query34	1058	484	460	460
query35	815	652	666	652
query36	1081	889	911	889
query37	128	66	64	64
query38	3119	2982	2996	2982
query39	1614	1571	1524	1524
query40	201	123	125	123
query41	40	38	38	38
query42	100	94	95	94
query43	584	558	528	528
query44	1199	723	737	723
query45	257	249	255	249
query46	1066	722	751	722
query47	1918	1848	1860	1848
query48	365	285	295	285
query49	878	395	376	376
query50	770	385	376	376
query51	6778	6665	6648	6648
query52	102	87	91	87
query53	345	277	289	277
query54	872	414	428	414
query55	72	72	71	71
query56	231	229	220	220
query57	1210	1134	1110	1110
query58	218	196	195	195
query59	3531	3254	3016	3016
query60	263	229	233	229
query61	90	84	83	83
query62	679	448	456	448
query63	313	291	285	285
query64	8569	7266	7253	7253
query65	3138	3063	3051	3051
query66	927	338	329	329
query67	15258	15002	14984	14984
query68	4583	519	540	519
query69	485	298	297	297
query70	1137	1131	1149	1131
query71	409	267	279	267
query72	7089	2514	2344	2344
query73	699	314	319	314
query74	6611	6029	6132	6029
query75	3480	2663	2670	2663
query76	2739	1043	998	998
query77	380	267	271	267
query78	10903	10283	10354	10283
query79	7690	520	521	520
query80	1953	434	437	434
query81	530	222	225	222
query82	1598	92	90	90
query83	257	162	164	162
query84	269	84	82	82
query85	1540	255	259	255
query86	494	292	306	292
query87	3325	3153	3079	3079
query88	5168	2308	2318	2308
query89	493	385	379	379
query90	2016	179	182	179
query91	127	98	97	97
query92	63	48	48	48
query93	6188	497	498	497
query94	1172	180	188	180
query95	399	304	300	300
query96	609	256	258	256
query97	3157	2945	2942	2942
query98	240	220	209	209
query99	1261	905	864	864
Total cold run time: 294651 ms
Total hot run time: 187246 ms

doris-robot avatar Apr 30 '24 12:04 doris-robot

run buildall

englefly avatar Apr 30 '24 23:04 englefly

TPC-H: Total hot run time: 41894 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 7dc9f1ef141c108d0dcfdf66181f8422482506fd, data reload: false

------ Round 1 ----------------------------------
q1	17599	4363	4246	4246
q2	2013	186	185	185
q3	10464	1259	1163	1163
q4	10196	898	813	813
q5	7473	2711	2708	2708
q6	224	134	135	134
q7	1096	626	616	616
q8	9234	2164	2084	2084
q9	9528	6764	6800	6764
q10	9349	3831	3904	3831
q11	459	248	253	248
q12	452	237	231	231
q13	17235	3163	3182	3163
q14	266	231	235	231
q15	514	473	468	468
q16	491	403	385	385
q17	973	683	670	670
q18	8394	7683	7726	7683
q19	4700	1590	1519	1519
q20	650	333	325	325
q21	5285	4147	4237	4147
q22	357	285	280	280
Total cold run time: 116952 ms
Total hot run time: 41894 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4614	4389	4426	4389
q2	369	264	267	264
q3	3131	2975	2839	2839
q4	1872	1593	1606	1593
q5	5495	5504	5473	5473
q6	215	126	137	126
q7	2328	2000	1988	1988
q8	3243	3471	3386	3386
q9	8762	8822	8850	8822
q10	3908	3764	3817	3764
q11	591	513	488	488
q12	792	647	601	601
q13	16087	3147	3165	3147
q14	320	268	271	268
q15	524	485	479	479
q16	484	437	422	422
q17	1780	1491	1462	1462
q18	7836	7502	7552	7502
q19	3038	1526	1547	1526
q20	2026	1793	1778	1778
q21	14613	4841	4900	4841
q22	582	511	492	492
Total cold run time: 82610 ms
Total hot run time: 55650 ms

doris-robot avatar Apr 30 '24 23:04 doris-robot

TPC-DS: Total hot run time: 187863 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 7dc9f1ef141c108d0dcfdf66181f8422482506fd, data reload: false

query1	922	359	352	352
query2	6650	2442	2482	2442
query3	6643	205	205	205
query4	23153	21130	21194	21130
query5	4114	414	421	414
query6	257	178	169	169
query7	4587	297	285	285
query8	241	200	205	200
query9	8468	2372	2344	2344
query10	442	253	244	244
query11	14788	14211	14362	14211
query12	144	91	92	91
query13	1653	361	379	361
query14	10590	8411	8318	8318
query15	243	192	186	186
query16	7594	256	261	256
query17	1316	570	564	564
query18	1957	284	284	284
query19	207	152	158	152
query20	94	85	88	85
query21	195	130	127	127
query22	5001	4808	4817	4808
query23	33762	33298	33440	33298
query24	5678	2950	2877	2877
query25	486	381	383	381
query26	695	159	152	152
query27	1852	321	325	321
query28	3658	2065	2036	2036
query29	857	615	618	615
query30	235	159	155	155
query31	936	779	738	738
query32	64	56	55	55
query33	488	262	257	257
query34	883	484	475	475
query35	765	670	698	670
query36	1047	885	895	885
query37	107	68	67	67
query38	3098	3043	2996	2996
query39	1577	1550	1537	1537
query40	203	132	127	127
query41	43	40	41	40
query42	105	98	100	98
query43	565	537	550	537
query44	1079	732	737	732
query45	277	253	257	253
query46	1061	733	707	707
query47	1950	1878	1876	1876
query48	376	306	288	288
query49	879	389	390	389
query50	770	379	398	379
query51	6750	6722	6695	6695
query52	97	91	89	89
query53	351	282	273	273
query54	527	438	424	424
query55	72	75	74	74
query56	237	217	213	213
query57	1199	1119	1152	1119
query58	212	200	197	197
query59	3367	3210	3211	3210
query60	263	234	232	232
query61	89	86	85	85
query62	575	461	443	443
query63	308	277	276	276
query64	7549	7297	7188	7188
query65	3105	3071	3090	3071
query66	823	334	339	334
query67	15797	15235	15242	15235
query68	7516	531	537	531
query69	556	303	305	303
query70	1251	1094	1173	1094
query71	499	272	273	272
query72	7907	2590	2365	2365
query73	745	315	327	315
query74	6506	6181	6087	6087
query75	4525	2634	2601	2601
query76	4316	1045	1036	1036
query77	717	267	263	263
query78	11063	10272	10241	10241
query79	12644	524	540	524
query80	1842	429	434	429
query81	470	217	223	217
query82	832	96	93	93
query83	202	167	170	167
query84	269	86	88	86
query85	1045	266	259	259
query86	414	321	265	265
query87	3333	3104	3116	3104
query88	5309	2314	2307	2307
query89	544	393	377	377
query90	1957	185	185	185
query91	125	101	97	97
query92	59	57	48	48
query93	7093	510	499	499
query94	1045	183	189	183
query95	392	306	304	304
query96	601	258	296	258
query97	3147	2993	2942	2942
query98	231	228	226	226
query99	1263	860	858	858
Total cold run time: 292494 ms
Total hot run time: 187863 ms

doris-robot avatar Apr 30 '24 23:04 doris-robot

PR approved by at least one committer and no changes requested.

github-actions[bot] avatar May 08 '24 00:05 github-actions[bot]

PR approved by anyone and no changes requested.

github-actions[bot] avatar May 08 '24 00:05 github-actions[bot]