doris icon indicating copy to clipboard operation
doris copied to clipboard

[fix](nereids)push filter through window, using slot equal-set

Open englefly opened this issue 1 year ago • 20 comments

Proposed changes

example: filter (y=1) +---> window( ... partition by x) +--->project( A as x, A as y)

filter(y=1) is equivalent to filter(x=1), because x and y are in the same equal-set in window.logicalProperties. And hence we could push filter(y=1) through window operator

Issue Number: close #xxx

Further comments

If this is a relatively large or complex change, kick off the discussion at [email protected] by explaining why you chose the solution you did and what alternatives you considered, etc...

englefly avatar May 24 '24 09:05 englefly

Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.

doris-robot avatar May 24 '24 09:05 doris-robot

run buildall

englefly avatar May 24 '24 09:05 englefly

TPC-H: Total hot run time: 40113 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 2b847822233c324dd0d1b7cc2debc0f6b95cfcf9, data reload: false

------ Round 1 ----------------------------------
q1	17865	4510	4322	4322
q2	2690	203	195	195
q3	11764	1163	1248	1163
q4	10307	811	830	811
q5	7507	2666	2693	2666
q6	221	137	135	135
q7	969	619	596	596
q8	9258	2095	2035	2035
q9	8992	6464	6492	6464
q10	9016	3776	3740	3740
q11	459	239	230	230
q12	439	221	212	212
q13	17773	2990	3003	2990
q14	263	214	219	214
q15	509	476	470	470
q16	521	388	393	388
q17	971	673	700	673
q18	8374	7852	7488	7488
q19	7839	1606	1483	1483
q20	656	314	311	311
q21	4886	3252	3299	3252
q22	346	280	275	275
Total cold run time: 121625 ms
Total hot run time: 40113 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4278	4230	4200	4200
q2	367	265	272	265
q3	2968	2758	2722	2722
q4	1877	1669	1584	1584
q5	5244	5302	5271	5271
q6	212	125	123	123
q7	2068	1730	1721	1721
q8	3189	3352	3302	3302
q9	8390	8374	8374	8374
q10	3939	3712	3702	3702
q11	594	500	486	486
q12	757	571	581	571
q13	16450	2984	3010	2984
q14	303	264	276	264
q15	519	477	464	464
q16	481	413	426	413
q17	1759	1472	1474	1472
q18	7754	7562	7432	7432
q19	1659	1547	1547	1547
q20	1994	1775	1760	1760
q21	4864	4756	4753	4753
q22	571	491	483	483
Total cold run time: 70237 ms
Total hot run time: 53893 ms

doris-robot avatar May 24 '24 09:05 doris-robot

TPC-DS: Total hot run time: 169023 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 2b847822233c324dd0d1b7cc2debc0f6b95cfcf9, data reload: false

query1	907	374	378	374
query2	6845	2306	2283	2283
query3	6657	207	204	204
query4	19810	17418	17395	17395
query5	4225	420	429	420
query6	244	162	163	162
query7	4587	309	298	298
query8	233	186	182	182
query9	8756	2430	2396	2396
query10	468	280	264	264
query11	10435	10050	10203	10050
query12	133	87	87	87
query13	1638	358	363	358
query14	9315	6721	6836	6721
query15	210	170	172	170
query16	7771	266	261	261
query17	1348	525	519	519
query18	1956	268	260	260
query19	212	162	176	162
query20	100	93	92	92
query21	197	133	133	133
query22	4162	4019	3898	3898
query23	33753	32928	33232	32928
query24	12392	2819	2799	2799
query25	659	349	361	349
query26	1816	155	154	154
query27	3051	335	321	321
query28	7702	2078	2070	2070
query29	1125	608	597	597
query30	296	175	173	173
query31	945	745	742	742
query32	89	55	53	53
query33	757	268	261	261
query34	1050	471	471	471
query35	711	613	602	602
query36	1069	944	919	919
query37	284	70	73	70
query38	2930	2746	2752	2746
query39	865	791	791	791
query40	271	121	122	121
query41	49	45	42	42
query42	107	99	99	99
query43	576	528	533	528
query44	1198	749	764	749
query45	179	161	174	161
query46	1073	758	708	708
query47	1812	1753	1776	1753
query48	369	301	294	294
query49	1194	374	388	374
query50	771	388	390	388
query51	6813	6749	6585	6585
query52	99	95	92	92
query53	356	297	283	283
query54	941	427	448	427
query55	75	74	72	72
query56	298	247	250	247
query57	1111	1054	1058	1054
query58	236	217	204	204
query59	3343	3274	3168	3168
query60	285	254	254	254
query61	86	103	89	89
query62	635	455	458	455
query63	322	294	283	283
query64	9826	2241	1703	1703
query65	3185	3096	3115	3096
query66	1383	336	331	331
query67	15034	14773	14667	14667
query68	4594	545	540	540
query69	434	269	267	267
query70	1154	1113	1128	1113
query71	403	264	266	264
query72	7722	5545	2752	2752
query73	727	325	320	320
query74	6013	5582	5543	5543
query75	3400	2572	2593	2572
query76	2814	965	1001	965
query77	404	267	274	267
query78	10182	9871	9869	9869
query79	2428	532	520	520
query80	1008	431	437	431
query81	524	247	242	242
query82	736	93	96	93
query83	248	172	179	172
query84	241	87	83	83
query85	1575	283	379	283
query86	483	288	309	288
query87	3304	3083	3125	3083
query88	4119	2434	2348	2348
query89	480	394	377	377
query90	1981	185	191	185
query91	123	95	96	95
query92	66	51	49	49
query93	1666	519	506	506
query94	1221	189	183	183
query95	403	317	311	311
query96	591	266	270	266
query97	3173	2987	2995	2987
query98	234	223	219	219
query99	1087	868	884	868
Total cold run time: 274868 ms
Total hot run time: 169023 ms

doris-robot avatar May 24 '24 09:05 doris-robot

ClickBench: Total hot run time: 30.49 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 2b847822233c324dd0d1b7cc2debc0f6b95cfcf9, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.04	0.04
query3	0.23	0.05	0.04
query4	1.67	0.08	0.10
query5	0.50	0.49	0.52
query6	1.13	0.73	0.74
query7	0.02	0.01	0.02
query8	0.05	0.04	0.05
query9	0.53	0.50	0.51
query10	0.55	0.54	0.55
query11	0.15	0.11	0.12
query12	0.15	0.12	0.12
query13	0.60	0.59	0.61
query14	0.76	0.77	0.78
query15	0.85	0.81	0.81
query16	0.36	0.34	0.34
query17	0.96	0.97	0.95
query18	0.22	0.27	0.24
query19	1.84	1.71	1.72
query20	0.02	0.01	0.02
query21	15.45	0.72	0.68
query22	4.51	6.52	1.92
query23	18.28	1.39	1.19
query24	2.02	0.23	0.22
query25	0.14	0.08	0.08
query26	0.26	0.16	0.17
query27	0.09	0.08	0.07
query28	13.26	1.02	0.99
query29	12.67	3.30	3.27
query30	0.25	0.06	0.06
query31	2.86	0.38	0.38
query32	3.30	0.47	0.47
query33	2.88	2.90	2.90
query34	17.12	4.42	4.44
query35	4.50	4.50	4.51
query36	0.66	0.46	0.46
query37	0.17	0.15	0.16
query38	0.16	0.15	0.14
query39	0.05	0.04	0.03
query40	0.16	0.14	0.14
query41	0.09	0.05	0.04
query42	0.06	0.04	0.06
query43	0.04	0.03	0.04
Total cold run time: 109.69 s
Total hot run time: 30.49 s

doris-robot avatar May 24 '24 09:05 doris-robot

run buildall

englefly avatar May 26 '24 00:05 englefly

TPC-H: Total hot run time: 41000 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit d9fdd070c474eae4d3683a3b3c237f99f035941d, data reload: false

------ Round 1 ----------------------------------
q1	17601	4401	4302	4302
q2	2015	193	190	190
q3	10481	1250	1189	1189
q4	10203	767	826	767
q5	7451	2713	2697	2697
q6	219	136	133	133
q7	984	624	617	617
q8	9207	2129	2119	2119
q9	9111	6705	6674	6674
q10	9710	3944	3831	3831
q11	442	243	254	243
q12	501	234	227	227
q13	18171	3252	3161	3161
q14	269	214	240	214
q15	505	468	487	468
q16	510	396	387	387
q17	995	757	687	687
q18	8473	7819	7714	7714
q19	6816	1577	1522	1522
q20	646	315	329	315
q21	5118	3336	3269	3269
q22	349	274	286	274
Total cold run time: 119777 ms
Total hot run time: 41000 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4548	4460	4438	4438
q2	379	287	272	272
q3	3105	2928	2936	2928
q4	1997	1565	1636	1565
q5	5386	5492	5486	5486
q6	215	129	125	125
q7	2172	1851	1856	1851
q8	3221	3437	3373	3373
q9	8508	8673	8710	8673
q10	4066	3709	3775	3709
q11	579	504	489	489
q12	793	610	653	610
q13	16819	3179	3113	3113
q14	312	300	263	263
q15	533	473	482	473
q16	503	430	452	430
q17	1821	1564	1480	1480
q18	7800	7796	7469	7469
q19	1658	1551	1511	1511
q20	2038	1803	1795	1795
q21	14420	4718	4854	4718
q22	579	491	479	479
Total cold run time: 81452 ms
Total hot run time: 55250 ms

doris-robot avatar May 26 '24 01:05 doris-robot

TPC-DS: Total hot run time: 168476 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit d9fdd070c474eae4d3683a3b3c237f99f035941d, data reload: false

query1	906	376	373	373
query2	6426	2294	2418	2294
query3	6646	209	219	209
query4	19278	17321	17326	17321
query5	4142	406	415	406
query6	241	158	146	146
query7	4582	301	282	282
query8	237	186	186	186
query9	8525	2395	2373	2373
query10	448	288	249	249
query11	10478	10028	10174	10028
query12	139	88	92	88
query13	1657	370	374	370
query14	9895	6655	6601	6601
query15	214	166	170	166
query16	7163	269	270	269
query17	1309	537	533	533
query18	1920	287	273	273
query19	198	196	165	165
query20	87	85	81	81
query21	195	129	124	124
query22	4261	4019	3937	3937
query23	33624	32919	32967	32919
query24	7774	2776	2802	2776
query25	570	352	376	352
query26	706	156	154	154
query27	2259	316	321	316
query28	5174	2070	2077	2070
query29	870	615	588	588
query30	266	172	179	172
query31	966	774	735	735
query32	98	52	53	52
query33	518	281	263	263
query34	875	463	465	463
query35	726	591	579	579
query36	1044	893	904	893
query37	109	66	71	66
query38	2916	2778	2758	2758
query39	823	780	790	780
query40	199	126	122	122
query41	46	43	42	42
query42	104	95	96	95
query43	581	553	578	553
query44	1093	735	742	735
query45	181	162	169	162
query46	1086	716	723	716
query47	1920	1813	1786	1786
query48	369	291	294	291
query49	844	367	376	367
query50	772	380	376	376
query51	6848	6787	6794	6787
query52	100	91	88	88
query53	348	285	275	275
query54	534	446	416	416
query55	73	71	69	69
query56	263	247	246	246
query57	1124	1054	1055	1054
query58	233	209	208	208
query59	3358	2998	3011	2998
query60	270	250	257	250
query61	122	86	89	86
query62	605	442	456	442
query63	308	285	280	280
query64	8458	2191	1717	1717
query65	3130	3083	3086	3083
query66	913	333	319	319
query67	15168	14794	14919	14794
query68	5349	559	534	534
query69	504	267	264	264
query70	1189	1155	1166	1155
query71	445	260	263	260
query72	8356	2721	2542	2542
query73	758	322	316	316
query74	6046	5613	5569	5569
query75	3588	2610	2620	2610
query76	3342	963	968	963
query77	569	264	259	259
query78	10232	9809	9663	9663
query79	2041	561	512	512
query80	982	437	421	421
query81	536	246	248	246
query82	1286	94	91	91
query83	240	175	169	169
query84	275	86	88	86
query85	1401	271	276	271
query86	452	301	325	301
query87	3250	3143	3107	3107
query88	4040	2338	2325	2325
query89	473	383	385	383
query90	2005	183	195	183
query91	123	98	96	96
query92	59	48	49	48
query93	2550	515	506	506
query94	1251	190	183	183
query95	418	302	302	302
query96	585	265	259	259
query97	3166	2997	3005	2997
query98	253	220	219	219
query99	1114	869	873	869
Total cold run time: 264193 ms
Total hot run time: 168476 ms

doris-robot avatar May 26 '24 01:05 doris-robot

ClickBench: Total hot run time: 30.53 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit d9fdd070c474eae4d3683a3b3c237f99f035941d, data reload: false

query1	0.04	0.04	0.04
query2	0.08	0.04	0.04
query3	0.23	0.06	0.05
query4	1.65	0.10	0.08
query5	0.48	0.48	0.50
query6	1.12	0.74	0.73
query7	0.02	0.01	0.02
query8	0.05	0.04	0.04
query9	0.54	0.49	0.49
query10	0.55	0.55	0.54
query11	0.15	0.11	0.11
query12	0.15	0.12	0.11
query13	0.59	0.59	0.58
query14	0.77	0.78	0.77
query15	0.83	0.81	0.80
query16	0.37	0.37	0.36
query17	0.98	1.03	0.98
query18	0.23	0.24	0.26
query19	1.87	1.69	1.74
query20	0.02	0.01	0.01
query21	15.75	0.65	0.64
query22	4.43	6.52	1.97
query23	18.26	1.38	1.25
query24	1.80	0.25	0.23
query25	0.14	0.08	0.08
query26	0.27	0.17	0.17
query27	0.07	0.08	0.07
query28	13.28	1.01	1.01
query29	13.85	3.27	3.25
query30	0.24	0.05	0.06
query31	2.86	0.37	0.38
query32	3.31	0.48	0.46
query33	2.88	2.87	2.93
query34	17.04	4.43	4.43
query35	4.50	4.49	4.67
query36	0.65	0.46	0.46
query37	0.17	0.15	0.15
query38	0.15	0.15	0.15
query39	0.04	0.03	0.03
query40	0.17	0.13	0.14
query41	0.09	0.05	0.05
query42	0.05	0.04	0.04
query43	0.04	0.04	0.03
Total cold run time: 110.76 s
Total hot run time: 30.53 s

doris-robot avatar May 26 '24 01:05 doris-robot

PR approved by anyone and no changes requested.

github-actions[bot] avatar May 27 '24 07:05 github-actions[bot]

add regression test and description

morrySnow avatar May 27 '24 07:05 morrySnow

PR approved by at least one committer and no changes requested.

github-actions[bot] avatar May 27 '24 08:05 github-actions[bot]

run buildall

englefly avatar May 27 '24 08:05 englefly

TPC-H: Total hot run time: 40619 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 5ea810e64ab059562fe7d3b7dd51bffd2518de4e, data reload: false

------ Round 1 ----------------------------------
q1	17608	4232	4200	4200
q2	2029	197	192	192
q3	10444	1247	1165	1165
q4	10193	835	743	743
q5	7486	2701	2643	2643
q6	217	132	124	124
q7	956	599	611	599
q8	9228	2110	2109	2109
q9	9253	6714	6725	6714
q10	9340	3897	3887	3887
q11	464	240	236	236
q12	466	222	220	220
q13	17717	3257	3052	3052
q14	266	219	238	219
q15	524	485	472	472
q16	508	387	400	387
q17	949	703	748	703
q18	8265	7731	7658	7658
q19	2883	1541	1471	1471
q20	655	325	311	311
q21	5165	3239	3994	3239
q22	365	278	275	275
Total cold run time: 114981 ms
Total hot run time: 40619 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4557	4442	4467	4442
q2	359	285	283	283
q3	3246	3012	2891	2891
q4	1945	1642	1692	1642
q5	5485	5482	5440	5440
q6	218	123	126	123
q7	2199	1809	1816	1809
q8	3186	3370	3386	3370
q9	8703	8708	8528	8528
q10	3956	3822	3812	3812
q11	598	502	517	502
q12	773	639	645	639
q13	16161	3159	3229	3159
q14	296	282	282	282
q15	533	474	473	473
q16	488	420	419	419
q17	1762	1466	1475	1466
q18	7772	7401	7405	7401
q19	1654	1538	1508	1508
q20	1976	1768	1812	1768
q21	8483	4657	4787	4657
q22	549	482	495	482
Total cold run time: 74899 ms
Total hot run time: 55096 ms

doris-robot avatar May 27 '24 09:05 doris-robot

TPC-DS: Total hot run time: 168872 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 5ea810e64ab059562fe7d3b7dd51bffd2518de4e, data reload: false

query1	926	366	365	365
query2	6442	2504	2306	2306
query3	6634	202	204	202
query4	19222	17130	17338	17130
query5	4117	416	423	416
query6	248	155	149	149
query7	4592	296	297	296
query8	241	187	176	176
query9	8611	2347	2329	2329
query10	446	284	253	253
query11	10617	10013	10144	10013
query12	140	91	87	87
query13	1638	374	381	374
query14	10054	7339	7410	7339
query15	214	168	170	168
query16	7130	267	254	254
query17	1027	519	508	508
query18	1910	280	266	266
query19	190	151	148	148
query20	93	85	88	85
query21	195	132	135	132
query22	4341	4183	3902	3902
query23	33436	33007	33007	33007
query24	4986	2892	2878	2878
query25	469	375	356	356
query26	691	158	157	157
query27	1842	316	318	316
query28	3588	2027	2027	2027
query29	817	637	593	593
query30	213	147	153	147
query31	900	740	734	734
query32	59	50	56	50
query33	448	269	260	260
query34	855	461	464	461
query35	701	601	573	573
query36	1044	916	918	916
query37	101	67	66	66
query38	2878	2802	2788	2788
query39	805	785	789	785
query40	193	126	123	123
query41	48	44	45	44
query42	103	99	93	93
query43	587	557	529	529
query44	1082	736	748	736
query45	178	165	158	158
query46	1048	761	702	702
query47	1853	1829	1808	1808
query48	386	294	288	288
query49	763	377	380	377
query50	762	385	390	385
query51	6785	6766	6656	6656
query52	106	91	91	91
query53	351	282	275	275
query54	529	446	431	431
query55	72	74	70	70
query56	259	230	255	230
query57	1111	1050	1045	1045
query58	220	212	208	208
query59	3233	3174	3151	3151
query60	269	272	274	272
query61	143	87	92	87
query62	551	476	457	457
query63	306	280	284	280
query64	2493	1704	1719	1704
query65	3163	3081	3154	3081
query66	757	384	327	327
query67	15185	14745	14712	14712
query68	4560	538	536	536
query69	449	271	261	261
query70	1180	1078	1130	1078
query71	364	267	261	261
query72	7690	2756	2497	2497
query73	697	322	319	319
query74	6070	5599	5542	5542
query75	3277	2630	2634	2630
query76	2332	1027	934	934
query77	372	259	265	259
query78	10139	9819	9579	9579
query79	2472	502	504	502
query80	1047	430	443	430
query81	509	222	228	222
query82	1282	95	92	92
query83	240	179	179	179
query84	269	92	88	88
query85	1158	350	258	258
query86	458	312	304	304
query87	3309	3124	3157	3124
query88	4208	2445	2437	2437
query89	462	390	382	382
query90	2059	193	183	183
query91	123	104	97	97
query92	57	50	48	48
query93	2901	502	489	489
query94	1233	196	191	191
query95	387	304	305	304
query96	593	269	267	267
query97	3199	2990	2997	2990
query98	239	218	210	210
query99	1229	847	857	847
Total cold run time: 249961 ms
Total hot run time: 168872 ms

doris-robot avatar May 27 '24 09:05 doris-robot

ClickBench: Total hot run time: 30.77 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 5ea810e64ab059562fe7d3b7dd51bffd2518de4e, data reload: false

query1	0.04	0.03	0.03
query2	0.07	0.04	0.05
query3	0.23	0.05	0.05
query4	1.67	0.06	0.07
query5	0.49	0.49	0.52
query6	1.13	0.73	0.72
query7	0.02	0.01	0.01
query8	0.05	0.04	0.05
query9	0.55	0.48	0.49
query10	0.56	0.55	0.53
query11	0.17	0.11	0.12
query12	0.14	0.13	0.12
query13	0.58	0.58	0.58
query14	0.80	0.77	0.78
query15	0.83	0.81	0.80
query16	0.37	0.39	0.37
query17	1.03	0.97	0.99
query18	0.21	0.24	0.24
query19	1.77	1.77	1.68
query20	0.01	0.01	0.01
query21	15.57	0.66	0.64
query22	4.38	6.67	2.23
query23	18.34	1.36	1.26
query24	1.91	0.23	0.21
query25	0.14	0.08	0.08
query26	0.25	0.17	0.16
query27	0.07	0.08	0.07
query28	13.32	1.02	1.00
query29	13.82	3.30	3.27
query30	0.24	0.05	0.07
query31	2.87	0.38	0.37
query32	3.29	0.46	0.46
query33	2.88	2.94	2.87
query34	17.21	4.46	4.54
query35	4.52	4.52	4.57
query36	0.68	0.45	0.46
query37	0.17	0.15	0.16
query38	0.15	0.14	0.14
query39	0.05	0.03	0.03
query40	0.16	0.14	0.14
query41	0.09	0.04	0.04
query42	0.05	0.05	0.04
query43	0.03	0.03	0.04
Total cold run time: 110.91 s
Total hot run time: 30.77 s

doris-robot avatar May 27 '24 09:05 doris-robot

run buildall

englefly avatar May 27 '24 10:05 englefly

TPC-H: Total hot run time: 41453 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit f7a8e870e727f0e16c939c14ffccf4ae7f6fcc3f, data reload: false

------ Round 1 ----------------------------------
q1	17602	4335	4305	4305
q2	2020	194	192	192
q3	10455	1278	1177	1177
q4	10195	760	841	760
q5	7471	2873	2729	2729
q6	220	131	135	131
q7	987	612	614	612
q8	9229	2108	2103	2103
q9	9257	6730	6785	6730
q10	10002	3962	3886	3886
q11	434	239	240	239
q12	503	235	238	235
q13	17205	3206	3280	3206
q14	284	227	234	227
q15	515	479	462	462
q16	500	391	398	391
q17	994	766	696	696
q18	8349	7890	7918	7890
q19	2676	1568	1568	1568
q20	631	314	314	314
q21	5238	3328	4023	3328
q22	358	272	288	272
Total cold run time: 115125 ms
Total hot run time: 41453 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4523	4622	4473	4473
q2	384	272	279	272
q3	3185	2985	3016	2985
q4	1955	1569	1599	1569
q5	5490	5509	5494	5494
q6	219	125	129	125
q7	2241	1852	1852	1852
q8	3293	3399	3388	3388
q9	8703	8791	8760	8760
q10	3974	3764	3916	3764
q11	618	509	495	495
q12	831	628	637	628
q13	17352	3150	3207	3150
q14	307	279	267	267
q15	532	489	475	475
q16	509	433	414	414
q17	1786	1494	1478	1478
q18	7688	7657	7350	7350
q19	1672	1574	1572	1572
q20	2045	1796	1795	1795
q21	10506	4717	4648	4648
q22	566	471	494	471
Total cold run time: 78379 ms
Total hot run time: 55425 ms

doris-robot avatar May 27 '24 12:05 doris-robot

TPC-DS: Total hot run time: 172341 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit f7a8e870e727f0e16c939c14ffccf4ae7f6fcc3f, data reload: false

query1	922	405	395	395
query2	6446	2335	2279	2279
query3	6635	208	214	208
query4	22265	17487	17522	17487
query5	4115	429	463	429
query6	244	174	153	153
query7	4598	294	292	292
query8	240	184	180	180
query9	8545	2351	2311	2311
query10	458	277	260	260
query11	10672	10289	10118	10118
query12	136	90	92	90
query13	1646	360	387	360
query14	9571	6888	8373	6888
query15	219	174	170	170
query16	7135	263	268	263
query17	1016	528	524	524
query18	1936	302	282	282
query19	205	160	154	154
query20	93	89	85	85
query21	198	138	142	138
query22	4397	4023	3864	3864
query23	33654	33022	33056	33022
query24	5057	2795	2864	2795
query25	468	356	359	356
query26	691	159	159	159
query27	1832	328	319	319
query28	3708	2013	2022	2013
query29	841	609	593	593
query30	244	164	161	161
query31	918	767	744	744
query32	59	52	57	52
query33	436	308	263	263
query34	892	489	484	484
query35	705	614	619	614
query36	1031	951	912	912
query37	107	66	71	66
query38	2875	2780	2760	2760
query39	892	822	816	816
query40	202	128	127	127
query41	47	43	43	43
query42	105	97	97	97
query43	570	557	545	545
query44	1086	726	756	726
query45	175	160	161	160
query46	1068	709	736	709
query47	1856	1800	1786	1786
query48	384	306	303	303
query49	765	383	425	383
query50	775	404	400	400
query51	7062	6698	6830	6698
query52	106	96	92	92
query53	355	294	293	293
query54	547	440	439	439
query55	81	73	72	72
query56	262	242	251	242
query57	1157	1047	1012	1012
query58	225	221	213	213
query59	3465	3488	3324	3324
query60	282	255	261	255
query61	92	90	91	90
query62	568	453	442	442
query63	321	291	295	291
query64	2703	1743	1711	1711
query65	3252	3155	3174	3155
query66	665	336	346	336
query67	15033	14749	14931	14749
query68	4583	538	538	538
query69	426	273	282	273
query70	1064	1119	1125	1119
query71	410	278	277	277
query72	7491	5147	5755	5147
query73	717	327	323	323
query74	5946	5661	5703	5661
query75	3385	2665	2663	2663
query76	2199	1022	955	955
query77	382	267	264	264
query78	10441	9872	9673	9673
query79	2400	509	513	509
query80	1030	451	438	438
query81	525	235	232	232
query82	706	92	95	92
query83	236	171	170	170
query84	266	87	90	87
query85	1386	271	273	271
query86	515	304	301	301
query87	3380	3107	3087	3087
query88	4338	2486	2444	2444
query89	490	413	406	406
query90	2018	191	196	191
query91	135	175	96	96
query92	61	51	53	51
query93	2252	504	499	499
query94	1298	186	186	186
query95	400	310	313	310
query96	600	264	276	264
query97	3228	2994	3011	2994
query98	268	234	221	221
query99	1223	847	853	847
Total cold run time: 253110 ms
Total hot run time: 172341 ms

doris-robot avatar May 27 '24 12:05 doris-robot

ClickBench: Total hot run time: 30.65 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit f7a8e870e727f0e16c939c14ffccf4ae7f6fcc3f, data reload: false

query1	0.04	0.03	0.04
query2	0.08	0.04	0.04
query3	0.23	0.05	0.04
query4	1.68	0.07	0.07
query5	0.47	0.49	0.50
query6	1.13	0.74	0.72
query7	0.02	0.01	0.02
query8	0.05	0.04	0.05
query9	0.55	0.49	0.49
query10	0.55	0.55	0.54
query11	0.15	0.11	0.11
query12	0.15	0.12	0.12
query13	0.59	0.59	0.59
query14	0.79	0.79	0.77
query15	0.82	0.80	0.82
query16	0.37	0.35	0.36
query17	0.98	0.97	0.96
query18	0.20	0.27	0.25
query19	1.81	1.80	1.66
query20	0.02	0.01	0.01
query21	15.43	0.73	0.67
query22	4.56	6.50	2.15
query23	18.26	1.35	1.24
query24	1.63	0.28	0.21
query25	0.14	0.09	0.08
query26	0.27	0.17	0.16
query27	0.08	0.08	0.08
query28	13.36	1.03	0.99
query29	13.03	3.32	3.23
query30	0.24	0.05	0.05
query31	2.87	0.39	0.38
query32	3.28	0.47	0.47
query33	2.87	2.98	2.87
query34	17.04	4.42	4.51
query35	4.48	4.51	4.60
query36	0.71	0.46	0.46
query37	0.17	0.15	0.15
query38	0.16	0.15	0.15
query39	0.04	0.03	0.04
query40	0.17	0.14	0.14
query41	0.09	0.04	0.04
query42	0.05	0.05	0.04
query43	0.04	0.04	0.04
Total cold run time: 109.65 s
Total hot run time: 30.65 s

doris-robot avatar May 27 '24 12:05 doris-robot

PR approved by at least one committer and no changes requested.

github-actions[bot] avatar May 28 '24 01:05 github-actions[bot]