doris icon indicating copy to clipboard operation
doris copied to clipboard

[opt](nereids)calculate expression cost

Open englefly opened this issue 1 year ago • 8 comments

Proposed changes

Issue Number: close #xxx

englefly avatar May 31 '24 03:05 englefly

Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.

doris-robot avatar May 31 '24 03:05 doris-robot

run buildall

englefly avatar May 31 '24 06:05 englefly

run buildall

englefly avatar May 31 '24 06:05 englefly

TPC-H: Total hot run time: 41983 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 4205550028a5d4f03ca7740aa97f74384f1fd57f, data reload: false

------ Round 1 ----------------------------------
q1	17638	4353	4273	4273
q2	2033	196	198	196
q3	10462	1247	1221	1221
q4	10194	903	846	846
q5	7492	2702	2686	2686
q6	219	135	140	135
q7	967	616	641	616
q8	9225	2108	2079	2079
q9	10165	6729	6789	6729
q10	9767	3939	3838	3838
q11	442	244	259	244
q12	431	249	238	238
q13	17349	3217	3223	3217
q14	280	223	223	223
q15	506	475	468	468
q16	488	377	398	377
q17	985	647	747	647
q18	8356	7834	7826	7826
q19	3505	1560	1470	1470
q20	657	324	315	315
q21	5144	3990	4049	3990
q22	410	356	349	349
Total cold run time: 116715 ms
Total hot run time: 41983 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4726	4459	4412	4412
q2	374	272	291	272
q3	3155	2990	2720	2720
q4	1899	1564	1652	1564
q5	5506	5505	5484	5484
q6	217	123	128	123
q7	2243	1819	1732	1732
q8	3199	3387	3361	3361
q9	8584	8707	8662	8662
q10	3935	3708	3900	3708
q11	605	511	501	501
q12	814	613	614	613
q13	16916	3118	3181	3118
q14	315	272	274	272
q15	529	489	477	477
q16	495	420	427	420
q17	1765	1473	1460	1460
q18	7678	7535	7316	7316
q19	1686	1675	1576	1576
q20	1954	1785	1781	1781
q21	8008	4687	4820	4687
q22	601	525	534	525
Total cold run time: 75204 ms
Total hot run time: 54784 ms

doris-robot avatar May 31 '24 07:05 doris-robot

TPC-DS: Total hot run time: 168255 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 4205550028a5d4f03ca7740aa97f74384f1fd57f, data reload: false

query1	934	373	365	365
query2	6607	2453	2387	2387
query3	6642	208	203	203
query4	19940	17238	17249	17238
query5	4230	422	438	422
query6	264	162	160	160
query7	4586	314	296	296
query8	311	297	279	279
query9	8513	2411	2361	2361
query10	455	314	270	270
query11	10444	10082	9971	9971
query12	149	88	87	87
query13	1649	391	355	355
query14	10187	6109	7492	6109
query15	243	194	192	192
query16	7768	270	265	265
query17	1373	522	505	505
query18	1962	271	275	271
query19	213	168	150	150
query20	95	85	87	85
query21	201	139	130	130
query22	4254	3930	3791	3791
query23	33472	33259	32829	32829
query24	8449	2840	2896	2840
query25	589	353	360	353
query26	704	157	158	157
query27	2226	313	321	313
query28	5581	2053	2043	2043
query29	871	610	597	597
query30	251	146	150	146
query31	993	765	759	759
query32	96	53	54	53
query33	605	268	267	267
query34	864	489	484	484
query35	707	597	590	590
query36	1059	908	924	908
query37	104	66	68	66
query38	2875	2781	2756	2756
query39	874	787	776	776
query40	200	129	133	129
query41	87	53	53	53
query42	102	98	93	93
query43	565	580	543	543
query44	1079	720	746	720
query45	182	167	175	167
query46	1071	712	748	712
query47	1841	1727	1769	1727
query48	369	296	295	295
query49	838	393	389	389
query50	772	395	392	392
query51	6896	6639	6720	6639
query52	99	94	90	90
query53	356	292	293	292
query54	634	454	437	437
query55	73	72	72	72
query56	264	239	243	239
query57	1091	1000	1044	1000
query58	231	240	200	200
query59	3442	3220	3278	3220
query60	282	261	256	256
query61	90	86	92	86
query62	614	455	445	445
query63	316	293	302	293
query64	8505	2280	1726	1726
query65	3158	3114	3107	3107
query66	783	323	329	323
query67	15143	14665	14830	14665
query68	4592	537	533	533
query69	448	279	271	271
query70	1066	1085	1139	1085
query71	370	275	271	271
query72	7578	2867	2741	2741
query73	719	321	324	321
query74	6020	5583	5635	5583
query75	3292	2649	2624	2624
query76	2279	988	1011	988
query77	394	270	274	270
query78	10328	9758	9819	9758
query79	2414	508	510	508
query80	918	450	441	441
query81	536	221	218	218
query82	814	95	88	88
query83	256	176	176	176
query84	256	87	87	87
query85	1190	324	321	321
query86	428	325	315	315
query87	3271	3098	3133	3098
query88	4329	2364	2363	2363
query89	486	382	375	375
query90	2057	185	188	185
query91	132	109	109	109
query92	60	50	51	50
query93	1722	514	495	495
query94	1294	193	189	189
query95	405	318	315	315
query96	590	275	262	262
query97	3150	3013	3023	3013
query98	245	219	219	219
query99	1158	844	853	844
Total cold run time: 263220 ms
Total hot run time: 168255 ms

doris-robot avatar May 31 '24 07:05 doris-robot

ClickBench: Total hot run time: 30.35 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 4205550028a5d4f03ca7740aa97f74384f1fd57f, data reload: false

query1	0.04	0.03	0.03
query2	0.09	0.04	0.03
query3	0.23	0.05	0.05
query4	1.67	0.06	0.06
query5	0.49	0.49	0.49
query6	1.12	0.73	0.73
query7	0.02	0.01	0.01
query8	0.05	0.04	0.05
query9	0.53	0.49	0.49
query10	0.54	0.56	0.53
query11	0.16	0.11	0.12
query12	0.15	0.12	0.12
query13	0.59	0.59	0.59
query14	0.76	0.76	0.78
query15	0.82	0.79	0.81
query16	0.36	0.37	0.37
query17	1.01	1.01	0.95
query18	0.20	0.24	0.25
query19	1.85	1.71	1.75
query20	0.02	0.01	0.01
query21	15.74	0.65	0.65
query22	4.54	6.60	1.84
query23	18.30	1.30	1.26
query24	1.88	0.28	0.21
query25	0.16	0.07	0.09
query26	0.27	0.16	0.16
query27	0.08	0.08	0.08
query28	13.25	1.03	0.99
query29	13.09	3.33	3.27
query30	0.26	0.05	0.05
query31	2.86	0.38	0.38
query32	3.30	0.47	0.46
query33	2.91	2.86	2.92
query34	17.23	4.41	4.47
query35	4.47	4.51	4.50
query36	0.69	0.51	0.49
query37	0.17	0.15	0.15
query38	0.15	0.14	0.14
query39	0.05	0.03	0.04
query40	0.16	0.13	0.14
query41	0.09	0.05	0.04
query42	0.06	0.04	0.05
query43	0.04	0.04	0.03
Total cold run time: 110.45 s
Total hot run time: 30.35 s

doris-robot avatar May 31 '24 07:05 doris-robot

run buildall

englefly avatar May 31 '24 07:05 englefly

run buildall

englefly avatar May 31 '24 07:05 englefly

TPC-H: Total hot run time: 41980 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit e1ccaa22d35e808ebb37a990fd69f144d9e7ad78, data reload: false

------ Round 1 ----------------------------------
q1	17603	4313	4273	4273
q2	2032	198	197	197
q3	10446	1222	1148	1148
q4	10199	925	767	767
q5	7486	2753	2726	2726
q6	224	135	138	135
q7	970	630	633	630
q8	9222	2123	2061	2061
q9	9270	6681	6657	6657
q10	9604	3946	3939	3939
q11	458	247	254	247
q12	445	235	254	235
q13	17268	3246	3208	3208
q14	271	232	217	217
q15	519	466	480	466
q16	501	414	418	414
q17	991	751	767	751
q18	8221	7792	7815	7792
q19	4782	1590	1445	1445
q20	639	328	339	328
q21	5105	4014	4093	4014
q22	400	330	336	330
Total cold run time: 116656 ms
Total hot run time: 41980 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4491	4483	4453	4453
q2	375	279	271	271
q3	3108	2914	2862	2862
q4	2032	1654	1617	1617
q5	5319	5483	5510	5483
q6	217	129	129	129
q7	2185	1832	1830	1830
q8	3213	3407	3385	3385
q9	8646	8615	8700	8615
q10	4057	3738	3722	3722
q11	603	489	491	489
q12	796	657	639	639
q13	16185	3196	3185	3185
q14	311	277	277	277
q15	542	482	494	482
q16	510	444	451	444
q17	1820	1512	1530	1512
q18	7807	7563	7384	7384
q19	1660	1437	1537	1437
q20	1960	1800	1802	1800
q21	4893	4802	4691	4691
q22	604	524	519	519
Total cold run time: 71334 ms
Total hot run time: 55226 ms

doris-robot avatar May 31 '24 08:05 doris-robot

TPC-DS: Total hot run time: 172646 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit e1ccaa22d35e808ebb37a990fd69f144d9e7ad78, data reload: false

query1	924	384	377	377
query2	6442	2316	2458	2316
query3	6635	204	213	204
query4	19610	17376	17309	17309
query5	4093	433	431	431
query6	242	160	159	159
query7	4585	294	298	294
query8	313	289	287	287
query9	8576	2387	2390	2387
query10	463	281	279	279
query11	10442	10036	9964	9964
query12	136	93	85	85
query13	1643	381	374	374
query14	10178	6974	7020	6974
query15	230	200	219	200
query16	7349	271	268	268
query17	1294	528	539	528
query18	1920	271	271	271
query19	200	157	171	157
query20	93	85	85	85
query21	194	137	131	131
query22	4067	3881	4058	3881
query23	33389	32936	33049	32936
query24	5117	2857	2915	2857
query25	451	368	384	368
query26	698	159	163	159
query27	1821	324	325	324
query28	3775	2075	2080	2075
query29	824	613	597	597
query30	233	154	154	154
query31	931	741	772	741
query32	60	52	55	52
query33	498	294	264	264
query34	850	478	484	478
query35	690	609	595	595
query36	1031	926	922	922
query37	106	67	70	67
query38	2930	2769	2792	2769
query39	826	809	801	801
query40	198	129	128	128
query41	54	51	54	51
query42	103	101	97	97
query43	583	581	527	527
query44	1065	741	738	738
query45	186	164	164	164
query46	1070	753	728	728
query47	1848	1787	1786	1786
query48	376	297	287	287
query49	758	399	396	396
query50	773	401	397	397
query51	6915	6715	6747	6715
query52	104	96	93	93
query53	355	292	303	292
query54	547	436	424	424
query55	75	73	73	73
query56	281	241	257	241
query57	1110	1092	1095	1092
query58	261	210	209	209
query59	3318	3120	3192	3120
query60	276	263	256	256
query61	89	88	86	86
query62	540	453	463	453
query63	318	299	294	294
query64	2554	1764	1775	1764
query65	3228	3157	3112	3112
query66	853	322	328	322
query67	15166	14771	14724	14724
query68	4563	552	537	537
query69	451	296	280	280
query70	1129	1077	1148	1077
query71	381	275	276	275
query72	7565	5648	5604	5604
query73	713	330	324	324
query74	6071	5631	5590	5590
query75	3303	2601	2628	2601
query76	2250	1011	998	998
query77	380	264	269	264
query78	10097	9794	10077	9794
query79	2020	519	527	519
query80	855	437	438	437
query81	510	226	223	223
query82	654	95	94	94
query83	233	171	178	171
query84	254	87	88	87
query85	869	262	278	262
query86	456	316	326	316
query87	3297	3150	3105	3105
query88	3840	2349	2369	2349
query89	467	401	382	382
query90	2065	193	192	192
query91	136	106	107	106
query92	62	51	52	51
query93	1352	522	507	507
query94	1159	256	188	188
query95	414	309	317	309
query96	579	259	266	259
query97	3205	2996	3012	2996
query98	249	217	225	217
query99	1154	871	843	843
Total cold run time: 247596 ms
Total hot run time: 172646 ms

doris-robot avatar May 31 '24 08:05 doris-robot

ClickBench: Total hot run time: 30.31 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit e1ccaa22d35e808ebb37a990fd69f144d9e7ad78, data reload: false

query1	0.04	0.04	0.03
query2	0.08	0.04	0.04
query3	0.22	0.05	0.05
query4	1.67	0.08	0.08
query5	0.50	0.49	0.49
query6	1.12	0.73	0.73
query7	0.02	0.01	0.01
query8	0.05	0.04	0.04
query9	0.54	0.49	0.49
query10	0.54	0.54	0.52
query11	0.15	0.11	0.12
query12	0.15	0.12	0.13
query13	0.60	0.59	0.60
query14	0.78	0.77	0.79
query15	0.83	0.82	0.80
query16	0.37	0.38	0.37
query17	1.00	0.94	1.02
query18	0.21	0.26	0.24
query19	1.81	1.70	1.76
query20	0.01	0.01	0.01
query21	15.63	0.66	0.65
query22	4.59	7.42	1.62
query23	18.33	1.42	1.28
query24	1.45	0.30	0.25
query25	0.15	0.09	0.09
query26	0.27	0.16	0.17
query27	0.08	0.07	0.07
query28	13.51	1.03	1.00
query29	13.77	3.32	3.26
query30	0.24	0.05	0.06
query31	2.90	0.39	0.39
query32	3.26	0.48	0.48
query33	2.94	2.94	2.89
query34	17.30	4.39	4.41
query35	4.50	4.53	4.69
query36	0.65	0.46	0.49
query37	0.18	0.15	0.17
query38	0.15	0.15	0.15
query39	0.05	0.03	0.03
query40	0.17	0.14	0.14
query41	0.10	0.05	0.05
query42	0.05	0.05	0.05
query43	0.04	0.04	0.04
Total cold run time: 111 s
Total hot run time: 30.31 s

doris-robot avatar May 31 '24 08:05 doris-robot

run cloud_p1

morrySnow avatar Jun 03 '24 08:06 morrySnow

PR approved by at least one committer and no changes requested.

github-actions[bot] avatar Jun 03 '24 08:06 github-actions[bot]

PR approved by anyone and no changes requested.

github-actions[bot] avatar Jun 03 '24 08:06 github-actions[bot]