doris icon indicating copy to clipboard operation
doris copied to clipboard

[opt](Nereids) forbid one step topn with distribute as child

Open morrySnow opened this issue 1 year ago • 12 comments

morrySnow avatar Aug 28 '24 11:08 morrySnow

Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.

doris-robot avatar Aug 28 '24 11:08 doris-robot

run buildall

morrySnow avatar Aug 28 '24 11:08 morrySnow

run buildall

morrySnow avatar Aug 28 '24 11:08 morrySnow

TPC-H: Total hot run time: 38362 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 7757b726716ce17339c664286808ca0b0359a6a9, data reload: false

------ Round 1 ----------------------------------
q1	18248	4522	4373	4373
q2	2018	180	173	173
q3	10488	1129	1094	1094
q4	10147	728	816	728
q5	7730	2887	2822	2822
q6	226	138	140	138
q7	959	610	597	597
q8	9342	2042	2080	2042
q9	6987	6556	6554	6554
q10	7014	2199	2231	2199
q11	468	243	246	243
q12	397	230	229	229
q13	17775	3037	3036	3036
q14	274	252	237	237
q15	546	499	485	485
q16	570	507	494	494
q17	990	678	668	668
q18	7386	7117	6819	6819
q19	1401	1060	980	980
q20	683	332	326	326
q21	3807	3144	3083	3083
q22	1144	1052	1042	1042
Total cold run time: 108600 ms
Total hot run time: 38362 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4331	4302	4305	4302
q2	366	282	278	278
q3	2906	2649	2660	2649
q4	1968	1698	1640	1640
q5	5371	5374	5382	5374
q6	226	133	130	130
q7	2104	1738	1755	1738
q8	3204	3387	3340	3340
q9	8397	8397	8407	8397
q10	3463	3215	3213	3213
q11	615	496	505	496
q12	808	627	636	627
q13	10965	3027	3040	3027
q14	303	263	265	263
q15	528	479	487	479
q16	592	568	567	567
q17	1789	1490	1482	1482
q18	7773	7396	7456	7396
q19	1699	1564	1606	1564
q20	2036	1829	1823	1823
q21	5575	5295	5152	5152
q22	1138	1073	1059	1059
Total cold run time: 66157 ms
Total hot run time: 54996 ms

doris-robot avatar Aug 28 '24 12:08 doris-robot

TPC-DS: Total hot run time: 188908 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 7757b726716ce17339c664286808ca0b0359a6a9, data reload: false

query1	909	380	365	365
query2	6460	1991	1894	1894
query3	6650	218	228	218
query4	33854	23272	23336	23272
query5	4148	505	477	477
query6	247	170	166	166
query7	4593	296	298	296
query8	261	231	214	214
query9	8435	2495	2484	2484
query10	427	265	260	260
query11	17166	14896	15074	14896
query12	158	103	102	102
query13	1618	380	388	380
query14	9753	7569	6875	6875
query15	294	175	178	175
query16	7988	503	491	491
query17	1586	565	563	563
query18	2013	296	305	296
query19	265	154	155	154
query20	122	111	113	111
query21	213	106	105	105
query22	4517	4509	4353	4353
query23	34046	33345	33242	33242
query24	11076	2983	2884	2884
query25	641	404	406	404
query26	1138	171	163	163
query27	2587	290	288	288
query28	7305	2141	2129	2129
query29	821	436	442	436
query30	311	162	153	153
query31	994	772	785	772
query32	101	59	62	59
query33	775	292	315	292
query34	954	488	494	488
query35	853	720	707	707
query36	1088	941	942	941
query37	156	88	99	88
query38	3993	3953	3848	3848
query39	1428	1427	1417	1417
query40	201	119	120	119
query41	53	47	46	46
query42	114	99	99	99
query43	529	488	469	469
query44	1211	768	756	756
query45	201	180	173	173
query46	1108	744	794	744
query47	1901	1794	1831	1794
query48	382	301	299	299
query49	1081	456	444	444
query50	811	409	424	409
query51	7276	7149	7150	7149
query52	98	89	91	89
query53	259	192	187	187
query54	1095	465	470	465
query55	82	76	84	76
query56	288	298	256	256
query57	1191	1072	1053	1053
query58	247	226	239	226
query59	2995	2705	2830	2705
query60	313	272	282	272
query61	122	122	119	119
query62	824	659	667	659
query63	216	187	185	185
query64	5439	673	678	673
query65	3366	3140	3194	3140
query66	1400	333	345	333
query67	15647	15490	15505	15490
query68	4671	563	568	563
query69	448	280	285	280
query70	1183	1090	1045	1045
query71	406	269	266	266
query72	6687	3960	3959	3959
query73	749	337	339	337
query74	9360	8874	8832	8832
query75	3421	2672	2635	2635
query76	2846	1015	1023	1015
query77	504	328	328	328
query78	9920	9298	9377	9298
query79	2214	533	537	533
query80	1094	510	493	493
query81	589	242	236	236
query82	737	146	152	146
query83	214	157	149	149
query84	226	79	78	78
query85	1376	290	280	280
query86	450	285	273	273
query87	4333	4401	4434	4401
query88	3006	2341	2378	2341
query89	388	300	282	282
query90	1787	197	195	195
query91	126	102	97	97
query92	70	54	51	51
query93	1493	551	541	541
query94	873	302	300	300
query95	358	262	266	262
query96	602	278	271	271
query97	3177	3071	3037	3037
query98	215	204	205	204
query99	1509	1293	1322	1293
Total cold run time: 293426 ms
Total hot run time: 188908 ms

doris-robot avatar Aug 28 '24 12:08 doris-robot

ClickBench: Total hot run time: 32.05 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 7757b726716ce17339c664286808ca0b0359a6a9, data reload: false

query1	0.04	0.04	0.04
query2	0.08	0.05	0.04
query3	0.22	0.05	0.04
query4	1.68	0.07	0.08
query5	0.52	0.50	0.49
query6	1.12	0.73	0.73
query7	0.03	0.01	0.02
query8	0.05	0.04	0.05
query9	0.54	0.48	0.49
query10	0.55	0.55	0.55
query11	0.16	0.12	0.11
query12	0.15	0.12	0.11
query13	0.61	0.59	0.60
query14	2.03	2.04	2.11
query15	0.90	0.82	0.84
query16	0.35	0.40	0.38
query17	1.06	1.06	1.06
query18	0.23	0.20	0.21
query19	1.95	1.80	1.91
query20	0.02	0.01	0.01
query21	15.40	0.68	0.67
query22	3.75	7.84	1.85
query23	18.27	1.27	1.30
query24	2.14	0.25	0.21
query25	0.16	0.08	0.08
query26	0.26	0.18	0.17
query27	0.07	0.08	0.08
query28	13.15	1.02	1.00
query29	12.57	3.33	3.32
query30	0.24	0.07	0.05
query31	2.86	0.40	0.39
query32	3.26	0.49	0.47
query33	2.96	2.95	3.03
query34	17.07	4.41	4.43
query35	4.49	4.47	4.42
query36	0.65	0.48	0.47
query37	0.19	0.16	0.16
query38	0.16	0.15	0.15
query39	0.05	0.04	0.04
query40	0.17	0.14	0.14
query41	0.10	0.05	0.05
query42	0.06	0.05	0.05
query43	0.05	0.04	0.04
Total cold run time: 110.37 s
Total hot run time: 32.05 s

doris-robot avatar Aug 28 '24 12:08 doris-robot

run buildall

morrySnow avatar Aug 29 '24 03:08 morrySnow

TPC-H: Total hot run time: 38449 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 85fa71d98825cc31c5ae5e568be1016a6335bfbc, data reload: false

------ Round 1 ----------------------------------
q1	17619	4404	4292	4292
q2	2010	181	172	172
q3	10485	1133	1150	1133
q4	10148	693	705	693
q5	7739	2902	2847	2847
q6	227	137	138	137
q7	979	606	596	596
q8	9330	2091	2063	2063
q9	8353	6588	6582	6582
q10	7069	2198	2234	2198
q11	503	238	241	238
q12	531	233	228	228
q13	18813	3032	3050	3032
q14	295	245	241	241
q15	513	490	483	483
q16	619	508	502	502
q17	989	660	740	660
q18	7457	6947	6974	6947
q19	1383	1170	981	981
q20	678	321	331	321
q21	4168	3152	3122	3122
q22	1122	981	1011	981
Total cold run time: 111030 ms
Total hot run time: 38449 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4347	4303	4315	4303
q2	377	263	273	263
q3	2910	2644	2679	2644
q4	1946	1673	1637	1637
q5	5437	5439	5450	5439
q6	221	131	132	131
q7	2145	1774	1754	1754
q8	3207	3375	3378	3375
q9	8520	8511	8469	8469
q10	3455	3203	3183	3183
q11	591	527	492	492
q12	798	603	624	603
q13	9987	3069	3048	3048
q14	312	285	270	270
q15	525	493	499	493
q16	600	558	557	557
q17	1809	1515	1515	1515
q18	7642	7521	7418	7418
q19	1691	1674	1538	1538
q20	2062	1858	1828	1828
q21	5485	5348	5242	5242
q22	1142	1081	1035	1035
Total cold run time: 65209 ms
Total hot run time: 55237 ms

doris-robot avatar Aug 29 '24 04:08 doris-robot

TPC-DS: Total hot run time: 188525 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 85fa71d98825cc31c5ae5e568be1016a6335bfbc, data reload: false

query1	907	386	378	378
query2	6414	2019	1860	1860
query3	6463	223	226	223
query4	33939	23212	23211	23211
query5	4095	514	508	508
query6	254	167	172	167
query7	4397	315	298	298
query8	249	207	203	203
query9	7951	2486	2470	2470
query10	410	267	270	267
query11	17294	15059	15020	15020
query12	152	101	96	96
query13	1346	382	377	377
query14	9651	7152	7465	7152
query15	264	168	173	168
query16	7567	475	485	475
query17	1415	578	580	578
query18	2062	291	290	290
query19	271	143	147	143
query20	116	111	110	110
query21	210	107	104	104
query22	4633	4104	4107	4104
query23	34197	33173	33465	33173
query24	9953	3019	2877	2877
query25	621	385	386	385
query26	1079	171	163	163
query27	2609	288	282	282
query28	6629	2131	2109	2109
query29	809	419	408	408
query30	284	180	153	153
query31	977	740	784	740
query32	96	55	61	55
query33	696	290	284	284
query34	876	513	492	492
query35	856	717	705	705
query36	1114	924	919	919
query37	176	97	98	97
query38	4032	3915	3860	3860
query39	1435	1387	1397	1387
query40	198	123	120	120
query41	48	48	45	45
query42	121	98	102	98
query43	518	467	467	467
query44	1284	764	764	764
query45	194	164	170	164
query46	1106	725	748	725
query47	1879	1785	1779	1779
query48	381	316	311	311
query49	1113	468	434	434
query50	834	419	430	419
query51	7183	7063	7055	7055
query52	98	88	88	88
query53	270	197	189	189
query54	881	458	470	458
query55	82	77	77	77
query56	288	264	260	260
query57	1190	1044	1035	1035
query58	233	236	242	236
query59	2947	2730	2821	2730
query60	298	269	292	269
query61	104	97	130	97
query62	849	660	698	660
query63	218	186	183	183
query64	4373	701	664	664
query65	3216	3190	3182	3182
query66	983	344	344	344
query67	15597	15435	15265	15265
query68	3205	606	587	587
query69	405	289	288	288
query70	1210	1129	1127	1127
query71	346	283	286	283
query72	6511	4241	4102	4102
query73	774	345	343	343
query74	9186	8866	8801	8801
query75	3406	2711	2696	2696
query76	1862	980	984	980
query77	502	340	335	335
query78	9749	9024	9046	9024
query79	1065	561	554	554
query80	801	545	539	539
query81	589	242	241	241
query82	256	157	144	144
query83	240	158	160	158
query84	237	85	81	81
query85	1071	346	339	339
query86	322	303	278	278
query87	4421	4404	4231	4231
query88	3064	2364	2354	2354
query89	382	301	293	293
query90	1952	208	203	203
query91	141	112	115	112
query92	72	55	54	54
query93	1051	563	554	554
query94	910	315	315	315
query95	376	284	282	282
query96	604	276	272	272
query97	3176	3055	3081	3055
query98	234	212	337	212
query99	1513	1328	1279	1279
Total cold run time: 282618 ms
Total hot run time: 188525 ms

doris-robot avatar Aug 29 '24 04:08 doris-robot

ClickBench: Total hot run time: 32.4 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 85fa71d98825cc31c5ae5e568be1016a6335bfbc, data reload: false

query1	0.05	0.04	0.04
query2	0.07	0.04	0.04
query3	0.23	0.05	0.05
query4	1.66	0.08	0.07
query5	0.52	0.49	0.49
query6	1.13	0.73	0.72
query7	0.02	0.02	0.01
query8	0.05	0.04	0.04
query9	0.56	0.48	0.48
query10	0.54	0.54	0.55
query11	0.16	0.12	0.11
query12	0.14	0.13	0.14
query13	0.63	0.59	0.58
query14	2.10	2.07	2.05
query15	0.85	0.82	0.83
query16	0.37	0.36	0.37
query17	0.98	0.96	0.99
query18	0.21	0.21	0.21
query19	1.82	1.77	1.76
query20	0.01	0.01	0.01
query21	15.39	0.66	0.67
query22	4.00	7.62	2.39
query23	18.28	1.42	1.24
query24	2.15	0.23	0.23
query25	0.16	0.08	0.08
query26	0.26	0.18	0.18
query27	0.08	0.07	0.07
query28	13.22	1.06	1.00
query29	12.62	3.34	3.31
query30	0.24	0.05	0.05
query31	2.88	0.40	0.40
query32	3.23	0.49	0.47
query33	2.97	3.00	3.04
query34	16.90	4.42	4.38
query35	4.46	4.43	4.39
query36	0.66	0.49	0.48
query37	0.20	0.16	0.16
query38	0.16	0.15	0.16
query39	0.06	0.04	0.04
query40	0.15	0.12	0.13
query41	0.09	0.04	0.04
query42	0.06	0.05	0.05
query43	0.05	0.05	0.04
Total cold run time: 110.37 s
Total hot run time: 32.4 s

doris-robot avatar Aug 29 '24 04:08 doris-robot

PR approved by at least one committer and no changes requested.

github-actions[bot] avatar Aug 29 '24 08:08 github-actions[bot]

PR approved by anyone and no changes requested.

github-actions[bot] avatar Aug 29 '24 08:08 github-actions[bot]

how about forbid one phase sort in LogicalTopNToPhysicalTopN?

englefly avatar Aug 29 '24 13:08 englefly