doris icon indicating copy to clipboard operation
doris copied to clipboard

[Fix](Nereids) TopN should forbid two-phase topN if child is DistributionSpecGather

Open xiedeyantu opened this issue 1 year ago • 29 comments

Proposed changes

TopN should forbid two-phase topN if child is DistributionSpecGather.

xiedeyantu avatar Jun 26 '24 12:06 xiedeyantu

Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.

doris-robot avatar Jun 26 '24 12:06 doris-robot

PR approved by at least one committer and no changes requested.

github-actions[bot] avatar Jun 26 '24 12:06 github-actions[bot]

PR approved by anyone and no changes requested.

github-actions[bot] avatar Jun 26 '24 12:06 github-actions[bot]

run buildall

xiedeyantu avatar Jun 26 '24 14:06 xiedeyantu

TPC-H: Total hot run time: 39957 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 2940fa69eec6f5efcee5e363dc9360a19c2e0d74, data reload: false

------ Round 1 ----------------------------------
q1	17623	4507	4268	4268
q2	2028	192	202	192
q3	10819	1270	1088	1088
q4	11186	793	799	793
q5	7554	2760	2643	2643
q6	224	139	138	138
q7	964	608	625	608
q8	9305	2141	2127	2127
q9	9273	6636	6601	6601
q10	9107	3685	3724	3685
q11	456	239	239	239
q12	440	240	232	232
q13	18053	2958	3015	2958
q14	266	228	215	215
q15	528	470	475	470
q16	512	372	378	372
q17	965	690	712	690
q18	8128	7359	7407	7359
q19	5967	1484	1470	1470
q20	661	334	324	324
q21	4846	3156	3312	3156
q22	389	342	329	329
Total cold run time: 119294 ms
Total hot run time: 39957 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4413	4237	4258	4237
q2	388	273	262	262
q3	3120	2915	2919	2915
q4	2018	1711	1665	1665
q5	5473	5493	5401	5401
q6	228	142	132	132
q7	2276	1869	1891	1869
q8	3343	3411	3384	3384
q9	8651	8573	8691	8573
q10	4076	3876	3815	3815
q11	588	494	509	494
q12	811	692	635	635
q13	16644	3223	3150	3150
q14	320	300	296	296
q15	535	489	499	489
q16	504	442	443	442
q17	1837	1513	1505	1505
q18	8173	8050	7811	7811
q19	1786	1529	1539	1529
q20	2047	1833	1830	1830
q21	4965	4871	4836	4836
q22	640	555	565	555
Total cold run time: 72836 ms
Total hot run time: 55825 ms

doris-robot avatar Jun 26 '24 15:06 doris-robot

TPC-DS: Total hot run time: 174210 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 2940fa69eec6f5efcee5e363dc9360a19c2e0d74, data reload: false

query1	943	399	382	382
query2	6319	2405	2382	2382
query3	6658	202	212	202
query4	18882	17434	17407	17407
query5	3663	476	477	476
query6	272	196	175	175
query7	4597	307	300	300
query8	343	282	288	282
query9	8696	2442	2415	2415
query10	562	296	280	280
query11	10629	10039	10047	10039
query12	135	87	79	79
query13	1643	364	357	357
query14	10138	6789	7756	6789
query15	241	182	190	182
query16	7743	270	267	267
query17	1893	557	511	511
query18	1932	273	268	268
query19	189	147	150	147
query20	86	78	78	78
query21	221	129	126	126
query22	4445	4051	4088	4051
query23	33834	33705	33739	33705
query24	12130	2913	2819	2819
query25	688	369	378	369
query26	1785	162	155	155
query27	2990	322	322	322
query28	7134	2178	2160	2160
query29	1127	654	633	633
query30	249	158	162	158
query31	1008	752	758	752
query32	97	52	53	52
query33	769	313	316	313
query34	984	478	511	478
query35	776	669	672	669
query36	1142	996	972	972
query37	263	86	79	79
query38	3043	2901	2884	2884
query39	884	834	789	789
query40	257	129	127	127
query41	56	53	55	53
query42	116	103	101	101
query43	601	575	532	532
query44	1214	741	731	731
query45	195	168	167	167
query46	1085	746	714	714
query47	1839	1765	1803	1765
query48	365	310	304	304
query49	955	411	447	411
query50	765	384	385	384
query51	6983	6873	6724	6724
query52	102	91	87	87
query53	362	283	293	283
query54	947	434	439	434
query55	76	75	73	73
query56	274	249	259	249
query57	1158	1046	1052	1046
query58	250	240	239	239
query59	3386	3238	3038	3038
query60	294	270	264	264
query61	95	88	93	88
query62	601	434	437	434
query63	325	293	290	290
query64	9732	2230	1736	1736
query65	3173	3111	3090	3090
query66	1278	322	332	322
query67	15498	15083	14949	14949
query68	5562	532	546	532
query69	614	545	415	415
query70	1194	1165	1128	1128
query71	451	269	273	269
query72	7249	5578	5672	5578
query73	773	329	328	328
query74	5923	5563	5476	5476
query75	3829	2667	2681	2667
query76	3606	953	984	953
query77	603	302	292	292
query78	10347	9749	9792	9749
query79	1501	506	516	506
query80	1971	451	515	451
query81	594	221	224	221
query82	439	100	100	100
query83	297	167	166	166
query84	265	85	85	85
query85	1048	306	284	284
query86	385	307	310	307
query87	3318	3104	3110	3104
query88	4189	2458	2452	2452
query89	473	397	389	389
query90	1791	182	180	180
query91	128	97	96	96
query92	62	48	48	48
query93	2030	502	502	502
query94	1178	190	191	190
query95	402	310	309	309
query96	588	283	269	269
query97	3219	3037	3004	3004
query98	223	196	191	191
query99	1056	856	830	830
Total cold run time: 276423 ms
Total hot run time: 174210 ms

doris-robot avatar Jun 26 '24 15:06 doris-robot

ClickBench: Total hot run time: 30.38 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 2940fa69eec6f5efcee5e363dc9360a19c2e0d74, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.04	0.04
query3	0.22	0.04	0.04
query4	1.69	0.07	0.07
query5	0.51	0.48	0.50
query6	1.14	0.73	0.72
query7	0.02	0.02	0.02
query8	0.06	0.05	0.05
query9	0.55	0.50	0.49
query10	0.53	0.54	0.54
query11	0.15	0.12	0.12
query12	0.15	0.12	0.12
query13	0.60	0.58	0.59
query14	0.77	0.79	0.78
query15	0.83	0.82	0.80
query16	0.36	0.40	0.35
query17	0.97	0.95	1.00
query18	0.22	0.23	0.24
query19	1.83	1.68	1.74
query20	0.01	0.01	0.01
query21	15.47	0.73	0.64
query22	4.81	6.57	1.77
query23	18.23	1.37	1.39
query24	2.18	0.22	0.22
query25	0.16	0.09	0.09
query26	0.26	0.18	0.17
query27	0.07	0.09	0.08
query28	13.20	1.01	0.99
query29	12.58	3.24	3.22
query30	0.26	0.05	0.05
query31	2.89	0.40	0.39
query32	3.24	0.48	0.48
query33	2.90	2.87	2.94
query34	17.18	4.44	4.40
query35	4.48	4.47	4.46
query36	0.66	0.46	0.46
query37	0.17	0.15	0.15
query38	0.15	0.14	0.14
query39	0.05	0.04	0.04
query40	0.17	0.15	0.15
query41	0.09	0.05	0.05
query42	0.06	0.05	0.05
query43	0.04	0.04	0.04
Total cold run time: 110.03 s
Total hot run time: 30.38 s

doris-robot avatar Jun 26 '24 15:06 doris-robot

run buildall

xiedeyantu avatar Jun 27 '24 08:06 xiedeyantu

TPC-H: Total hot run time: 41939 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 3ed1e08a2cb5f7ddd4c0c8ff4e6f9e13664295d1, data reload: false

------ Round 1 ----------------------------------
q1	17677	5019	4812	4812
q2	2019	192	194	192
q3	10445	1313	1132	1132
q4	10202	782	850	782
q5	7533	2851	2836	2836
q6	245	139	137	137
q7	1046	603	603	603
q8	9232	2296	2294	2294
q9	8980	6893	6939	6893
q10	9050	3888	3877	3877
q11	456	239	240	239
q12	436	241	239	239
q13	18916	2957	3003	2957
q14	291	221	224	221
q15	536	488	479	479
q16	552	378	379	378
q17	1033	730	668	668
q18	8111	7630	7520	7520
q19	7461	1657	1607	1607
q20	701	338	326	326
q21	5133	3410	4263	3410
q22	416	337	341	337
Total cold run time: 120471 ms
Total hot run time: 41939 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4834	4696	4681	4681
q2	413	283	263	263
q3	3144	2861	2885	2861
q4	1957	1688	1634	1634
q5	5437	5430	5446	5430
q6	236	130	130	130
q7	2227	1770	1784	1770
q8	3456	3622	3628	3622
q9	8499	8530	8446	8446
q10	4110	3845	3795	3795
q11	615	513	509	509
q12	809	602	612	602
q13	17607	3014	2995	2995
q14	311	264	278	264
q15	536	469	491	469
q16	490	413	420	413
q17	1966	1559	1549	1549
q18	7740	7433	7408	7408
q19	1863	1721	1778	1721
q20	2061	1788	1741	1741
q21	5138	4929	4932	4929
q22	670	547	573	547
Total cold run time: 74119 ms
Total hot run time: 55779 ms

doris-robot avatar Jun 27 '24 09:06 doris-robot

TPC-DS: Total hot run time: 173811 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 3ed1e08a2cb5f7ddd4c0c8ff4e6f9e13664295d1, data reload: false

query1	921	375	375	375
query2	6451	2554	2508	2508
query3	6644	213	219	213
query4	21159	17587	17313	17313
query5	4219	473	464	464
query6	307	174	192	174
query7	4606	290	295	290
query8	338	293	298	293
query9	8528	2329	2343	2329
query10	634	338	274	274
query11	10797	10384	10207	10207
query12	138	84	81	81
query13	1650	367	385	367
query14	10236	7571	7610	7571
query15	260	198	193	193
query16	8197	265	270	265
query17	1902	539	527	527
query18	2112	265	273	265
query19	191	163	159	159
query20	91	81	84	81
query21	220	143	146	143
query22	4641	4252	4189	4189
query23	33619	32904	33211	32904
query24	11024	2900	2859	2859
query25	620	356	359	356
query26	1358	151	152	151
query27	2948	327	308	308
query28	7596	2011	1992	1992
query29	878	608	635	608
query30	290	148	151	148
query31	941	722	736	722
query32	93	50	55	50
query33	765	302	280	280
query34	961	462	475	462
query35	746	621	611	611
query36	1089	945	938	938
query37	159	71	67	67
query38	2898	2773	2730	2730
query39	859	790	797	790
query40	213	125	122	122
query41	56	51	51	51
query42	121	98	101	98
query43	635	572	527	527
query44	1229	730	727	727
query45	193	171	172	171
query46	1068	696	722	696
query47	1886	1758	1756	1756
query48	371	300	304	300
query49	1085	411	410	410
query50	769	392	394	392
query51	6968	6816	6710	6710
query52	105	93	103	93
query53	359	289	299	289
query54	886	439	437	437
query55	74	78	78	78
query56	277	266	266	266
query57	1140	1074	1056	1056
query58	260	259	251	251
query59	3272	3350	3100	3100
query60	285	284	277	277
query61	92	128	92	92
query62	660	437	461	437
query63	313	298	286	286
query64	8908	2233	1727	1727
query65	3171	3092	3077	3077
query66	948	344	334	334
query67	15374	15209	14931	14931
query68	4558	535	535	535
query69	455	302	297	297
query70	1180	1118	1106	1106
query71	394	329	279	279
query72	7120	6007	5354	5354
query73	753	325	321	321
query74	6044	5520	5505	5505
query75	3552	2628	2664	2628
query76	2795	1027	956	956
query77	465	310	297	297
query78	10452	9948	9826	9826
query79	2538	524	519	519
query80	1685	463	468	463
query81	572	220	223	220
query82	757	101	104	101
query83	290	170	177	170
query84	262	89	86	86
query85	2078	293	276	276
query86	475	313	314	313
query87	3275	3092	3100	3092
query88	4027	2455	2437	2437
query89	475	390	379	379
query90	1824	197	193	193
query91	133	102	99	99
query92	68	58	50	50
query93	1895	494	499	494
query94	1247	190	187	187
query95	404	316	398	316
query96	583	269	270	269
query97	3247	3051	3096	3051
query98	217	207	198	198
query99	1310	853	846	846
Total cold run time: 276934 ms
Total hot run time: 173811 ms

doris-robot avatar Jun 27 '24 09:06 doris-robot

ClickBench: Total hot run time: 30.88 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 3ed1e08a2cb5f7ddd4c0c8ff4e6f9e13664295d1, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.03	0.04
query3	0.23	0.06	0.05
query4	1.68	0.08	0.10
query5	0.51	0.50	0.50
query6	1.13	0.72	0.71
query7	0.03	0.01	0.01
query8	0.06	0.04	0.05
query9	0.55	0.49	0.48
query10	0.54	0.54	0.54
query11	0.16	0.11	0.11
query12	0.14	0.12	0.12
query13	0.60	0.59	0.60
query14	0.78	0.77	0.78
query15	0.82	0.83	0.81
query16	0.34	0.35	0.36
query17	1.00	0.95	1.03
query18	0.24	0.25	0.24
query19	1.78	1.65	1.71
query20	0.02	0.01	0.01
query21	15.45	0.77	0.67
query22	3.85	7.44	2.29
query23	18.30	1.39	1.31
query24	2.12	0.21	0.22
query25	0.14	0.10	0.07
query26	0.26	0.17	0.17
query27	0.08	0.08	0.08
query28	13.25	1.02	1.00
query29	12.66	3.29	3.25
query30	0.25	0.06	0.06
query31	2.87	0.39	0.40
query32	3.27	0.47	0.48
query33	2.92	2.91	2.92
query34	17.03	4.42	4.43
query35	4.47	4.47	4.58
query36	0.66	0.48	0.47
query37	0.18	0.15	0.15
query38	0.15	0.15	0.14
query39	0.04	0.04	0.03
query40	0.17	0.15	0.14
query41	0.09	0.04	0.05
query42	0.06	0.04	0.05
query43	0.04	0.04	0.03
Total cold run time: 109.04 s
Total hot run time: 30.88 s

doris-robot avatar Jun 27 '24 09:06 doris-robot

run p0

xiedeyantu avatar Jun 27 '24 13:06 xiedeyantu

TPC-H: Total hot run time: 40069 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 3ed1e08a2cb5f7ddd4c0c8ff4e6f9e13664295d1, data reload: false

------ Round 1 ----------------------------------
q1	18037	4503	4378	4378
q2	2364	192	194	192
q3	10482	1190	1208	1190
q4	10196	824	774	774
q5	7457	2644	2611	2611
q6	218	133	136	133
q7	936	592	608	592
q8	9217	2061	2063	2061
q9	8726	6461	6491	6461
q10	8921	3737	3742	3737
q11	481	239	236	236
q12	405	230	231	230
q13	17761	2985	2993	2985
q14	277	224	231	224
q15	527	476	492	476
q16	533	386	376	376
q17	964	639	680	639
q18	8051	7534	7449	7449
q19	7939	1573	1474	1474
q20	666	322	323	322
q21	4832	3198	3307	3198
q22	409	331	332	331
Total cold run time: 119399 ms
Total hot run time: 40069 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4532	4239	4275	4239
q2	370	270	271	270
q3	2957	2769	2750	2750
q4	1854	1569	1586	1569
q5	5282	5271	5264	5264
q6	216	131	130	130
q7	2089	1750	1757	1750
q8	3154	3341	3283	3283
q9	8357	8309	8310	8309
q10	3886	3649	3683	3649
q11	598	489	507	489
q12	772	628	576	576
q13	17434	3012	2972	2972
q14	290	261	270	261
q15	525	477	479	477
q16	480	406	427	406
q17	1760	1476	1478	1476
q18	7565	7509	7471	7471
q19	1696	1550	1605	1550
q20	1986	1801	1774	1774
q21	4815	4646	4635	4635
q22	621	523	555	523
Total cold run time: 71239 ms
Total hot run time: 53823 ms

doris-robot avatar Jun 27 '24 13:06 doris-robot

TPC-DS: Total hot run time: 173147 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 3ed1e08a2cb5f7ddd4c0c8ff4e6f9e13664295d1, data reload: false

query1	916	384	370	370
query2	6461	2380	2371	2371
query3	6694	204	209	204
query4	18745	17546	17169	17169
query5	4178	483	456	456
query6	280	189	171	171
query7	4595	308	304	304
query8	311	292	278	278
query9	8483	2420	2410	2410
query10	623	305	287	287
query11	10570	10035	10051	10035
query12	131	94	85	85
query13	1651	375	373	373
query14	9629	6845	7768	6845
query15	225	188	189	188
query16	7896	281	279	279
query17	1904	551	540	540
query18	2030	276	283	276
query19	206	155	160	155
query20	90	87	85	85
query21	216	128	131	128
query22	4251	4126	4037	4037
query23	33651	33100	33147	33100
query24	11113	2761	2868	2761
query25	660	375	389	375
query26	1624	156	156	156
query27	2929	313	319	313
query28	7613	2079	2081	2079
query29	1031	655	624	624
query30	288	153	156	153
query31	955	737	756	737
query32	98	54	58	54
query33	795	303	299	299
query34	907	463	470	463
query35	749	648	653	648
query36	1163	938	958	938
query37	160	72	70	70
query38	2883	2744	2775	2744
query39	873	790	784	784
query40	296	129	134	129
query41	56	53	56	53
query42	131	113	102	102
query43	591	535	545	535
query44	1256	739	731	731
query45	201	165	174	165
query46	1098	711	714	711
query47	1870	1761	1766	1761
query48	380	302	301	301
query49	1187	424	424	424
query50	764	386	395	386
query51	6872	6841	6706	6706
query52	101	100	92	92
query53	367	306	300	300
query54	1003	481	451	451
query55	78	75	76	75
query56	302	284	279	279
query57	1148	1037	1053	1037
query58	261	245	250	245
query59	3360	3445	3210	3210
query60	308	274	299	274
query61	92	90	101	90
query62	648	456	490	456
query63	320	286	287	286
query64	9925	2213	1771	1771
query65	3351	3099	3109	3099
query66	1386	340	337	337
query67	15571	15047	14878	14878
query68	8713	559	564	559
query69	719	477	447	447
query70	1345	1119	1166	1119
query71	525	281	271	271
query72	8576	5441	5684	5441
query73	2171	326	328	326
query74	5820	5451	5456	5451
query75	5234	2637	2652	2637
query76	5156	952	954	952
query77	768	297	303	297
query78	10500	10001	9754	9754
query79	7690	514	530	514
query80	1018	488	491	488
query81	549	226	218	218
query82	751	102	102	102
query83	346	170	166	166
query84	263	85	80	80
query85	1378	268	263	263
query86	402	326	322	322
query87	3286	3109	3081	3081
query88	4394	2374	2354	2354
query89	514	396	387	387
query90	1990	185	185	185
query91	125	139	98	98
query92	64	49	50	49
query93	6008	517	514	514
query94	1173	191	188	188
query95	396	318	316	316
query96	599	269	274	269
query97	3199	3048	3053	3048
query98	218	207	192	192
query99	1197	843	831	831
Total cold run time: 295587 ms
Total hot run time: 173147 ms

doris-robot avatar Jun 27 '24 13:06 doris-robot

ClickBench: Total hot run time: 30.45 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 3ed1e08a2cb5f7ddd4c0c8ff4e6f9e13664295d1, data reload: false

query1	0.04	0.04	0.03
query2	0.08	0.04	0.04
query3	0.23	0.06	0.05
query4	1.67	0.07	0.08
query5	0.52	0.51	0.50
query6	1.13	0.73	0.73
query7	0.02	0.02	0.01
query8	0.06	0.05	0.05
query9	0.56	0.49	0.49
query10	0.55	0.54	0.56
query11	0.15	0.11	0.12
query12	0.15	0.12	0.12
query13	0.59	0.59	0.61
query14	0.76	0.80	0.79
query15	0.84	0.80	0.80
query16	0.37	0.37	0.37
query17	0.98	0.99	0.98
query18	0.22	0.26	0.24
query19	1.76	1.66	1.74
query20	0.01	0.00	0.01
query21	15.45	0.76	0.67
query22	4.10	8.10	1.73
query23	18.25	1.40	1.30
query24	1.89	0.28	0.21
query25	0.15	0.09	0.09
query26	0.26	0.17	0.17
query27	0.08	0.07	0.08
query28	13.25	1.01	1.00
query29	12.65	3.32	3.28
query30	0.26	0.06	0.05
query31	2.88	0.39	0.40
query32	3.23	0.47	0.47
query33	2.88	2.92	2.88
query34	17.16	4.43	4.43
query35	4.50	4.51	4.48
query36	0.65	0.46	0.48
query37	0.18	0.15	0.16
query38	0.15	0.16	0.15
query39	0.04	0.03	0.03
query40	0.18	0.15	0.14
query41	0.10	0.05	0.05
query42	0.05	0.05	0.04
query43	0.04	0.04	0.04
Total cold run time: 109.07 s
Total hot run time: 30.45 s

doris-robot avatar Jun 27 '24 13:06 doris-robot

run buildall

xiedeyantu avatar Jun 27 '24 22:06 xiedeyantu

TPC-H: Total hot run time: 39547 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 3ed1e08a2cb5f7ddd4c0c8ff4e6f9e13664295d1, data reload: false

------ Round 1 ----------------------------------
q1	17616	4298	4229	4229
q2	2020	196	197	196
q3	10418	1198	1065	1065
q4	10185	892	815	815
q5	7477	2645	2553	2553
q6	215	134	137	134
q7	943	588	605	588
q8	9237	2054	2038	2038
q9	8969	6446	6454	6446
q10	8994	3730	3736	3730
q11	451	242	242	242
q12	453	229	230	229
q13	17767	2975	2985	2975
q14	265	222	222	222
q15	511	489	480	480
q16	518	381	383	381
q17	949	637	721	637
q18	7954	7502	7281	7281
q19	5964	1494	1455	1455
q20	648	331	331	331
q21	4922	3184	3932	3184
q22	400	343	336	336
Total cold run time: 116876 ms
Total hot run time: 39547 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4334	4619	4244	4244
q2	360	270	271	270
q3	3048	2846	2876	2846
q4	2025	1722	1741	1722
q5	5630	5470	5537	5470
q6	222	132	129	129
q7	2203	1898	1856	1856
q8	3276	3385	3414	3385
q9	8708	8698	8876	8698
q10	4094	3974	3764	3764
q11	592	486	499	486
q12	803	641	662	641
q13	17147	3119	3185	3119
q14	308	267	300	267
q15	537	468	481	468
q16	478	440	425	425
q17	1787	1539	1528	1528
q18	8120	7820	7668	7668
q19	1730	1527	1701	1527
q20	2138	1885	1872	1872
q21	5196	4933	4856	4856
q22	623	536	546	536
Total cold run time: 73359 ms
Total hot run time: 55777 ms

doris-robot avatar Jun 27 '24 23:06 doris-robot

TPC-DS: Total hot run time: 174896 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 3ed1e08a2cb5f7ddd4c0c8ff4e6f9e13664295d1, data reload: false

query1	908	372	380	372
query2	6435	2483	2448	2448
query3	6640	203	214	203
query4	21081	18190	17420	17420
query5	3606	473	473	473
query6	255	162	171	162
query7	4591	296	297	296
query8	296	295	286	286
query9	8610	2473	2452	2452
query10	566	299	282	282
query11	10546	10044	9956	9956
query12	119	90	81	81
query13	1656	367	361	361
query14	9570	7762	7593	7593
query15	275	186	190	186
query16	8056	285	291	285
query17	1868	551	529	529
query18	2059	287	280	280
query19	194	154	157	154
query20	91	82	83	82
query21	208	133	127	127
query22	4301	4086	4253	4086
query23	33778	33729	33456	33456
query24	11194	2873	2886	2873
query25	631	403	394	394
query26	1160	158	160	158
query27	2572	328	328	328
query28	7574	2156	2153	2153
query29	919	653	626	626
query30	235	167	164	164
query31	971	764	747	747
query32	103	65	58	58
query33	765	309	307	307
query34	989	484	486	484
query35	780	658	662	658
query36	1117	962	948	948
query37	167	79	77	77
query38	2967	2786	2832	2786
query39	907	820	802	802
query40	216	125	129	125
query41	54	52	59	52
query42	120	102	105	102
query43	605	562	556	556
query44	1246	742	723	723
query45	190	159	168	159
query46	1076	726	731	726
query47	1848	1757	1767	1757
query48	370	304	299	299
query49	847	412	411	411
query50	758	386	400	386
query51	6850	6820	6791	6791
query52	104	88	98	88
query53	352	282	284	282
query54	875	445	441	441
query55	75	76	74	74
query56	278	258	285	258
query57	1170	1049	1073	1049
query58	250	241	244	241
query59	3465	3119	3276	3119
query60	304	294	274	274
query61	96	92	89	89
query62	604	473	445	445
query63	315	288	289	288
query64	8793	2277	1717	1717
query65	3208	3098	3097	3097
query66	738	320	334	320
query67	15466	14934	14913	14913
query68	8594	545	554	545
query69	727	463	410	410
query70	1385	1089	1144	1089
query71	540	279	281	279
query72	9195	5543	5368	5368
query73	2213	324	328	324
query74	5828	5489	5561	5489
query75	5476	2696	2662	2662
query76	5156	967	931	931
query77	793	312	304	304
query78	10545	9850	9840	9840
query79	7553	515	505	505
query80	1028	469	482	469
query81	548	219	221	219
query82	798	104	107	104
query83	392	171	168	168
query84	277	85	89	85
query85	1407	290	281	281
query86	397	307	279	279
query87	3285	3101	3081	3081
query88	4324	2461	2435	2435
query89	497	383	380	380
query90	2000	190	190	190
query91	131	100	104	100
query92	61	55	55	55
query93	5593	512	501	501
query94	1182	225	194	194
query95	423	331	327	327
query96	609	273	277	273
query97	3200	3065	3066	3065
query98	224	208	187	187
query99	1180	842	850	842
Total cold run time: 294594 ms
Total hot run time: 174896 ms

doris-robot avatar Jun 27 '24 23:06 doris-robot

ClickBench: Total hot run time: 31.25 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 3ed1e08a2cb5f7ddd4c0c8ff4e6f9e13664295d1, data reload: false

query1	0.04	0.04	0.03
query2	0.08	0.04	0.04
query3	0.23	0.06	0.06
query4	1.66	0.10	0.10
query5	0.49	0.49	0.50
query6	1.13	0.74	0.72
query7	0.02	0.01	0.02
query8	0.05	0.04	0.04
query9	0.54	0.51	0.48
query10	0.55	0.54	0.54
query11	0.16	0.11	0.12
query12	0.15	0.12	0.12
query13	0.60	0.59	0.61
query14	0.77	0.79	0.78
query15	0.83	0.84	0.80
query16	0.35	0.35	0.36
query17	0.97	1.03	1.03
query18	0.21	0.24	0.23
query19	1.75	1.68	1.70
query20	0.01	0.01	0.01
query21	15.46	0.80	0.67
query22	3.76	6.84	2.48
query23	18.31	1.38	1.28
query24	2.19	0.23	0.22
query25	0.14	0.09	0.09
query26	0.27	0.18	0.17
query27	0.07	0.08	0.07
query28	13.14	1.02	1.00
query29	12.64	3.28	3.28
query30	0.25	0.06	0.06
query31	2.87	0.41	0.37
query32	3.26	0.47	0.48
query33	2.85	2.91	2.96
query34	17.19	4.46	4.44
query35	4.49	4.46	4.49
query36	0.65	0.46	0.48
query37	0.18	0.15	0.16
query38	0.15	0.14	0.14
query39	0.05	0.03	0.03
query40	0.16	0.15	0.17
query41	0.09	0.05	0.05
query42	0.06	0.05	0.05
query43	0.04	0.04	0.04
Total cold run time: 108.86 s
Total hot run time: 31.25 s

doris-robot avatar Jun 27 '24 23:06 doris-robot

run buildall

xiedeyantu avatar Jun 28 '24 00:06 xiedeyantu

TPC-H: Total hot run time: 39694 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 3ed1e08a2cb5f7ddd4c0c8ff4e6f9e13664295d1, data reload: false

------ Round 1 ----------------------------------
q1	17621	4293	4253	4253
q2	2019	211	203	203
q3	10441	1162	1101	1101
q4	10199	732	754	732
q5	7464	2625	2611	2611
q6	220	134	137	134
q7	947	584	592	584
q8	9238	2065	2035	2035
q9	8977	6504	6451	6451
q10	8944	3710	3734	3710
q11	442	236	233	233
q12	502	220	233	220
q13	17772	2965	2983	2965
q14	259	214	212	212
q15	527	473	491	473
q16	506	371	373	371
q17	968	784	717	717
q18	8103	7497	7539	7497
q19	3942	1463	1406	1406
q20	655	301	321	301
q21	4934	3128	3852	3128
q22	401	357	357	357
Total cold run time: 115081 ms
Total hot run time: 39694 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4419	4239	4272	4239
q2	358	265	259	259
q3	2967	2728	2980	2728
q4	1966	1727	1763	1727
q5	5651	5558	5530	5530
q6	226	129	128	128
q7	2210	1800	1904	1800
q8	3251	3419	3424	3419
q9	8930	8840	9014	8840
q10	4205	4118	3897	3897
q11	611	506	538	506
q12	844	684	678	678
q13	16254	3208	3254	3208
q14	313	263	286	263
q15	524	501	488	488
q16	511	424	429	424
q17	1830	1516	1507	1507
q18	8265	8003	7789	7789
q19	2241	1655	1627	1627
q20	2149	1896	1846	1846
q21	7873	4934	4865	4865
q22	612	535	571	535
Total cold run time: 76210 ms
Total hot run time: 56303 ms

doris-robot avatar Jun 28 '24 01:06 doris-robot

TPC-DS: Total hot run time: 174657 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 3ed1e08a2cb5f7ddd4c0c8ff4e6f9e13664295d1, data reload: false

query1	918	377	377	377
query2	6480	2546	2389	2389
query3	6635	208	210	208
query4	18897	17566	17426	17426
query5	3607	482	470	470
query6	258	163	153	153
query7	4583	293	297	293
query8	329	312	300	300
query9	8800	2445	2432	2432
query10	577	294	285	285
query11	10594	10035	9908	9908
query12	116	88	81	81
query13	1652	389	364	364
query14	9788	7433	8032	7433
query15	285	194	196	194
query16	7959	284	277	277
query17	1882	579	556	556
query18	1932	278	273	273
query19	203	162	153	153
query20	87	82	83	82
query21	219	130	123	123
query22	4446	4182	4182	4182
query23	33745	33696	33586	33586
query24	11034	2850	2827	2827
query25	586	408	401	401
query26	694	157	161	157
query27	2310	331	347	331
query28	6173	2160	2138	2138
query29	897	653	617	617
query30	253	156	158	156
query31	1009	801	773	773
query32	97	56	57	56
query33	719	311	309	309
query34	889	492	496	492
query35	789	659	721	659
query36	1113	982	975	975
query37	143	76	75	75
query38	2947	2801	2788	2788
query39	891	812	803	803
query40	202	121	131	121
query41	54	53	53	53
query42	124	97	103	97
query43	602	527	573	527
query44	1162	740	717	717
query45	193	167	168	167
query46	1069	709	729	709
query47	1876	1767	1795	1767
query48	386	291	307	291
query49	841	405	411	405
query50	768	387	394	387
query51	6855	6786	6743	6743
query52	104	92	94	92
query53	360	290	290	290
query54	928	457	432	432
query55	70	70	71	70
query56	281	256	262	256
query57	1154	1062	1085	1062
query58	258	229	230	229
query59	3336	3177	3334	3177
query60	325	283	282	282
query61	93	120	89	89
query62	629	433	459	433
query63	316	287	289	287
query64	8470	2253	1738	1738
query65	3138	3129	3092	3092
query66	739	324	324	324
query67	15679	15107	14889	14889
query68	8537	549	532	532
query69	707	460	415	415
query70	1366	1120	1011	1011
query71	506	280	268	268
query72	8558	5498	5563	5498
query73	2228	326	321	321
query74	6153	5480	5530	5480
query75	4971	2684	2661	2661
query76	5110	918	919	918
query77	742	295	291	291
query78	10440	9762	9757	9757
query79	4584	512	501	501
query80	2568	478	470	470
query81	605	224	230	224
query82	285	101	109	101
query83	313	170	172	170
query84	274	85	90	85
query85	878	337	271	271
query86	362	337	336	336
query87	3283	3053	3091	3053
query88	4425	2437	2438	2437
query89	484	403	386	386
query90	1898	186	182	182
query91	125	98	98	98
query92	59	48	48	48
query93	4752	507	505	505
query94	1262	192	188	188
query95	399	324	320	320
query96	621	269	264	264
query97	3236	3033	3000	3000
query98	215	201	199	199
query99	1162	839	853	839
Total cold run time: 285656 ms
Total hot run time: 174657 ms

doris-robot avatar Jun 28 '24 01:06 doris-robot

ClickBench: Total hot run time: 30.61 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 3ed1e08a2cb5f7ddd4c0c8ff4e6f9e13664295d1, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.04	0.04
query3	0.22	0.06	0.05
query4	1.67	0.07	0.07
query5	0.48	0.48	0.47
query6	1.13	0.72	0.72
query7	0.03	0.01	0.01
query8	0.06	0.05	0.05
query9	0.56	0.50	0.49
query10	0.54	0.54	0.54
query11	0.15	0.11	0.11
query12	0.15	0.11	0.12
query13	0.60	0.59	0.60
query14	0.77	0.79	0.76
query15	0.82	0.81	0.81
query16	0.36	0.36	0.36
query17	1.02	1.01	0.98
query18	0.20	0.28	0.26
query19	1.86	1.82	1.74
query20	0.02	0.01	0.01
query21	15.43	0.76	0.67
query22	4.18	7.31	1.89
query23	18.28	1.35	1.26
query24	2.14	0.22	0.22
query25	0.15	0.10	0.09
query26	0.26	0.16	0.17
query27	0.07	0.08	0.09
query28	13.26	1.01	1.00
query29	12.61	3.29	3.29
query30	0.25	0.05	0.06
query31	2.87	0.40	0.39
query32	3.27	0.46	0.47
query33	2.92	2.89	2.94
query34	17.30	4.39	4.40
query35	4.49	4.52	4.50
query36	0.64	0.48	0.47
query37	0.18	0.15	0.16
query38	0.15	0.15	0.14
query39	0.04	0.03	0.04
query40	0.18	0.14	0.14
query41	0.09	0.05	0.05
query42	0.06	0.05	0.05
query43	0.05	0.04	0.04
Total cold run time: 109.63 s
Total hot run time: 30.61 s

doris-robot avatar Jun 28 '24 01:06 doris-robot

run buildall

xiedeyantu avatar Jun 28 '24 02:06 xiedeyantu

TPC-H: Total hot run time: 39877 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit e65d644c1ba2cde72cbe2f29e1dfbed08688fa0e, data reload: false

------ Round 1 ----------------------------------
q1	17621	4396	4278	4278
q2	2019	199	194	194
q3	10520	1206	1134	1134
q4	10188	806	805	805
q5	7471	2681	2635	2635
q6	223	134	133	133
q7	947	593	603	593
q8	9226	2082	2094	2082
q9	9002	6504	6531	6504
q10	8960	3714	3745	3714
q11	465	235	237	235
q12	452	228	231	228
q13	17775	2972	3009	2972
q14	264	230	220	220
q15	515	495	479	479
q16	496	371	368	368
q17	967	656	693	656
q18	8021	7421	7351	7351
q19	6408	1522	1560	1522
q20	666	331	323	323
q21	4969	3224	3121	3121
q22	401	340	330	330
Total cold run time: 117576 ms
Total hot run time: 39877 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4391	4274	4286	4274
q2	379	278	259	259
q3	2963	2858	2877	2858
q4	2016	1714	1705	1705
q5	5655	5515	5518	5515
q6	224	130	129	129
q7	2205	1866	1837	1837
q8	3261	3428	3456	3428
q9	8751	8672	8824	8672
q10	4101	3896	3777	3777
q11	594	494	500	494
q12	826	667	615	615
q13	17109	3183	3178	3178
q14	315	284	272	272
q15	548	485	477	477
q16	503	431	430	430
q17	1811	1541	1525	1525
q18	8052	8108	7814	7814
q19	1881	1717	1746	1717
q20	3093	1832	1843	1832
q21	5203	5056	4714	4714
q22	629	561	572	561
Total cold run time: 74510 ms
Total hot run time: 56083 ms

doris-robot avatar Jun 28 '24 03:06 doris-robot

TPC-DS: Total hot run time: 173730 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit e65d644c1ba2cde72cbe2f29e1dfbed08688fa0e, data reload: false

query1	926	395	380	380
query2	6459	2354	2380	2354
query3	6631	205	208	205
query4	19253	17450	17252	17252
query5	3576	471	475	471
query6	259	192	158	158
query7	4585	294	292	292
query8	319	289	285	285
query9	8487	2455	2435	2435
query10	580	293	285	285
query11	10703	10283	10128	10128
query12	121	87	85	85
query13	1640	375	368	368
query14	9423	6872	7674	6872
query15	231	191	192	191
query16	7780	273	270	270
query17	1888	548	537	537
query18	1955	284	280	280
query19	198	157	162	157
query20	91	83	83	83
query21	216	131	127	127
query22	4225	4065	3962	3962
query23	33643	33459	33486	33459
query24	10771	2976	2821	2821
query25	599	407	393	393
query26	718	159	156	156
query27	2284	336	344	336
query28	6107	2186	2182	2182
query29	917	668	659	659
query30	255	171	170	170
query31	989	778	759	759
query32	94	57	60	57
query33	708	301	303	301
query34	882	488	488	488
query35	761	649	643	643
query36	1157	994	995	994
query37	153	84	74	74
query38	2948	2871	2870	2870
query39	901	833	845	833
query40	211	135	136	135
query41	56	57	52	52
query42	108	103	106	103
query43	586	557	528	528
query44	1156	764	743	743
query45	196	169	164	164
query46	1081	726	750	726
query47	1872	1735	1812	1735
query48	372	302	300	300
query49	854	414	424	414
query50	763	478	398	398
query51	6895	6756	6723	6723
query52	103	89	99	89
query53	365	296	294	294
query54	890	441	443	441
query55	72	72	74	72
query56	282	259	276	259
query57	1109	993	1036	993
query58	248	244	248	244
query59	3437	3138	3051	3051
query60	293	292	273	273
query61	91	102	89	89
query62	609	462	447	447
query63	319	297	290	290
query64	8882	2217	1755	1755
query65	3218	3080	3086	3080
query66	745	328	327	327
query67	15456	14871	14846	14846
query68	8570	563	554	554
query69	691	483	428	428
query70	1239	1149	1126	1126
query71	506	282	271	271
query72	8403	5766	5278	5278
query73	1947	323	326	323
query74	5966	5521	5530	5521
query75	4917	2615	2671	2615
query76	4634	1050	1002	1002
query77	767	311	311	311
query78	10912	9779	9699	9699
query79	9014	527	520	520
query80	1019	474	472	472
query81	543	228	219	219
query82	349	106	107	106
query83	341	179	170	170
query84	268	84	88	84
query85	916	274	266	266
query86	362	312	321	312
query87	3302	3128	3073	3073
query88	4409	2383	2360	2360
query89	514	386	385	385
query90	1968	201	192	192
query91	129	98	101	98
query92	61	49	50	49
query93	6144	535	521	521
query94	1309	191	187	187
query95	419	312	320	312
query96	615	269	267	267
query97	3214	3026	3058	3026
query98	214	202	196	196
query99	1164	904	844	844
Total cold run time: 288528 ms
Total hot run time: 173730 ms

doris-robot avatar Jun 28 '24 03:06 doris-robot

ClickBench: Total hot run time: 30.74 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit e65d644c1ba2cde72cbe2f29e1dfbed08688fa0e, data reload: false

query1	0.04	0.04	0.03
query2	0.08	0.04	0.04
query3	0.23	0.05	0.06
query4	1.69	0.08	0.08
query5	0.50	0.48	0.51
query6	1.13	0.73	0.72
query7	0.02	0.02	0.02
query8	0.05	0.04	0.04
query9	0.56	0.49	0.50
query10	0.55	0.54	0.54
query11	0.16	0.12	0.12
query12	0.16	0.13	0.13
query13	0.60	0.59	0.60
query14	0.78	0.78	0.80
query15	0.87	0.82	0.81
query16	0.37	0.37	0.37
query17	1.03	0.94	1.03
query18	0.23	0.24	0.23
query19	1.92	1.74	1.84
query20	0.02	0.01	0.01
query21	15.43	0.73	0.65
query22	3.57	8.29	2.08
query23	18.28	1.33	1.20
query24	2.10	0.23	0.22
query25	0.16	0.08	0.08
query26	0.27	0.18	0.17
query27	0.08	0.08	0.07
query28	13.24	1.03	1.00
query29	12.67	3.29	3.28
query30	0.25	0.06	0.06
query31	2.87	0.40	0.40
query32	3.24	0.47	0.48
query33	2.91	2.94	2.94
query34	17.20	4.42	4.40
query35	4.45	4.47	4.48
query36	0.67	0.46	0.46
query37	0.19	0.15	0.16
query38	0.16	0.14	0.14
query39	0.05	0.03	0.04
query40	0.17	0.14	0.13
query41	0.09	0.06	0.05
query42	0.06	0.06	0.04
query43	0.05	0.04	0.04
Total cold run time: 109.15 s
Total hot run time: 30.74 s

doris-robot avatar Jun 28 '24 03:06 doris-robot

run p0

xiedeyantu avatar Jun 28 '24 07:06 xiedeyantu

PR approved by at least one committer and no changes requested.

github-actions[bot] avatar Jul 01 '24 06:07 github-actions[bot]

run buildall

xiedeyantu avatar Jul 03 '24 00:07 xiedeyantu