doris icon indicating copy to clipboard operation
doris copied to clipboard

[draft](meta-service) Optmize cloud `commit_txn` large txn

Open swjtu-zhanglei opened this issue 1 year ago • 26 comments

save workspace

0620 save workspace

Proposed changes

Issue Number: close #xxx

swjtu-zhanglei avatar Jun 20 '24 13:06 swjtu-zhanglei

Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.

doris-robot avatar Jun 20 '24 13:06 doris-robot

run buildall

swjtu-zhanglei avatar Jun 20 '24 13:06 swjtu-zhanglei

TPC-H: Total hot run time: 39994 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit b9724df02ddba7771e6cfc1bd59e740cd15bcf36, data reload: false

------ Round 1 ----------------------------------
q1	18033	4446	4337	4337
q2	2609	208	203	203
q3	11604	1097	1150	1097
q4	10673	914	835	835
q5	7505	2708	2774	2708
q6	232	138	139	138
q7	974	633	621	621
q8	9242	2066	2094	2066
q9	8719	6462	6482	6462
q10	8916	3708	3710	3708
q11	469	235	244	235
q12	411	237	231	231
q13	17763	2991	2969	2969
q14	274	224	231	224
q15	510	482	479	479
q16	517	373	378	373
q17	970	730	675	675
q18	8104	7514	7425	7425
q19	6487	1486	1421	1421
q20	659	320	341	320
q21	4883	3129	3868	3129
q22	404	341	338	338
Total cold run time: 119958 ms
Total hot run time: 39994 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4358	4244	4250	4244
q2	370	274	297	274
q3	2985	2772	2684	2684
q4	1847	1587	1612	1587
q5	5288	5283	5281	5281
q6	215	126	129	126
q7	2083	1808	1750	1750
q8	3210	3310	3330	3310
q9	8389	8359	8357	8357
q10	3898	3713	3687	3687
q11	589	485	493	485
q12	777	583	619	583
q13	17509	3005	3007	3005
q14	279	263	266	263
q15	524	489	471	471
q16	474	415	417	415
q17	1785	1467	1475	1467
q18	7641	7536	7438	7438
q19	1657	1448	1685	1448
q20	1975	1775	1728	1728
q21	4784	4667	4714	4667
q22	595	534	575	534
Total cold run time: 71232 ms
Total hot run time: 53804 ms

doris-robot avatar Jun 20 '24 13:06 doris-robot

TPC-DS: Total hot run time: 170362 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit b9724df02ddba7771e6cfc1bd59e740cd15bcf36, data reload: false

query1	932	382	382	382
query2	6457	2476	2342	2342
query3	6661	207	216	207
query4	18790	17504	17326	17326
query5	4159	499	476	476
query6	258	161	171	161
query7	4610	303	292	292
query8	320	310	295	295
query9	8525	2444	2442	2442
query10	634	292	277	277
query11	10513	9883	9971	9883
query12	137	88	83	83
query13	1637	358	368	358
query14	9710	7593	6861	6861
query15	252	202	191	191
query16	8046	278	268	268
query17	1890	532	541	532
query18	2047	299	286	286
query19	200	170	157	157
query20	91	86	84	84
query21	203	126	123	123
query22	4343	4289	3974	3974
query23	33718	33251	33094	33094
query24	11897	2848	2795	2795
query25	653	352	408	352
query26	1773	153	154	153
query27	2906	313	311	311
query28	7598	2065	2062	2062
query29	1015	608	609	608
query30	290	153	152	152
query31	951	709	760	709
query32	98	53	64	53
query33	773	278	284	278
query34	966	483	458	458
query35	751	611	611	611
query36	1050	972	921	921
query37	173	74	73	73
query38	2875	2755	2729	2729
query39	874	790	774	774
query40	291	130	131	130
query41	63	55	54	54
query42	125	104	109	104
query43	583	553	544	544
query44	1194	740	742	740
query45	205	173	172	172
query46	1082	764	703	703
query47	1868	1793	1768	1768
query48	367	291	297	291
query49	1165	406	406	406
query50	759	402	399	399
query51	6893	6867	6754	6754
query52	102	95	93	93
query53	366	296	288	288
query54	1018	448	445	445
query55	80	79	78	78
query56	296	262	266	262
query57	1145	1048	1051	1048
query58	261	253	266	253
query59	3381	3173	3260	3173
query60	304	269	282	269
query61	132	90	92	90
query62	632	459	446	446
query63	317	301	294	294
query64	9903	2262	1732	1732
query65	3169	3134	3104	3104
query66	1402	334	348	334
query67	15380	14882	14895	14882
query68	4634	545	541	541
query69	489	395	332	332
query70	1179	1125	1080	1080
query71	376	276	286	276
query72	7079	5519	2823	2823
query73	734	324	337	324
query74	6017	5538	5494	5494
query75	3331	2676	2700	2676
query76	2717	965	993	965
query77	434	307	308	307
query78	10210	9854	9828	9828
query79	2571	525	522	522
query80	2023	463	476	463
query81	569	231	228	228
query82	1060	110	102	102
query83	311	180	176	176
query84	265	88	86	86
query85	1361	300	272	272
query86	462	302	316	302
query87	3292	3089	3109	3089
query88	4199	2379	2364	2364
query89	487	385	384	384
query90	1771	199	197	197
query91	141	110	175	110
query92	69	51	49	49
query93	2018	516	501	501
query94	1254	187	189	187
query95	413	319	321	319
query96	597	268	264	264
query97	3190	3087	3096	3087
query98	221	206	198	198
query99	1212	827	831	827
Total cold run time: 275945 ms
Total hot run time: 170362 ms

doris-robot avatar Jun 20 '24 14:06 doris-robot

ClickBench: Total hot run time: 30.91 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit b9724df02ddba7771e6cfc1bd59e740cd15bcf36, data reload: false

query1	0.04	0.03	0.03
query2	0.07	0.04	0.04
query3	0.23	0.05	0.05
query4	1.68	0.08	0.07
query5	0.49	0.47	0.49
query6	1.13	0.73	0.74
query7	0.03	0.02	0.02
query8	0.05	0.04	0.05
query9	0.55	0.48	0.50
query10	0.55	0.56	0.55
query11	0.15	0.11	0.11
query12	0.14	0.12	0.13
query13	0.60	0.58	0.61
query14	0.77	0.77	0.77
query15	0.84	0.81	0.82
query16	0.37	0.36	0.37
query17	0.95	1.04	1.00
query18	0.22	0.24	0.22
query19	1.79	1.71	1.73
query20	0.02	0.01	0.01
query21	15.41	0.65	0.65
query22	4.71	6.66	2.18
query23	18.28	1.38	1.29
query24	2.15	0.23	0.22
query25	0.14	0.09	0.08
query26	0.27	0.18	0.18
query27	0.07	0.08	0.08
query28	13.26	1.02	0.99
query29	12.61	3.31	3.29
query30	0.26	0.06	0.06
query31	2.86	0.39	0.40
query32	3.27	0.48	0.46
query33	2.90	2.91	2.88
query34	17.05	4.40	4.47
query35	4.48	4.50	4.58
query36	0.66	0.49	0.46
query37	0.19	0.15	0.16
query38	0.16	0.15	0.15
query39	0.05	0.04	0.04
query40	0.16	0.15	0.14
query41	0.10	0.05	0.05
query42	0.06	0.06	0.06
query43	0.04	0.04	0.04
Total cold run time: 109.81 s
Total hot run time: 30.91 s

doris-robot avatar Jun 20 '24 14:06 doris-robot

run buildall

swjtu-zhanglei avatar Jun 25 '24 11:06 swjtu-zhanglei

TPC-H: Total hot run time: 39735 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit f5ed0447345c4a5fcf29d9dc562c5c8369abc4f4, data reload: false

------ Round 1 ----------------------------------
q1	18735	4585	4494	4494
q2	2004	179	181	179
q3	10528	1103	1111	1103
q4	10188	757	785	757
q5	7455	2674	2550	2550
q6	217	132	132	132
q7	944	595	600	595
q8	9230	2067	2064	2064
q9	8917	6503	6484	6484
q10	8946	3740	3680	3680
q11	447	256	232	232
q12	397	232	227	227
q13	18918	2978	2982	2978
q14	269	222	233	222
q15	525	482	461	461
q16	499	376	383	376
q17	966	597	688	597
q18	8052	7470	7285	7285
q19	1784	1478	1432	1432
q20	656	317	325	317
q21	5141	3904	3249	3249
q22	387	327	321	321
Total cold run time: 115205 ms
Total hot run time: 39735 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4340	4282	4241	4241
q2	369	274	264	264
q3	2987	2706	2724	2706
q4	1853	1645	1615	1615
q5	5258	5250	5285	5250
q6	213	126	124	124
q7	2131	1777	1714	1714
q8	3180	3322	3341	3322
q9	8300	8341	8321	8321
q10	3895	3671	3654	3654
q11	583	476	490	476
q12	770	612	628	612
q13	16625	2999	2979	2979
q14	290	259	256	256
q15	525	473	474	473
q16	481	412	407	407
q17	1764	1455	1465	1455
q18	7607	7562	7448	7448
q19	1724	1463	1523	1463
q20	2016	1760	1783	1760
q21	4966	4676	4709	4676
q22	609	530	517	517
Total cold run time: 70486 ms
Total hot run time: 53733 ms

doris-robot avatar Jun 25 '24 12:06 doris-robot

TPC-DS: Total hot run time: 169453 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit f5ed0447345c4a5fcf29d9dc562c5c8369abc4f4, data reload: false

query1	921	389	380	380
query2	6456	2343	2280	2280
query3	6645	199	212	199
query4	19359	17386	17217	17217
query5	4136	450	471	450
query6	258	155	161	155
query7	4582	284	288	284
query8	311	294	279	279
query9	8515	2402	2400	2400
query10	591	274	293	274
query11	10519	10154	10130	10130
query12	127	90	83	83
query13	1645	357	371	357
query14	10026	7351	7495	7351
query15	242	191	185	185
query16	7964	288	260	260
query17	1899	513	530	513
query18	2047	264	264	264
query19	193	150	156	150
query20	87	82	84	82
query21	210	125	124	124
query22	4488	4129	3920	3920
query23	33575	32983	33034	32983
query24	11064	2810	2772	2772
query25	621	354	353	353
query26	1311	151	151	151
query27	3009	311	312	311
query28	7633	2094	2083	2083
query29	862	617	606	606
query30	276	152	149	149
query31	964	704	740	704
query32	91	56	58	56
query33	797	263	281	263
query34	954	466	465	465
query35	728	619	605	605
query36	1087	955	902	902
query37	148	68	67	67
query38	2874	2778	2770	2770
query39	843	828	781	781
query40	219	125	122	122
query41	54	54	55	54
query42	130	108	102	102
query43	589	542	515	515
query44	1192	724	750	724
query45	199	166	159	159
query46	1054	699	702	699
query47	1868	1795	1778	1778
query48	374	294	302	294
query49	1082	401	402	401
query50	760	390	382	382
query51	6894	6694	6676	6676
query52	108	97	93	93
query53	383	283	283	283
query54	902	447	435	435
query55	73	74	71	71
query56	282	255	256	255
query57	1178	1019	1017	1017
query58	250	258	298	258
query59	3294	2910	3322	2910
query60	299	267	278	267
query61	91	93	88	88
query62	637	449	438	438
query63	322	285	283	283
query64	8945	2210	1752	1752
query65	3142	3145	3087	3087
query66	1092	321	323	321
query67	15409	15017	15103	15017
query68	4577	544	533	533
query69	470	313	311	311
query70	1189	1078	1135	1078
query71	380	278	261	261
query72	7173	4620	2641	2641
query73	743	322	322	322
query74	5966	5426	5456	5426
query75	3332	2631	2648	2631
query76	2242	897	965	897
query77	517	297	291	291
query78	10287	10091	9654	9654
query79	2521	519	518	518
query80	2107	458	461	458
query81	606	215	216	215
query82	1128	99	106	99
query83	304	171	168	168
query84	269	91	83	83
query85	1549	280	269	269
query86	473	319	295	295
query87	3269	3054	3067	3054
query88	4102	2375	2359	2359
query89	482	383	371	371
query90	1801	188	191	188
query91	127	97	97	97
query92	65	48	48	48
query93	2333	521	517	517
query94	1257	183	186	183
query95	406	370	311	311
query96	587	276	272	272
query97	3259	3027	3028	3027
query98	211	204	199	199
query99	1302	838	847	838
Total cold run time: 273914 ms
Total hot run time: 169453 ms

doris-robot avatar Jun 25 '24 12:06 doris-robot

ClickBench: Total hot run time: 30.29 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit f5ed0447345c4a5fcf29d9dc562c5c8369abc4f4, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.04	0.04
query3	0.22	0.05	0.05
query4	1.68	0.08	0.07
query5	0.51	0.49	0.48
query6	1.13	0.72	0.72
query7	0.01	0.01	0.01
query8	0.04	0.03	0.04
query9	0.54	0.49	0.50
query10	0.54	0.55	0.52
query11	0.16	0.11	0.11
query12	0.14	0.13	0.12
query13	0.59	0.58	0.58
query14	0.79	0.74	0.82
query15	0.82	0.81	0.82
query16	0.37	0.35	0.34
query17	0.99	0.95	0.99
query18	0.22	0.22	0.29
query19	1.73	1.73	1.70
query20	0.02	0.01	0.01
query21	15.47	0.66	0.65
query22	4.08	6.58	1.68
query23	18.22	1.33	1.32
query24	2.14	0.22	0.22
query25	0.15	0.09	0.08
query26	0.27	0.18	0.17
query27	0.08	0.08	0.08
query28	13.24	1.02	1.00
query29	12.58	3.29	3.29
query30	0.25	0.06	0.06
query31	2.86	0.39	0.38
query32	3.28	0.47	0.47
query33	2.90	2.92	2.93
query34	17.08	4.52	4.45
query35	4.48	4.53	4.46
query36	0.64	0.46	0.47
query37	0.18	0.15	0.16
query38	0.16	0.14	0.14
query39	0.05	0.03	0.03
query40	0.17	0.14	0.14
query41	0.09	0.04	0.05
query42	0.05	0.04	0.04
query43	0.04	0.04	0.04
Total cold run time: 109.08 s
Total hot run time: 30.29 s

doris-robot avatar Jun 25 '24 12:06 doris-robot

run buildall

swjtu-zhanglei avatar Jun 26 '24 13:06 swjtu-zhanglei

TPC-H: Total hot run time: 39988 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 3eb8c38961a7222ab930abb43cba1e0d973c386f, data reload: false

------ Round 1 ----------------------------------
q1	17960	4533	4312	4312
q2	2019	193	209	193
q3	10497	1252	1091	1091
q4	10208	732	833	732
q5	7471	2689	2674	2674
q6	226	133	133	133
q7	966	594	607	594
q8	9216	2104	2098	2098
q9	8921	6532	6566	6532
q10	8977	3763	3775	3763
q11	459	243	235	235
q12	509	233	221	221
q13	17763	2988	2973	2973
q14	265	209	213	209
q15	538	478	484	478
q16	522	373	368	368
q17	974	663	730	663
q18	8089	7615	7386	7386
q19	5811	1524	1456	1456
q20	672	331	324	324
q21	5062	3223	3874	3223
q22	401	333	330	330
Total cold run time: 117526 ms
Total hot run time: 39988 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4437	4234	4252	4234
q2	371	274	269	269
q3	2996	2934	2952	2934
q4	2041	1669	1760	1669
q5	5601	5516	5477	5477
q6	223	129	129	129
q7	2234	1854	1844	1844
q8	3253	3390	3476	3390
q9	8749	8696	8809	8696
q10	4033	3897	3768	3768
q11	600	506	500	500
q12	817	640	636	636
q13	16124	3160	3148	3148
q14	311	287	271	271
q15	530	485	490	485
q16	482	439	435	435
q17	1815	1495	1495	1495
q18	8218	7882	7833	7833
q19	1769	1627	1634	1627
q20	2129	1910	1867	1867
q21	5158	5022	4807	4807
q22	613	518	543	518
Total cold run time: 72504 ms
Total hot run time: 56032 ms

doris-robot avatar Jun 26 '24 14:06 doris-robot

TPC-DS: Total hot run time: 174599 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 3eb8c38961a7222ab930abb43cba1e0d973c386f, data reload: false

query1	917	375	378	375
query2	6471	2312	2480	2312
query3	6640	207	216	207
query4	18691	17536	17269	17269
query5	3638	467	460	460
query6	282	173	162	162
query7	4585	292	291	291
query8	294	280	277	277
query9	8730	2458	2451	2451
query10	562	294	283	283
query11	10411	10026	9978	9978
query12	121	91	86	86
query13	1657	370	363	363
query14	9502	7624	7710	7624
query15	235	190	184	184
query16	7981	279	271	271
query17	1881	535	510	510
query18	2054	267	269	267
query19	197	149	150	149
query20	87	80	81	80
query21	218	128	121	121
query22	4281	4261	4066	4066
query23	33917	33628	33560	33560
query24	10713	2888	2989	2888
query25	586	391	370	370
query26	700	155	155	155
query27	2273	337	326	326
query28	5937	2196	2176	2176
query29	866	647	621	621
query30	252	153	150	150
query31	963	771	777	771
query32	97	51	56	51
query33	670	293	279	279
query34	867	475	499	475
query35	753	636	598	598
query36	1116	986	979	979
query37	149	76	76	76
query38	3023	2865	2824	2824
query39	902	822	836	822
query40	211	131	124	124
query41	55	51	54	51
query42	116	102	107	102
query43	609	525	550	525
query44	1054	736	725	725
query45	186	165	171	165
query46	1072	706	728	706
query47	1848	1772	1829	1772
query48	369	311	309	309
query49	841	433	415	415
query50	768	396	390	390
query51	6902	6864	6758	6758
query52	112	98	95	95
query53	372	298	307	298
query54	876	440	442	440
query55	72	73	74	73
query56	274	259	267	259
query57	1134	1058	1099	1058
query58	236	243	255	243
query59	3219	3204	3227	3204
query60	294	279	295	279
query61	93	89	89	89
query62	596	451	478	451
query63	314	282	291	282
query64	8526	2352	1772	1772
query65	3178	3084	3088	3084
query66	740	325	339	325
query67	15562	14909	14913	14909
query68	4497	530	543	530
query69	453	299	322	299
query70	1167	1149	1182	1149
query71	387	278	263	263
query72	7108	5824	5301	5301
query73	743	325	325	325
query74	5917	5612	5429	5429
query75	3409	2678	2657	2657
query76	2433	943	911	911
query77	446	298	291	291
query78	10290	9862	9884	9862
query79	2749	518	521	518
query80	1287	460	459	459
query81	604	221	218	218
query82	900	100	106	100
query83	250	175	171	171
query84	245	85	86	85
query85	1185	370	271	271
query86	455	330	330	330
query87	3314	3112	3096	3096
query88	4422	2482	2452	2452
query89	475	385	379	379
query90	1701	191	192	191
query91	124	100	98	98
query92	55	49	48	48
query93	1814	507	504	504
query94	1169	183	187	183
query95	404	316	317	316
query96	596	271	275	271
query97	3251	3031	3171	3031
query98	214	197	194	194
query99	1314	857	868	857
Total cold run time: 266226 ms
Total hot run time: 174599 ms

doris-robot avatar Jun 26 '24 14:06 doris-robot

ClickBench: Total hot run time: 30.62 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 3eb8c38961a7222ab930abb43cba1e0d973c386f, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.04	0.04
query3	0.22	0.05	0.05
query4	1.70	0.07	0.07
query5	0.48	0.48	0.50
query6	1.14	0.72	0.72
query7	0.03	0.02	0.01
query8	0.04	0.04	0.04
query9	0.55	0.48	0.49
query10	0.54	0.54	0.54
query11	0.15	0.11	0.11
query12	0.15	0.12	0.12
query13	0.59	0.59	0.58
query14	0.76	0.78	0.78
query15	0.85	0.82	0.80
query16	0.36	0.37	0.36
query17	1.01	0.98	0.96
query18	0.20	0.26	0.23
query19	1.78	1.69	1.67
query20	0.02	0.01	0.01
query21	15.41	0.75	0.66
query22	4.33	7.89	2.00
query23	18.34	1.34	1.29
query24	2.09	0.22	0.24
query25	0.15	0.08	0.09
query26	0.26	0.17	0.17
query27	0.08	0.08	0.08
query28	13.18	1.00	1.00
query29	12.64	3.27	3.23
query30	0.26	0.06	0.06
query31	3.16	0.39	0.39
query32	3.54	0.46	0.47
query33	2.93	2.88	2.89
query34	16.91	4.45	4.46
query35	4.49	4.51	4.53
query36	0.66	0.49	0.48
query37	0.18	0.15	0.15
query38	0.15	0.15	0.14
query39	0.04	0.04	0.04
query40	0.16	0.14	0.15
query41	0.10	0.04	0.05
query42	0.05	0.04	0.04
query43	0.04	0.04	0.03
Total cold run time: 109.84 s
Total hot run time: 30.62 s

doris-robot avatar Jun 26 '24 15:06 doris-robot

run buildall

swjtu-zhanglei avatar Jun 27 '24 01:06 swjtu-zhanglei

TPC-H: Total hot run time: 40211 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 3eb8c38961a7222ab930abb43cba1e0d973c386f, data reload: false

------ Round 1 ----------------------------------
q1	18621	4475	4259	4259
q2	2031	194	205	194
q3	10545	1196	1089	1089
q4	10229	842	829	829
q5	7508	2716	2741	2716
q6	218	136	138	136
q7	955	594	602	594
q8	9240	2115	2086	2086
q9	8944	6543	6509	6509
q10	8849	3740	3703	3703
q11	470	239	242	239
q12	403	237	232	232
q13	17978	2983	2975	2975
q14	279	216	227	216
q15	521	473	467	467
q16	520	385	379	379
q17	985	741	757	741
q18	8043	7416	7406	7406
q19	4242	1550	1487	1487
q20	652	327	324	324
q21	4996	3289	3904	3289
q22	400	341	344	341
Total cold run time: 116629 ms
Total hot run time: 40211 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4424	4237	4286	4237
q2	385	256	265	256
q3	2957	2884	2899	2884
q4	1966	1682	1732	1682
q5	5644	5516	5513	5513
q6	227	135	131	131
q7	2231	1884	1813	1813
q8	3266	3425	3467	3425
q9	8753	8785	8825	8785
q10	4105	3840	3781	3781
q11	603	501	520	501
q12	836	634	648	634
q13	16047	3234	3164	3164
q14	307	283	288	283
q15	536	495	495	495
q16	494	442	430	430
q17	1814	1576	1538	1538
q18	8177	8057	7811	7811
q19	1842	1509	1543	1509
q20	3086	1892	1906	1892
q21	5169	4946	4818	4818
q22	637	547	574	547
Total cold run time: 73506 ms
Total hot run time: 56129 ms

doris-robot avatar Jun 27 '24 03:06 doris-robot

TPC-DS: Total hot run time: 174377 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 3eb8c38961a7222ab930abb43cba1e0d973c386f, data reload: false

query1	909	388	375	375
query2	6462	2340	2301	2301
query3	6635	208	217	208
query4	20267	17436	17523	17436
query5	3633	480	504	480
query6	258	183	158	158
query7	4599	293	297	293
query8	292	276	289	276
query9	8568	2451	2410	2410
query10	565	303	288	288
query11	10498	10142	10099	10099
query12	119	85	85	85
query13	1642	372	378	372
query14	10400	6335	6975	6335
query15	225	183	186	183
query16	7570	277	274	274
query17	1394	570	541	541
query18	1960	286	290	286
query19	195	160	162	160
query20	96	85	86	85
query21	222	139	129	129
query22	4316	4116	4034	4034
query23	33966	33841	33908	33841
query24	11288	2894	2921	2894
query25	671	412	397	397
query26	1229	160	164	160
query27	3114	328	328	328
query28	7195	2185	2160	2160
query29	924	665	658	658
query30	240	160	167	160
query31	990	765	759	759
query32	94	58	62	58
query33	766	320	302	302
query34	967	485	503	485
query35	780	646	680	646
query36	1162	998	997	997
query37	190	75	76	75
query38	2920	2890	2845	2845
query39	936	829	841	829
query40	220	136	136	136
query41	59	56	54	54
query42	114	112	107	107
query43	604	521	533	521
query44	1257	756	753	753
query45	199	164	171	164
query46	1095	713	718	713
query47	1893	1788	1798	1788
query48	375	315	298	298
query49	881	420	429	420
query50	774	480	386	386
query51	6915	6827	6758	6758
query52	106	89	100	89
query53	356	300	300	300
query54	867	452	448	448
query55	76	77	73	73
query56	288	265	300	265
query57	1155	1031	1075	1031
query58	257	243	262	243
query59	3346	3091	3369	3091
query60	300	287	315	287
query61	92	113	89	89
query62	608	452	452	452
query63	324	295	296	295
query64	8852	2250	1751	1751
query65	3173	3120	3100	3100
query66	872	332	334	332
query67	15623	14983	15179	14983
query68	8117	564	564	564
query69	684	507	462	462
query70	1143	1106	1119	1106
query71	512	282	276	276
query72	9021	5439	5662	5439
query73	842	332	327	327
query74	6207	5500	5571	5500
query75	5238	2682	2609	2609
query76	4796	957	990	957
query77	807	316	314	314
query78	10559	9798	9867	9798
query79	8183	523	528	523
query80	1027	473	478	473
query81	547	237	222	222
query82	751	102	109	102
query83	355	165	164	164
query84	270	85	85	85
query85	1364	281	311	281
query86	454	325	311	311
query87	3287	3133	3085	3085
query88	4727	2370	2343	2343
query89	531	383	388	383
query90	1918	193	195	193
query91	129	98	99	98
query92	61	49	55	49
query93	6005	549	529	529
query94	1159	190	188	188
query95	405	314	312	312
query96	606	267	260	260
query97	3246	3041	3057	3041
query98	221	203	195	195
query99	1307	865	859	859
Total cold run time: 293417 ms
Total hot run time: 174377 ms

doris-robot avatar Jun 27 '24 03:06 doris-robot

ClickBench: Total hot run time: 30.37 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 3eb8c38961a7222ab930abb43cba1e0d973c386f, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.04	0.04
query3	0.22	0.05	0.05
query4	1.67	0.07	0.07
query5	0.50	0.50	0.50
query6	1.14	0.72	0.73
query7	0.02	0.01	0.01
query8	0.06	0.04	0.04
query9	0.55	0.49	0.48
query10	0.54	0.54	0.55
query11	0.16	0.12	0.12
query12	0.15	0.13	0.13
query13	0.61	0.59	0.59
query14	0.77	0.80	0.79
query15	0.86	0.83	0.83
query16	0.36	0.36	0.36
query17	1.02	0.97	1.01
query18	0.23	0.26	0.25
query19	1.82	1.73	1.75
query20	0.01	0.01	0.01
query21	15.44	0.74	0.65
query22	4.76	6.99	1.47
query23	18.24	1.42	1.34
query24	2.20	0.22	0.21
query25	0.16	0.08	0.08
query26	0.26	0.17	0.17
query27	0.08	0.08	0.09
query28	13.24	1.04	1.01
query29	12.62	3.32	3.29
query30	0.26	0.07	0.06
query31	2.85	0.39	0.38
query32	3.26	0.48	0.47
query33	2.90	2.92	2.90
query34	17.03	4.43	4.44
query35	4.51	4.57	4.51
query36	0.66	0.46	0.49
query37	0.18	0.15	0.15
query38	0.16	0.14	0.14
query39	0.04	0.03	0.04
query40	0.17	0.14	0.17
query41	0.10	0.05	0.05
query42	0.06	0.05	0.05
query43	0.04	0.04	0.04
Total cold run time: 110.03 s
Total hot run time: 30.37 s

doris-robot avatar Jun 27 '24 03:06 doris-robot

run buildall

swjtu-zhanglei avatar Jun 27 '24 12:06 swjtu-zhanglei

TPC-H: Total hot run time: 40360 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit cfd03116a033e9ee2ba9e26c9af6ab98a6e11602, data reload: false

------ Round 1 ----------------------------------
q1	18354	4654	4250	4250
q2	2033	196	201	196
q3	10537	1155	1045	1045
q4	10228	826	729	729
q5	7494	2700	2623	2623
q6	218	133	135	133
q7	961	593	598	593
q8	9234	2085	2114	2085
q9	8997	6538	6511	6511
q10	8971	3693	3693	3693
q11	447	233	236	233
q12	407	227	230	227
q13	17789	2986	2973	2973
q14	257	222	214	214
q15	517	491	484	484
q16	516	372	372	372
q17	972	687	687	687
q18	8111	7555	7395	7395
q19	3425	1497	1559	1497
q20	647	324	347	324
q21	4982	3755	3936	3755
q22	400	343	341	341
Total cold run time: 115497 ms
Total hot run time: 40360 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4366	4250	4214	4214
q2	365	274	260	260
q3	2951	2846	2896	2846
q4	1996	1747	1744	1744
q5	5712	5534	5492	5492
q6	218	127	129	127
q7	2225	1892	1864	1864
q8	3261	3410	3457	3410
q9	8697	8692	8919	8692
q10	4148	3807	3662	3662
q11	592	485	533	485
q12	796	645	630	630
q13	17124	3114	3187	3114
q14	315	273	279	273
q15	522	496	495	495
q16	492	439	445	439
q17	1840	1509	1532	1509
q18	8163	7865	7755	7755
q19	1891	1639	1575	1575
q20	3054	1898	1860	1860
q21	5067	4925	4848	4848
q22	610	544	541	541
Total cold run time: 74405 ms
Total hot run time: 55835 ms

doris-robot avatar Jun 27 '24 14:06 doris-robot

TPC-DS: Total hot run time: 174690 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit cfd03116a033e9ee2ba9e26c9af6ab98a6e11602, data reload: false

query1	922	371	382	371
query2	6446	2480	2295	2295
query3	6630	205	211	205
query4	20281	17692	17090	17090
query5	3658	478	483	478
query6	261	158	157	157
query7	4588	308	293	293
query8	304	292	291	291
query9	8578	2427	2416	2416
query10	583	303	284	284
query11	10894	10177	10019	10019
query12	118	103	82	82
query13	1669	387	369	369
query14	9593	7636	7658	7636
query15	260	187	189	187
query16	8066	276	271	271
query17	1882	562	544	544
query18	2112	288	281	281
query19	203	157	155	155
query20	93	80	94	80
query21	212	131	135	131
query22	4554	4153	4095	4095
query23	33922	33815	33676	33676
query24	10764	2947	3031	2947
query25	596	391	393	391
query26	718	161	158	158
query27	2226	328	327	327
query28	6016	2159	2157	2157
query29	958	664	648	648
query30	264	162	158	158
query31	962	754	775	754
query32	99	55	58	55
query33	692	312	293	293
query34	888	481	495	481
query35	788	658	680	658
query36	1160	980	985	980
query37	149	72	77	72
query38	3004	2878	2902	2878
query39	887	829	851	829
query40	215	130	133	130
query41	56	55	54	54
query42	109	101	104	101
query43	582	539	533	533
query44	1083	728	732	728
query45	192	170	166	166
query46	1073	735	733	733
query47	1866	1768	1781	1768
query48	373	297	292	292
query49	865	421	427	421
query50	765	476	381	381
query51	6855	6783	6752	6752
query52	106	90	98	90
query53	360	295	293	293
query54	885	445	434	434
query55	78	73	77	73
query56	279	273	298	273
query57	1106	1052	1073	1052
query58	244	241	238	238
query59	3551	3110	2928	2928
query60	307	274	283	274
query61	96	92	95	92
query62	616	435	446	435
query63	320	295	299	295
query64	8499	2286	1738	1738
query65	3194	3146	3115	3115
query66	743	331	335	331
query67	15722	15087	15012	15012
query68	8256	553	580	553
query69	714	583	420	420
query70	1220	1115	1018	1018
query71	487	271	274	271
query72	8521	5346	5683	5346
query73	1224	325	322	322
query74	5922	5505	5508	5505
query75	4994	2688	2649	2649
query76	4521	1022	978	978
query77	762	328	306	306
query78	10508	9835	9743	9743
query79	8579	521	522	521
query80	1019	485	489	485
query81	556	220	226	220
query82	759	101	109	101
query83	355	172	169	169
query84	269	84	87	84
query85	1277	315	267	267
query86	404	300	296	296
query87	3289	3119	3161	3119
query88	4438	2365	2366	2365
query89	527	379	369	369
query90	1873	190	195	190
query91	131	101	101	101
query92	59	49	49	49
query93	6211	512	520	512
query94	1112	193	187	187
query95	413	312	318	312
query96	597	268	269	268
query97	3231	3029	3020	3020
query98	225	208	198	198
query99	1262	830	822	822
Total cold run time: 289855 ms
Total hot run time: 174690 ms

doris-robot avatar Jun 27 '24 14:06 doris-robot

ClickBench: Total hot run time: 30.46 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit cfd03116a033e9ee2ba9e26c9af6ab98a6e11602, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.04	0.04
query3	0.22	0.06	0.05
query4	1.66	0.09	0.08
query5	0.51	0.49	0.50
query6	1.13	0.74	0.71
query7	0.02	0.01	0.02
query8	0.06	0.05	0.05
query9	0.56	0.49	0.48
query10	0.55	0.56	0.54
query11	0.16	0.11	0.12
query12	0.15	0.12	0.11
query13	0.60	0.58	0.59
query14	0.79	0.78	0.79
query15	0.84	0.83	0.81
query16	0.35	0.36	0.36
query17	0.96	0.98	0.98
query18	0.21	0.25	0.22
query19	1.84	1.71	1.70
query20	0.02	0.00	0.00
query21	15.42	0.75	0.65
query22	4.88	6.61	1.93
query23	18.29	1.34	1.27
query24	2.15	0.21	0.21
query25	0.15	0.08	0.08
query26	0.27	0.16	0.18
query27	0.08	0.08	0.08
query28	13.35	1.01	0.99
query29	12.59	3.37	3.32
query30	0.25	0.06	0.05
query31	2.85	0.40	0.39
query32	3.25	0.46	0.46
query33	2.89	2.86	2.86
query34	17.18	4.40	4.39
query35	4.47	4.46	4.47
query36	0.65	0.47	0.46
query37	0.18	0.15	0.15
query38	0.16	0.14	0.14
query39	0.04	0.03	0.03
query40	0.17	0.14	0.13
query41	0.09	0.04	0.05
query42	0.06	0.04	0.05
query43	0.04	0.04	0.04
Total cold run time: 110.21 s
Total hot run time: 30.46 s

doris-robot avatar Jun 27 '24 14:06 doris-robot

run buildall

swjtu-zhanglei avatar Jul 01 '24 08:07 swjtu-zhanglei

run buildall

swjtu-zhanglei avatar Jul 01 '24 08:07 swjtu-zhanglei

TPC-H: Total hot run time: 39886 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 5a09edd3b770ed46357621b8803a89f52198e3da, data reload: false

------ Round 1 ----------------------------------
q1	18218	4709	4332	4332
q2	2022	189	190	189
q3	10574	1292	1120	1120
q4	10222	919	773	773
q5	7540	2641	2657	2641
q6	225	138	139	138
q7	968	598	596	596
q8	9224	2111	2085	2085
q9	8971	6476	6547	6476
q10	9043	3740	3738	3738
q11	469	236	247	236
q12	428	249	234	234
q13	17765	2982	3024	2982
q14	260	221	224	221
q15	532	496	494	494
q16	510	378	389	378
q17	974	658	728	658
q18	8006	7413	7390	7390
q19	2845	1468	1367	1367
q20	676	322	339	322
q21	4962	3183	4019	3183
q22	403	342	333	333
Total cold run time: 114837 ms
Total hot run time: 39886 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4431	4252	4228	4228
q2	376	266	267	266
q3	3000	2753	2868	2753
q4	2026	1705	1717	1705
q5	5650	5544	5541	5541
q6	234	135	131	131
q7	2190	1831	1900	1831
q8	3338	3432	3456	3432
q9	8744	8708	8882	8708
q10	4089	3886	3817	3817
q11	573	490	492	490
q12	814	659	670	659
q13	16020	3197	3174	3174
q14	321	283	303	283
q15	540	480	507	480
q16	481	428	439	428
q17	1815	1533	1496	1496
q18	8220	7867	7980	7867
q19	1878	1392	1645	1392
q20	2127	1948	1877	1877
q21	5103	4905	4880	4880
q22	643	563	561	561
Total cold run time: 72613 ms
Total hot run time: 55999 ms

doris-robot avatar Jul 01 '24 10:07 doris-robot

TPC-DS: Total hot run time: 174479 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 5a09edd3b770ed46357621b8803a89f52198e3da, data reload: false

query1	924	383	376	376
query2	6468	2431	2381	2381
query3	6630	212	219	212
query4	20752	17324	17369	17324
query5	3677	479	474	474
query6	262	175	162	162
query7	4597	285	289	285
query8	302	290	282	282
query9	8588	2428	2411	2411
query10	603	297	274	274
query11	10634	10139	10150	10139
query12	122	91	83	83
query13	1650	384	373	373
query14	10256	7703	6981	6981
query15	239	183	191	183
query16	7915	281	275	275
query17	1871	561	540	540
query18	2044	289	280	280
query19	193	158	160	158
query20	94	82	86	82
query21	213	137	132	132
query22	4190	4083	4139	4083
query23	33795	33688	33819	33688
query24	10826	2879	2810	2810
query25	600	413	397	397
query26	700	162	158	158
query27	2222	332	338	332
query28	6157	2185	2176	2176
query29	892	716	641	641
query30	246	153	152	152
query31	987	760	754	754
query32	100	57	56	56
query33	663	281	288	281
query34	878	475	498	475
query35	809	628	663	628
query36	1121	988	983	983
query37	136	81	83	81
query38	2960	2823	2860	2823
query39	907	835	840	835
query40	210	133	128	128
query41	54	52	54	52
query42	108	106	103	103
query43	622	520	539	520
query44	1069	747	734	734
query45	189	158	168	158
query46	1065	717	712	712
query47	1853	1787	1751	1751
query48	361	303	295	295
query49	845	411	416	411
query50	766	378	381	378
query51	6844	6838	6708	6708
query52	108	90	94	90
query53	365	293	289	289
query54	890	443	437	437
query55	76	76	77	76
query56	281	262	290	262
query57	1086	1069	1055	1055
query58	249	236	244	236
query59	3419	3186	3110	3110
query60	302	268	274	268
query61	94	90	92	90
query62	595	450	447	447
query63	315	288	305	288
query64	8521	2293	1759	1759
query65	3155	3100	3099	3099
query66	746	325	320	320
query67	15568	15071	15045	15045
query68	4735	541	537	537
query69	715	438	354	354
query70	1188	1154	1154	1154
query71	470	276	274	274
query72	8678	5468	5870	5468
query73	751	331	327	327
query74	5847	5521	5532	5521
query75	4420	2694	2646	2646
query76	3562	932	933	932
query77	719	303	294	294
query78	10429	9735	9776	9735
query79	2486	523	521	521
query80	1829	477	478	477
query81	547	224	226	224
query82	1118	105	108	105
query83	307	167	175	167
query84	276	83	89	83
query85	1363	279	281	279
query86	473	333	341	333
query87	3265	3072	3071	3071
query88	3894	2397	2459	2397
query89	472	386	377	377
query90	2039	187	189	187
query91	128	97	104	97
query92	65	50	51	50
query93	2303	510	510	510
query94	1353	187	188	187
query95	411	321	308	308
query96	592	274	267	267
query97	3237	2984	3008	2984
query98	216	196	208	196
query99	1093	841	836	836
Total cold run time: 274960 ms
Total hot run time: 174479 ms

doris-robot avatar Jul 01 '24 10:07 doris-robot

ClickBench: Total hot run time: 31.26 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 5a09edd3b770ed46357621b8803a89f52198e3da, data reload: false

query1	0.05	0.03	0.03
query2	0.07	0.04	0.04
query3	0.22	0.04	0.05
query4	1.68	0.10	0.09
query5	0.50	0.49	0.48
query6	1.14	0.73	0.73
query7	0.02	0.01	0.02
query8	0.05	0.05	0.04
query9	0.54	0.48	0.49
query10	0.54	0.54	0.54
query11	0.15	0.11	0.11
query12	0.14	0.11	0.12
query13	0.60	0.59	0.59
query14	0.75	0.81	0.82
query15	0.85	0.82	0.81
query16	0.34	0.37	0.35
query17	0.95	0.95	0.96
query18	0.22	0.24	0.26
query19	1.77	1.69	1.70
query20	0.01	0.01	0.01
query21	15.42	0.76	0.66
query22	3.49	6.91	2.53
query23	18.28	1.44	1.31
query24	2.05	0.22	0.23
query25	0.14	0.08	0.07
query26	0.26	0.18	0.17
query27	0.08	0.09	0.09
query28	13.29	1.01	1.00
query29	12.64	3.29	3.31
query30	0.25	0.06	0.05
query31	2.88	0.39	0.39
query32	3.26	0.47	0.47
query33	2.88	2.86	2.86
query34	17.13	4.43	4.42
query35	4.49	4.50	4.54
query36	0.64	0.47	0.47
query37	0.19	0.16	0.15
query38	0.16	0.15	0.16
query39	0.05	0.04	0.03
query40	0.16	0.15	0.17
query41	0.09	0.05	0.04
query42	0.05	0.06	0.05
query43	0.04	0.04	0.04
Total cold run time: 108.51 s
Total hot run time: 31.26 s

doris-robot avatar Jul 01 '24 10:07 doris-robot