doris icon indicating copy to clipboard operation
doris copied to clipboard

[refactor](filecache) ttl management refactoring

Open freemandealer opened this issue 1 month ago • 58 comments

This commit refactors the file cache TTL management by:

  • introducing a dedicated BlockFileCacheTtlMgr into BlockFileCache to manage TTL updates
  • removing the ad‑hoc TTL bookkeeping, GC thread, and expiration helpers from BlockFileCache
  • changing TTL management grain from block level to tablet level

What problem does this PR solve?

Issue Number: close #xxx

Related PR: #xxx

Problem Summary:

Release note

None

Check List (For Author)

  • Test

    • [ ] Regression test
    • [ ] Unit Test
    • [ ] Manual test (add detailed scripts or steps below)
    • [ ] No need to test or manual test. Explain why:
      • [ ] This is a refactor/code format and no logic has been changed.
      • [ ] Previous test can cover this change.
      • [ ] No code files have been changed.
      • [ ] Other reason
  • Behavior changed:

    • [ ] No.
    • [ ] Yes.
  • Does this need documentation?

    • [ ] No.
    • [ ] Yes.

Check List (For Reviewer who merge this PR)

  • [ ] Confirm the release note
  • [ ] Confirm test cases
  • [ ] Confirm document
  • [ ] Add branch pick label

freemandealer avatar Nov 11 '25 12:11 freemandealer

Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR.

Please clearly describe your PR:

  1. What problem was fixed (it's best to include specific error reporting information). How it was fixed.
  2. Which behaviors were modified. What was the previous behavior, what is it now, why was it modified, and what possible impacts might there be.
  3. What features were added. Why was this function added?
  4. Which code was refactored and why was this part of the code refactored?
  5. Which functions were optimized and what is the difference before and after the optimization?

Thearas avatar Nov 11 '25 12:11 Thearas

run buildall

freemandealer avatar Nov 19 '25 16:11 freemandealer

run buildall

freemandealer avatar Nov 19 '25 16:11 freemandealer

TPC-H: Total hot run time: 34150 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit eace96935e5292c88ade43fafd11387f71c42601, data reload: false

------ Round 1 ----------------------------------
q1	17591	5090	4912	4912
q2	2045	329	208	208
q3	10257	1297	719	719
q4	10240	910	365	365
q5	7511	2426	2269	2269
q6	186	165	134	134
q7	915	762	624	624
q8	9350	1343	1118	1118
q9	7351	5552	5385	5385
q10	6915	2251	1789	1789
q11	494	311	295	295
q12	362	367	223	223
q13	17800	3668	2996	2996
q14	226	233	227	227
q15	582	502	498	498
q16	1037	1002	933	933
q17	570	860	357	357
q18	7407	7102	7118	7102
q19	1091	934	555	555
q20	349	337	225	225
q21	3707	3207	2230	2230
q22	1066	1034	986	986
Total cold run time: 107052 ms
Total hot run time: 34150 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4935	4941	4882	4882
q2	320	399	317	317
q3	2137	2674	2298	2298
q4	1332	1790	1316	1316
q5	4181	4439	4411	4411
q6	217	178	132	132
q7	2094	1927	1824	1824
q8	2696	2725	2541	2541
q9	7585	7585	7507	7507
q10	3061	3322	2790	2790
q11	585	548	509	509
q12	685	817	646	646
q13	3577	4036	3215	3215
q14	268	291	269	269
q15	546	481	517	481
q16	1110	1093	1037	1037
q17	1197	1538	1404	1404
q18	8098	7528	7519	7519
q19	777	783	814	783
q20	2087	2043	1910	1910
q21	4834	4240	4267	4240
q22	1099	1035	1003	1003
Total cold run time: 53421 ms
Total hot run time: 51034 ms

doris-robot avatar Nov 19 '25 18:11 doris-robot

TPC-DS: Total hot run time: 184937 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit eace96935e5292c88ade43fafd11387f71c42601, data reload: false

query1	1033	398	384	384
query2	6568	1659	1668	1659
query3	6759	230	229	229
query4	25899	23276	22517	22517
query5	4394	627	512	512
query6	356	254	226	226
query7	4648	499	306	306
query8	318	262	258	258
query9	8678	2919	2987	2919
query10	509	345	319	319
query11	16027	15127	14712	14712
query12	181	123	122	122
query13	1698	583	467	467
query14	10741	9143	9075	9075
query15	202	199	173	173
query16	7330	664	492	492
query17	1267	778	654	654
query18	2007	445	341	341
query19	212	210	190	190
query20	138	167	125	125
query21	219	144	115	115
query22	4008	4088	3955	3955
query23	34036	33055	33109	33055
query24	8096	2318	2353	2318
query25	606	543	451	451
query26	1224	267	166	166
query27	2770	491	355	355
query28	4424	2236	2215	2215
query29	885	634	500	500
query30	303	224	198	198
query31	895	795	724	724
query32	96	86	78	78
query33	586	397	344	344
query34	777	853	518	518
query35	826	835	728	728
query36	946	977	875	875
query37	129	109	101	101
query38	3501	3481	3512	3481
query39	1474	1422	1449	1422
query40	239	133	125	125
query41	64	67	60	60
query42	131	123	121	121
query43	477	468	486	468
query44	1254	793	779	779
query45	187	181	177	177
query46	894	993	639	639
query47	1792	1816	1732	1732
query48	396	418	362	362
query49	753	504	420	420
query50	641	673	400	400
query51	3897	3854	3891	3854
query52	115	116	111	111
query53	255	267	203	203
query54	329	321	300	300
query55	103	101	90	90
query56	352	354	357	354
query57	1158	1184	1128	1128
query58	299	286	281	281
query59	2445	2675	2482	2482
query60	363	378	369	369
query61	155	155	155	155
query62	787	720	645	645
query63	224	194	199	194
query64	4574	1153	878	878
query65	4036	3943	3895	3895
query66	1198	432	340	340
query67	15087	15013	14868	14868
query68	4705	975	643	643
query69	502	338	297	297
query70	1334	1241	1204	1204
query71	437	356	334	334
query72	5820	4935	2825	2825
query73	661	583	371	371
query74	8961	8830	8832	8830
query75	3264	3231	2739	2739
query76	3291	1103	722	722
query77	509	423	344	344
query78	9419	9649	8874	8874
query79	1941	851	611	611
query80	1793	626	563	563
query81	545	263	221	221
query82	411	169	140	140
query83	367	271	277	271
query84	262	117	102	102
query85	1068	500	442	442
query86	386	309	309	309
query87	3658	3717	3549	3549
query88	2775	2218	2189	2189
query89	387	323	288	288
query90	1745	231	222	222
query91	163	161	138	138
query92	82	76	72	72
query93	1175	993	686	686
query94	695	413	320	320
query95	430	337	338	337
query96	479	589	283	283
query97	2942	2907	2833	2833
query98	249	217	224	217
query99	1310	1374	1252	1252
Total cold run time: 268737 ms
Total hot run time: 184937 ms

doris-robot avatar Nov 19 '25 18:11 doris-robot

ClickBench: Total hot run time: 27.51 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit eace96935e5292c88ade43fafd11387f71c42601, data reload: false

query1	0.05	0.04	0.05
query2	0.09	0.05	0.05
query3	0.26	0.08	0.08
query4	1.60	0.11	0.12
query5	0.27	0.27	0.26
query6	1.16	0.64	0.64
query7	0.03	0.02	0.02
query8	0.06	0.04	0.04
query9	0.58	0.53	0.52
query10	0.56	0.57	0.58
query11	0.16	0.12	0.11
query12	0.15	0.12	0.12
query13	0.63	0.60	0.60
query14	1.00	1.00	1.00
query15	0.84	0.84	0.83
query16	0.40	0.40	0.38
query17	1.03	1.04	1.00
query18	0.21	0.19	0.19
query19	1.88	1.75	1.74
query20	0.02	0.01	0.03
query21	15.44	0.22	0.13
query22	4.76	0.07	0.05
query23	15.69	0.26	0.10
query24	3.27	1.18	0.55
query25	0.07	0.08	0.06
query26	0.14	0.14	0.13
query27	0.06	0.05	0.06
query28	4.95	1.18	0.96
query29	12.68	3.92	3.21
query30	0.28	0.14	0.12
query31	2.83	0.58	0.38
query32	3.22	0.55	0.47
query33	3.01	3.03	3.05
query34	15.79	5.17	4.58
query35	4.58	4.58	4.54
query36	0.68	0.50	0.48
query37	0.09	0.07	0.07
query38	0.07	0.04	0.04
query39	0.04	0.03	0.03
query40	0.18	0.15	0.14
query41	0.08	0.03	0.03
query42	0.04	0.02	0.02
query43	0.04	0.03	0.04
Total cold run time: 98.97 s
Total hot run time: 27.51 s

doris-robot avatar Nov 19 '25 19:11 doris-robot

run buildall

dataroaring avatar Nov 24 '25 18:11 dataroaring

TPC-H: Total hot run time: 34175 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit bf9e3efb7a26ea14e322b2b7457e420027248318, data reload: false

------ Round 1 ----------------------------------
q1	17631	5039	4906	4906
q2	2014	312	207	207
q3	10273	1296	715	715
q4	10231	906	372	372
q5	7552	2385	2376	2376
q6	221	171	136	136
q7	952	785	639	639
q8	9351	1327	1044	1044
q9	7183	5331	5316	5316
q10	6887	2260	1826	1826
q11	497	303	297	297
q12	329	371	223	223
q13	17794	3684	3051	3051
q14	238	255	216	216
q15	594	510	519	510
q16	1040	1024	950	950
q17	592	866	367	367
q18	7532	6997	7045	6997
q19	1111	959	545	545
q20	366	367	233	233
q21	3768	3223	2289	2289
q22	1068	1009	960	960
Total cold run time: 107224 ms
Total hot run time: 34175 ms

----- Round 2, with runtime_filter_mode=off -----
q1	5022	4968	4931	4931
q2	321	402	316	316
q3	2149	2690	2276	2276
q4	1374	1774	1435	1435
q5	4232	4454	4450	4450
q6	216	178	131	131
q7	2095	1975	1885	1885
q8	2601	2672	2573	2573
q9	7495	7559	7542	7542
q10	3066	3244	2804	2804
q11	585	512	492	492
q12	689	766	626	626
q13	3531	3950	3232	3232
q14	304	317	310	310
q15	565	517	520	517
q16	1110	1134	1093	1093
q17	1220	1624	1378	1378
q18	7806	7685	7477	7477
q19	796	800	761	761
q20	1930	2033	1797	1797
q21	4746	4290	4328	4290
q22	1093	1033	1010	1010
Total cold run time: 52946 ms
Total hot run time: 51326 ms

doris-robot avatar Nov 24 '25 20:11 doris-robot

TPC-DS: Total hot run time: 185168 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit bf9e3efb7a26ea14e322b2b7457e420027248318, data reload: false

query1	1060	406	391	391
query2	6561	1632	1605	1605
query3	6762	229	231	229
query4	25759	22922	22736	22736
query5	4457	641	481	481
query6	353	248	221	221
query7	4646	494	296	296
query8	301	255	260	255
query9	8735	2573	2601	2573
query10	546	383	319	319
query11	14906	14811	14532	14532
query12	179	119	112	112
query13	1706	582	461	461
query14	10099	8857	8908	8857
query15	211	197	188	188
query16	7352	706	521	521
query17	1276	783	637	637
query18	1999	432	357	357
query19	214	221	179	179
query20	129	129	121	121
query21	222	135	118	118
query22	3946	3981	3891	3891
query23	32788	31996	31784	31784
query24	8483	2421	2370	2370
query25	651	541	485	485
query26	1246	280	170	170
query27	2743	508	361	361
query28	4391	2180	2138	2138
query29	866	637	518	518
query30	314	229	215	215
query31	843	754	626	626
query32	86	76	78	76
query33	596	392	340	340
query34	792	865	573	573
query35	801	848	744	744
query36	921	962	851	851
query37	117	110	90	90
query38	3276	3282	3260	3260
query39	1454	1397	1396	1396
query40	216	128	124	124
query41	65	64	63	63
query42	124	115	110	110
query43	457	479	438	438
query44	1245	760	767	760
query45	196	192	182	182
query46	888	996	655	655
query47	1689	1715	1630	1630
query48	395	439	329	329
query49	797	502	404	404
query50	645	680	416	416
query51	3851	3914	3884	3884
query52	116	108	105	105
query53	235	260	193	193
query54	304	303	283	283
query55	88	89	86	86
query56	318	326	359	326
query57	1118	1146	1114	1114
query58	290	266	278	266
query59	2448	2506	2430	2430
query60	350	346	326	326
query61	156	158	156	156
query62	795	726	650	650
query63	224	197	195	195
query64	4559	1217	889	889
query65	4025	3936	3960	3936
query66	1169	424	335	335
query67	15216	15650	15578	15578
query68	8940	919	635	635
query69	505	335	306	306
query70	1309	1288	1272	1272
query71	480	341	313	313
query72	5568	4816	4762	4762
query73	716	571	375	375
query74	8493	8760	8660	8660
query75	4010	3290	2814	2814
query76	3689	1121	704	704
query77	813	398	315	315
query78	9541	9814	8993	8993
query79	1196	826	606	606
query80	652	571	500	500
query81	483	271	235	235
query82	418	161	134	134
query83	272	271	257	257
query84	273	110	94	94
query85	924	497	443	443
query86	343	308	308	308
query87	3439	3479	3430	3430
query88	2814	2257	2246	2246
query89	389	319	309	309
query90	1930	220	219	219
query91	172	179	151	151
query92	90	72	69	69
query93	1117	996	684	684
query94	738	447	354	354
query95	496	413	392	392
query96	493	578	276	276
query97	2908	3036	2916	2916
query98	240	213	215	213
query99	1357	1399	1243	1243
Total cold run time: 268574 ms
Total hot run time: 185168 ms

doris-robot avatar Nov 24 '25 20:11 doris-robot

ClickBench: Total hot run time: 27.41 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit bf9e3efb7a26ea14e322b2b7457e420027248318, data reload: false

query1	0.06	0.04	0.04
query2	0.09	0.04	0.05
query3	0.25	0.09	0.08
query4	1.61	0.12	0.11
query5	0.26	0.24	0.24
query6	1.16	0.64	0.64
query7	0.03	0.02	0.02
query8	0.06	0.05	0.05
query9	0.58	0.51	0.52
query10	0.57	0.56	0.56
query11	0.15	0.12	0.11
query12	0.16	0.12	0.12
query13	0.61	0.60	0.61
query14	1.01	1.00	1.00
query15	0.85	0.82	0.84
query16	0.38	0.39	0.41
query17	1.02	1.00	0.99
query18	0.21	0.20	0.24
query19	1.86	1.82	1.76
query20	0.02	0.01	0.01
query21	15.47	0.20	0.13
query22	5.01	0.06	0.04
query23	15.65	0.27	0.10
query24	3.59	0.86	0.53
query25	0.09	0.06	0.07
query26	0.15	0.13	0.14
query27	0.06	0.05	0.05
query28	5.41	1.19	0.93
query29	12.55	3.93	3.22
query30	0.28	0.13	0.12
query31	2.81	0.60	0.39
query32	3.23	0.55	0.48
query33	3.03	3.04	3.00
query34	15.89	5.21	4.55
query35	4.61	4.56	4.55
query36	0.68	0.50	0.49
query37	0.11	0.07	0.07
query38	0.07	0.04	0.04
query39	0.03	0.03	0.03
query40	0.19	0.14	0.14
query41	0.08	0.03	0.02
query42	0.04	0.02	0.03
query43	0.04	0.04	0.03
Total cold run time: 100.01 s
Total hot run time: 27.41 s

doris-robot avatar Nov 24 '25 20:11 doris-robot

run buildall

freemandealer avatar Dec 01 '25 06:12 freemandealer

TPC-H: Total hot run time: 34221 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 3ada967b3ef2bcad409f10559a8f67d851153c12, data reload: false

------ Round 1 ----------------------------------
q1	17668	5206	4952	4952
q2	2046	312	222	222
q3	10244	1290	772	772
q4	10244	957	333	333
q5	7535	2430	2196	2196
q6	194	176	139	139
q7	952	785	645	645
q8	9344	1389	1089	1089
q9	7080	5327	5391	5327
q10	6860	2215	1798	1798
q11	507	322	284	284
q12	370	375	231	231
q13	17809	3756	3046	3046
q14	232	236	215	215
q15	598	515	517	515
q16	888	890	822	822
q17	596	853	469	469
q18	8011	7265	7074	7074
q19	1148	950	599	599
q20	377	347	236	236
q21	3688	3327	2338	2338
q22	1047	983	919	919
Total cold run time: 107438 ms
Total hot run time: 34221 ms

----- Round 2, with runtime_filter_mode=off -----
q1	5036	5004	4967	4967
q2	331	402	312	312
q3	2172	2737	2269	2269
q4	1352	1810	1284	1284
q5	4251	4550	4572	4550
q6	227	175	129	129
q7	2097	1964	1853	1853
q8	2771	2541	2490	2490
q9	7571	7537	7588	7537
q10	3104	3251	2835	2835
q11	616	514	503	503
q12	672	718	642	642
q13	3767	3829	3419	3419
q14	305	321	289	289
q15	557	518	535	518
q16	909	941	865	865
q17	1171	1400	1534	1400
q18	7989	7745	7567	7567
q19	860	871	819	819
q20	1886	1998	1799	1799
q21	4660	4292	4246	4246
q22	1055	1043	977	977
Total cold run time: 53359 ms
Total hot run time: 51270 ms

doris-robot avatar Dec 01 '25 08:12 doris-robot

TPC-DS: Total hot run time: 182313 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 3ada967b3ef2bcad409f10559a8f67d851153c12, data reload: false

query1	1085	410	408	408
query2	6612	1204	1169	1169
query3	6743	237	227	227
query4	25291	23271	23025	23025
query5	4600	669	535	535
query6	354	246	220	220
query7	4679	517	307	307
query8	311	262	256	256
query9	8745	2630	2654	2630
query10	525	369	310	310
query11	15307	15203	14913	14913
query12	173	118	118	118
query13	1682	559	426	426
query14	9569	5934	5904	5904
query15	204	207	193	193
query16	7461	692	511	511
query17	1229	756	618	618
query18	2030	427	338	338
query19	224	216	189	189
query20	133	130	127	127
query21	223	142	118	118
query22	3919	3955	3786	3786
query23	33147	31867	31877	31867
query24	8588	2404	2429	2404
query25	617	524	484	484
query26	1239	281	170	170
query27	2722	505	354	354
query28	4366	2154	2118	2118
query29	809	615	492	492
query30	311	239	214	214
query31	824	744	618	618
query32	82	72	75	72
query33	601	395	345	345
query34	839	895	532	532
query35	799	841	744	744
query36	895	914	849	849
query37	120	108	96	96
query38	3826	3864	3774	3774
query39	1470	1410	1402	1402
query40	228	139	125	125
query41	68	63	62	62
query42	128	122	116	116
query43	445	452	435	435
query44	1313	763	756	756
query45	206	199	185	185
query46	903	1021	673	673
query47	1661	1707	1623	1623
query48	401	425	346	346
query49	757	515	433	433
query50	683	699	424	424
query51	3844	3928	4049	3928
query52	114	115	111	111
query53	240	265	193	193
query54	334	303	301	301
query55	97	95	95	95
query56	342	339	331	331
query57	1153	1167	1077	1077
query58	303	279	283	279
query59	2287	2402	2319	2319
query60	367	362	347	347
query61	199	193	192	192
query62	823	705	661	661
query63	245	203	203	203
query64	4692	1323	1007	1007
query65	4063	4011	3966	3966
query66	1184	480	353	353
query67	15550	15023	14946	14946
query68	6265	988	635	635
query69	540	357	323	323
query70	1084	991	999	991
query71	441	353	331	331
query72	6126	5003	4894	4894
query73	648	576	348	348
query74	8837	8827	8541	8541
query75	3058	3032	2550	2550
query76	3326	1160	757	757
query77	520	415	321	321
query78	9413	9550	8879	8879
query79	2396	849	598	598
query80	659	590	502	502
query81	509	272	242	242
query82	482	140	116	116
query83	272	270	260	260
query84	256	122	100	100
query85	943	504	442	442
query86	385	291	291	291
query87	4048	4073	3963	3963
query88	4236	2289	2289	2289
query89	391	335	304	304
query90	1939	219	216	216
query91	166	181	145	145
query92	86	77	70	70
query93	1994	993	655	655
query94	778	457	356	356
query95	514	419	409	409
query96	519	567	289	289
query97	2668	2691	2619	2619
query98	254	232	214	214
query99	1343	1396	1313	1313
Total cold run time: 270080 ms
Total hot run time: 182313 ms

doris-robot avatar Dec 01 '25 08:12 doris-robot

ClickBench: Total hot run time: 27.34 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 3ada967b3ef2bcad409f10559a8f67d851153c12, data reload: false

query1	0.06	0.05	0.05
query2	0.10	0.05	0.05
query3	0.25	0.08	0.08
query4	1.60	0.12	0.11
query5	0.27	0.27	0.27
query6	1.15	0.66	0.63
query7	0.04	0.03	0.02
query8	0.05	0.04	0.04
query9	0.58	0.50	0.50
query10	0.56	0.56	0.55
query11	0.16	0.10	0.11
query12	0.15	0.11	0.12
query13	0.63	0.60	0.60
query14	0.99	0.97	0.98
query15	0.82	0.80	0.81
query16	0.43	0.40	0.40
query17	1.09	1.05	1.07
query18	0.23	0.22	0.22
query19	1.94	1.80	1.88
query20	0.02	0.01	0.01
query21	15.49	0.27	0.15
query22	4.73	0.05	0.05
query23	16.05	0.27	0.11
query24	1.26	0.25	0.20
query25	0.10	0.07	0.06
query26	0.15	0.14	0.14
query27	0.07	0.06	0.06
query28	3.10	1.24	1.03
query29	12.61	3.98	3.21
query30	0.27	0.13	0.14
query31	2.82	0.62	0.39
query32	3.23	0.56	0.46
query33	3.00	3.08	3.04
query34	16.81	5.21	4.53
query35	4.59	4.56	4.56
query36	0.66	0.51	0.49
query37	0.10	0.06	0.06
query38	0.07	0.05	0.04
query39	0.05	0.03	0.03
query40	0.17	0.15	0.14
query41	0.10	0.04	0.04
query42	0.04	0.03	0.03
query43	0.04	0.04	0.03
Total cold run time: 96.63 s
Total hot run time: 27.34 s

doris-robot avatar Dec 01 '25 09:12 doris-robot

run nonConcurrent

freemandealer avatar Dec 01 '25 14:12 freemandealer

run external

freemandealer avatar Dec 01 '25 14:12 freemandealer

run beut

freemandealer avatar Dec 01 '25 14:12 freemandealer

run buildall

freemandealer avatar Dec 02 '25 09:12 freemandealer

TPC-H: Total hot run time: 34455 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 5164188151adb2dac307849f14186549e0ca8fd4, data reload: false

------ Round 1 ----------------------------------
q1	17653	5031	4903	4903
q2	2097	304	212	212
q3	10207	1305	737	737
q4	10201	827	316	316
q5	7548	2464	2168	2168
q6	188	176	141	141
q7	971	782	658	658
q8	9352	1435	1092	1092
q9	7331	5413	5378	5378
q10	6869	2195	1767	1767
q11	516	312	292	292
q12	385	375	225	225
q13	17810	3645	2982	2982
q14	237	240	222	222
q15	583	513	516	513
q16	905	855	799	799
q17	692	735	601	601
q18	8245	7192	7065	7065
q19	1096	967	592	592
q20	374	368	230	230
q21	4022	3389	2594	2594
q22	1004	995	968	968
Total cold run time: 108286 ms
Total hot run time: 34455 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4973	4934	4906	4906
q2	333	407	320	320
q3	2155	2681	2316	2316
q4	1350	1756	1318	1318
q5	4241	4597	4462	4462
q6	220	185	133	133
q7	2055	2052	1816	1816
q8	2672	2541	2533	2533
q9	7534	7516	7592	7516
q10	3111	3291	2819	2819
q11	624	522	505	505
q12	681	786	652	652
q13	3624	3844	3298	3298
q14	288	322	293	293
q15	577	527	509	509
q16	897	929	888	888
q17	1431	1493	1448	1448
q18	7659	7801	7686	7686
q19	898	850	848	848
q20	2000	2093	2039	2039
q21	4953	4358	4106	4106
q22	1095	1035	980	980
Total cold run time: 53371 ms
Total hot run time: 51391 ms

doris-robot avatar Dec 02 '25 11:12 doris-robot

TPC-DS: Total hot run time: 181732 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 5164188151adb2dac307849f14186549e0ca8fd4, data reload: false

query1	1052	408	396	396
query2	6595	1194	1140	1140
query3	6737	236	222	222
query4	25576	23025	22819	22819
query5	4410	649	501	501
query6	333	246	234	234
query7	4649	508	306	306
query8	288	250	234	234
query9	8706	2649	2636	2636
query10	523	349	307	307
query11	15307	15335	14690	14690
query12	180	124	115	115
query13	1688	590	450	450
query14	9481	6001	6014	6001
query15	218	204	191	191
query16	7559	702	536	536
query17	1260	783	640	640
query18	2046	451	347	347
query19	218	222	190	190
query20	139	127	125	125
query21	216	141	117	117
query22	3789	4112	3790	3790
query23	33178	32121	31905	31905
query24	8468	2431	2433	2431
query25	646	560	503	503
query26	1247	288	173	173
query27	2707	510	346	346
query28	4322	2154	2146	2146
query29	852	673	569	569
query30	314	244	212	212
query31	834	685	625	625
query32	80	74	72	72
query33	594	378	335	335
query34	834	869	540	540
query35	806	837	766	766
query36	904	940	834	834
query37	122	112	87	87
query38	3928	3888	3853	3853
query39	1457	1405	1413	1405
query40	224	145	119	119
query41	65	62	60	60
query42	127	115	111	111
query43	434	442	411	411
query44	1341	740	747	740
query45	201	192	185	185
query46	899	1015	648	648
query47	1698	1743	1644	1644
query48	406	430	324	324
query49	805	530	407	407
query50	688	719	406	406
query51	3928	3913	3972	3913
query52	112	112	110	110
query53	238	252	186	186
query54	311	298	287	287
query55	99	92	101	92
query56	324	341	303	303
query57	1129	1174	1096	1096
query58	284	278	272	272
query59	2355	2412	2312	2312
query60	358	369	346	346
query61	196	153	162	153
query62	797	725	666	666
query63	233	195	193	193
query64	4566	1203	885	885
query65	4106	3966	3957	3957
query66	1147	437	339	339
query67	15177	14986	14805	14805
query68	8349	970	631	631
query69	529	336	313	313
query70	1108	1045	1023	1023
query71	440	338	316	316
query72	5891	4882	4817	4817
query73	683	580	341	341
query74	8939	9078	8646	8646
query75	3345	3052	2579	2579
query76	3473	1144	731	731
query77	803	390	310	310
query78	9315	9638	8903	8903
query79	2298	855	598	598
query80	657	579	499	499
query81	514	270	238	238
query82	468	143	113	113
query83	271	277	246	246
query84	258	114	98	98
query85	918	495	447	447
query86	386	292	297	292
query87	4096	4144	4022	4022
query88	4260	2299	2288	2288
query89	396	341	295	295
query90	1898	225	218	218
query91	171	174	145	145
query92	86	72	64	64
query93	1908	1042	658	658
query94	744	453	330	330
query95	507	418	421	418
query96	551	577	288	288
query97	2652	2672	2622	2622
query98	247	220	211	211
query99	1336	1384	1273	1273
Total cold run time: 272008 ms
Total hot run time: 181732 ms

doris-robot avatar Dec 02 '25 11:12 doris-robot

ClickBench: Total hot run time: 27.33 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 5164188151adb2dac307849f14186549e0ca8fd4, data reload: false

query1	0.05	0.04	0.04
query2	0.10	0.05	0.05
query3	0.25	0.09	0.09
query4	1.60	0.11	0.11
query5	0.28	0.25	0.25
query6	1.18	0.63	0.63
query7	0.04	0.03	0.03
query8	0.06	0.04	0.05
query9	0.57	0.52	0.50
query10	0.56	0.55	0.56
query11	0.15	0.11	0.12
query12	0.16	0.12	0.11
query13	0.63	0.60	0.60
query14	1.00	0.99	0.98
query15	0.82	0.82	0.79
query16	0.42	0.41	0.41
query17	0.97	1.08	1.04
query18	0.23	0.22	0.22
query19	1.96	1.86	1.81
query20	0.02	0.01	0.02
query21	15.44	0.31	0.14
query22	4.62	0.05	0.04
query23	16.00	0.30	0.11
query24	1.19	0.25	0.27
query25	0.08	0.09	0.06
query26	0.14	0.14	0.14
query27	0.07	0.06	0.04
query28	3.22	1.23	1.03
query29	12.55	3.99	3.19
query30	0.28	0.15	0.12
query31	2.82	0.64	0.39
query32	3.24	0.57	0.46
query33	3.11	3.07	3.12
query34	16.54	5.21	4.54
query35	4.52	4.54	4.53
query36	0.66	0.51	0.49
query37	0.10	0.06	0.06
query38	0.08	0.04	0.04
query39	0.04	0.03	0.03
query40	0.18	0.15	0.14
query41	0.09	0.04	0.03
query42	0.04	0.04	0.03
query43	0.05	0.04	0.03
Total cold run time: 96.11 s
Total hot run time: 27.33 s

doris-robot avatar Dec 02 '25 11:12 doris-robot

run buildall

freemandealer avatar Dec 04 '25 16:12 freemandealer

TPC-H: Total hot run time: 36060 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 3ac607f7ac6f2c5d0f4010438a8b7ef29eaa54e2, data reload: false

------ Round 1 ----------------------------------
q1	17598	5021	4912	4912
q2	2076	315	202	202
q3	10241	1353	746	746
q4	10235	922	333	333
q5	7539	2503	2197	2197
q6	194	165	137	137
q7	981	798	645	645
q8	9357	1458	1106	1106
q9	7195	5387	5326	5326
q10	6835	2222	1826	1826
q11	541	313	290	290
q12	345	361	228	228
q13	17769	3693	3055	3055
q14	249	242	218	218
q15	612	520	526	520
q16	893	869	836	836
q17	683	812	478	478
q18	7828	7655	8051	7655
q19	1170	1043	651	651
q20	435	378	223	223
q21	4388	3981	3424	3424
q22	1120	1076	1052	1052
Total cold run time: 108284 ms
Total hot run time: 36060 ms

----- Round 2, with runtime_filter_mode=off -----
q1	5584	5182	5224	5182
q2	318	396	317	317
q3	2342	2865	2517	2517
q4	1428	1884	1377	1377
q5	4544	4470	4492	4470
q6	226	175	132	132
q7	2135	1921	1868	1868
q8	2684	2460	2581	2460
q9	7668	7668	7495	7495
q10	3118	3264	2837	2837
q11	582	504	468	468
q12	627	723	546	546
q13	3259	3676	3078	3078
q14	268	276	275	275
q15	535	489	490	489
q16	866	898	844	844
q17	1122	1416	1404	1404
q18	7395	7283	7017	7017
q19	869	842	857	842
q20	1912	1962	1829	1829
q21	4573	4312	4191	4191
q22	1110	1028	996	996
Total cold run time: 53165 ms
Total hot run time: 50634 ms

doris-robot avatar Dec 04 '25 18:12 doris-robot

TPC-DS: Total hot run time: 180804 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 3ac607f7ac6f2c5d0f4010438a8b7ef29eaa54e2, data reload: false

query5	5899	683	517	517
query6	407	227	226	226
query7	4897	478	272	272
query8	346	251	244	244
query9	8729	2677	2710	2677
query10	625	332	290	290
query11	15547	14844	14843	14843
query12	190	121	122	121
query13	1698	501	367	367
query14	7797	3330	3052	3052
query14_1	2973	2978	2897	2897
query15	273	211	185	185
query16	7783	494	454	454
query17	1414	724	577	577
query18	2043	431	331	331
query19	317	186	156	156
query20	142	118	119	118
query21	224	138	115	115
query22	3888	4032	3963	3963
query23	16510	16197	15888	15888
query23_1	16129	16081	16282	16081
query24	6622	1650	1241	1241
query24_1	1238	1230	1245	1230
query25	640	517	460	460
query26	1251	289	183	183
query27	2846	474	322	322
query28	4506	2218	2195	2195
query29	839	595	487	487
query30	321	253	217	217
query31	809	740	621	621
query32	85	78	75	75
query33	688	360	318	318
query34	876	895	546	546
query35	801	827	746	746
query36	911	932	841	841
query37	127	96	81	81
query38	3960	3880	3790	3790
query39	792	748	718	718
query39_1	706	735	716	716
query40	235	139	128	128
query41	78	71	67	67
query42	129	100	101	100
query43	450	424	412	412
query44	1420	759	769	759
query45	206	210	189	189
query46	921	997	612	612
query47	1716	1701	1639	1639
query48	411	332	250	250
query49	785	449	373	373
query50	704	317	249	249
query51	3892	3954	3846	3846
query52	113	98	99	98
query53	247	240	181	181
query54	350	277	259	259
query55	99	81	81	81
query56	359	306	313	306
query57	1154	1166	1089	1089
query58	316	271	298	271
query59	2365	2469	2343	2343
query60	354	317	300	300
query61	159	159	153	153
query62	779	664	639	639
query63	238	175	176	175
query64	4500	1190	884	884
query65	4075	3960	3990	3960
query66	1143	454	337	337
query67	15294	15126	14705	14705
query68	8418	951	674	674
query69	562	310	268	268
query70	1147	1061	982	982
query71	493	302	273	273
query72	6018	5003	4960	4960
query73	729	604	308	308
query74	8853	8803	8608	8608
query75	3426	3066	2548	2548
query76	3585	1151	775	775
query77	820	426	316	316
query78	9654	9680	8855	8855
query79	2052	882	580	580
query80	696	568	464	464
query81	512	275	243	243
query82	743	132	110	110
query83	280	280	256	256
query84	267	114	94	94
query85	909	493	443	443
query86	334	305	297	297
query87	4047	4031	4040	4031
query88	4265	2153	2149	2149
query89	402	319	284	284
query90	1996	171	160	160
query91	174	169	145	145
query92	92	75	65	65
query93	2308	1045	675	675
query94	776	315	278	278
query95	562	342	334	334
query96	555	499	217	217
query97	2633	2718	2584	2584
query98	248	206	202	202
query99	1373	1339	1258	1258
Total cold run time: 277336 ms
Total hot run time: 180804 ms

doris-robot avatar Dec 04 '25 18:12 doris-robot

ClickBench: Total hot run time: 27.52 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 3ac607f7ac6f2c5d0f4010438a8b7ef29eaa54e2, data reload: false

query1	0.06	0.05	0.04
query2	0.12	0.05	0.05
query3	0.25	0.08	0.09
query4	1.61	0.11	0.11
query5	0.26	0.26	0.25
query6	1.15	0.65	0.63
query7	0.02	0.02	0.02
query8	0.05	0.04	0.04
query9	0.56	0.50	0.51
query10	0.57	0.55	0.56
query11	0.16	0.11	0.12
query12	0.15	0.12	0.11
query13	0.64	0.60	0.61
query14	0.98	0.99	0.98
query15	0.82	0.81	0.81
query16	0.42	0.39	0.43
query17	1.06	1.00	1.10
query18	0.24	0.22	0.22
query19	1.93	1.83	1.79
query20	0.02	0.01	0.02
query21	15.44	0.30	0.14
query22	4.72	0.04	0.04
query23	15.95	0.27	0.11
query24	1.31	0.44	0.67
query25	0.11	0.05	0.05
query26	0.14	0.14	0.13
query27	0.06	0.06	0.06
query28	4.68	1.24	1.02
query29	12.63	4.02	3.24
query30	0.27	0.13	0.12
query31	2.80	0.62	0.39
query32	3.24	0.56	0.47
query33	3.01	3.07	3.06
query34	16.87	5.33	4.56
query35	4.55	4.58	4.56
query36	0.68	0.51	0.50
query37	0.13	0.07	0.06
query38	0.08	0.05	0.04
query39	0.04	0.02	0.03
query40	0.18	0.14	0.13
query41	0.09	0.04	0.03
query42	0.05	0.03	0.03
query43	0.05	0.04	0.03
Total cold run time: 98.15 s
Total hot run time: 27.52 s

doris-robot avatar Dec 04 '25 18:12 doris-robot

run buildall

freemandealer avatar Dec 05 '25 02:12 freemandealer

TPC-H: Total hot run time: 34596 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 22708580e2eaef27c63ccf6a973f1e7a657ec635, data reload: false

------ Round 1 ----------------------------------
q1	17708	5145	4909	4909
q2	2037	311	196	196
q3	10283	1314	742	742
q4	10246	907	330	330
q5	7533	2365	2252	2252
q6	178	170	139	139
q7	953	784	643	643
q8	9353	1433	1202	1202
q9	7110	5410	5371	5371
q10	6836	2192	1762	1762
q11	537	322	289	289
q12	361	370	235	235
q13	17788	3681	3006	3006
q14	237	235	222	222
q15	589	515	509	509
q16	878	865	827	827
q17	679	792	497	497
q18	7857	7179	7139	7139
q19	1092	965	625	625
q20	383	345	220	220
q21	3982	3098	2505	2505
q22	1074	995	976	976
Total cold run time: 107694 ms
Total hot run time: 34596 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4953	4919	4886	4886
q2	323	395	328	328
q3	2116	2662	2310	2310
q4	1315	1749	1314	1314
q5	4211	4526	4544	4526
q6	236	179	133	133
q7	2082	1979	1853	1853
q8	2733	2503	2663	2503
q9	7530	7651	7463	7463
q10	3070	3285	2819	2819
q11	625	517	548	517
q12	811	722	610	610
q13	3475	4001	3236	3236
q14	299	291	314	291
q15	545	515	509	509
q16	906	1105	880	880
q17	1181	1499	1430	1430
q18	7809	7959	7574	7574
q19	891	846	938	846
q20	2040	2037	1924	1924
q21	4826	4191	4192	4191
q22	1076	1059	985	985
Total cold run time: 53053 ms
Total hot run time: 51128 ms

doris-robot avatar Dec 05 '25 03:12 doris-robot

TPC-DS: Total hot run time: 180917 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 22708580e2eaef27c63ccf6a973f1e7a657ec635, data reload: false

query5	4964	649	508	508
query6	354	222	217	217
query7	4651	498	280	280
query8	313	249	234	234
query9	8744	2680	2659	2659
query10	539	330	278	278
query11	15271	15061	14799	14799
query12	191	120	121	120
query13	1698	484	392	392
query14	6443	3326	3037	3037
query14_1	2912	2912	2951	2912
query15	209	201	186	186
query16	7532	489	429	429
query17	1215	740	626	626
query18	2042	446	357	357
query19	209	186	155	155
query20	130	126	116	116
query21	232	133	114	114
query22	3966	4043	3934	3934
query23	16589	16270	16007	16007
query23_1	16182	16093	16172	16093
query24	7288	1658	1207	1207
query24_1	1211	1217	1222	1217
query25	606	480	419	419
query26	1260	298	174	174
query27	2889	467	324	324
query28	4391	2205	2178	2178
query29	820	565	437	437
query30	307	245	214	214
query31	857	701	622	622
query32	84	75	82	75
query33	680	349	294	294
query34	860	890	545	545
query35	802	832	725	725
query36	898	907	817	817
query37	169	92	75	75
query38	3864	3842	3783	3783
query39	740	743	749	743
query39_1	694	721	716	716
query40	226	130	116	116
query41	68	64	66	64
query42	130	96	94	94
query43	455	429	386	386
query44	1302	746	753	746
query45	204	195	188	188
query46	905	976	610	610
query47	1702	1740	1661	1661
query48	395	313	237	237
query49	773	435	355	355
query50	706	311	234	234
query51	3895	3932	3888	3888
query52	120	101	90	90
query53	240	235	219	219
query54	321	254	247	247
query55	101	82	75	75
query56	348	290	280	280
query57	1171	1146	1106	1106
query58	296	260	249	249
query59	2345	2396	2348	2348
query60	364	320	301	301
query61	163	163	156	156
query62	794	676	664	664
query63	229	181	176	176
query64	4575	1181	892	892
query65	4090	3953	3932	3932
query66	1239	489	338	338
query67	15367	15138	15076	15076
query68	4619	987	675	675
query69	512	311	275	275
query70	1131	1006	997	997
query71	419	296	276	276
query72	5568	4888	4886	4886
query73	655	538	307	307
query74	8786	8803	8774	8774
query75	3025	3002	2543	2543
query76	3307	1133	745	745
query77	536	413	310	310
query78	9469	9789	8911	8911
query79	1000	862	582	582
query80	687	563	476	476
query81	509	266	238	238
query82	427	132	107	107
query83	287	272	254	254
query84	261	113	98	98
query85	928	508	445	445
query86	332	303	301	301
query87	4010	4072	3947	3947
query88	2876	2114	2124	2114
query89	389	326	280	280
query90	1885	168	151	151
query91	168	164	153	153
query92	74	71	70	70
query93	1144	1047	682	682
query94	756	302	302	302
query95	588	401	350	350
query96	539	497	217	217
query97	2643	2658	2583	2583
query98	250	202	199	199
query99	1353	1309	1229	1229
Total cold run time: 264449 ms
Total hot run time: 180917 ms

doris-robot avatar Dec 05 '25 03:12 doris-robot

ClickBench: Total hot run time: 27.3 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 22708580e2eaef27c63ccf6a973f1e7a657ec635, data reload: false

query1	0.05	0.05	0.05
query2	0.10	0.04	0.05
query3	0.26	0.09	0.08
query4	1.61	0.11	0.10
query5	0.29	0.26	0.27
query6	1.17	0.65	0.63
query7	0.04	0.02	0.03
query8	0.06	0.04	0.04
query9	0.57	0.50	0.51
query10	0.56	0.55	0.55
query11	0.16	0.11	0.11
query12	0.15	0.12	0.12
query13	0.62	0.62	0.60
query14	1.03	0.98	1.00
query15	0.82	0.78	0.80
query16	0.42	0.39	0.40
query17	1.06	1.08	0.99
query18	0.24	0.22	0.21
query19	1.96	1.73	1.81
query20	0.02	0.01	0.01
query21	15.48	0.29	0.14
query22	4.61	0.06	0.05
query23	15.97	0.31	0.10
query24	1.40	1.15	0.27
query25	0.08	0.08	0.05
query26	0.15	0.14	0.12
query27	0.05	0.06	0.04
query28	4.51	1.22	1.02
query29	12.55	3.96	3.33
query30	0.27	0.14	0.11
query31	2.81	0.64	0.40
query32	3.23	0.56	0.48
query33	3.14	3.03	3.02
query34	16.78	5.15	4.55
query35	4.51	4.59	4.65
query36	0.66	0.50	0.48
query37	0.10	0.06	0.06
query38	0.07	0.05	0.04
query39	0.04	0.03	0.03
query40	0.17	0.14	0.14
query41	0.09	0.03	0.03
query42	0.05	0.03	0.02
query43	0.04	0.04	0.04
Total cold run time: 97.95 s
Total hot run time: 27.3 s

doris-robot avatar Dec 05 '25 03:12 doris-robot

run buildall

freemandealer avatar Dec 05 '25 06:12 freemandealer