[refactor](filecache) ttl management refactoring
This commit refactors the file cache TTL management by:
- introducing a dedicated BlockFileCacheTtlMgr into BlockFileCache to manage TTL updates
- removing the ad‑hoc TTL bookkeeping, GC thread, and expiration helpers from BlockFileCache
- changing TTL management grain from block level to tablet level
What problem does this PR solve?
Issue Number: close #xxx
Related PR: #xxx
Problem Summary:
Release note
None
Check List (For Author)
-
Test
- [ ] Regression test
- [ ] Unit Test
- [ ] Manual test (add detailed scripts or steps below)
- [ ] No need to test or manual test. Explain why:
- [ ] This is a refactor/code format and no logic has been changed.
- [ ] Previous test can cover this change.
- [ ] No code files have been changed.
- [ ] Other reason
-
Behavior changed:
- [ ] No.
- [ ] Yes.
-
Does this need documentation?
- [ ] No.
- [ ] Yes.
Check List (For Reviewer who merge this PR)
- [ ] Confirm the release note
- [ ] Confirm test cases
- [ ] Confirm document
- [ ] Add branch pick label
Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR.
Please clearly describe your PR:
- What problem was fixed (it's best to include specific error reporting information). How it was fixed.
- Which behaviors were modified. What was the previous behavior, what is it now, why was it modified, and what possible impacts might there be.
- What features were added. Why was this function added?
- Which code was refactored and why was this part of the code refactored?
- Which functions were optimized and what is the difference before and after the optimization?
run buildall
run buildall
TPC-H: Total hot run time: 34150 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit eace96935e5292c88ade43fafd11387f71c42601, data reload: false
------ Round 1 ----------------------------------
q1 17591 5090 4912 4912
q2 2045 329 208 208
q3 10257 1297 719 719
q4 10240 910 365 365
q5 7511 2426 2269 2269
q6 186 165 134 134
q7 915 762 624 624
q8 9350 1343 1118 1118
q9 7351 5552 5385 5385
q10 6915 2251 1789 1789
q11 494 311 295 295
q12 362 367 223 223
q13 17800 3668 2996 2996
q14 226 233 227 227
q15 582 502 498 498
q16 1037 1002 933 933
q17 570 860 357 357
q18 7407 7102 7118 7102
q19 1091 934 555 555
q20 349 337 225 225
q21 3707 3207 2230 2230
q22 1066 1034 986 986
Total cold run time: 107052 ms
Total hot run time: 34150 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4935 4941 4882 4882
q2 320 399 317 317
q3 2137 2674 2298 2298
q4 1332 1790 1316 1316
q5 4181 4439 4411 4411
q6 217 178 132 132
q7 2094 1927 1824 1824
q8 2696 2725 2541 2541
q9 7585 7585 7507 7507
q10 3061 3322 2790 2790
q11 585 548 509 509
q12 685 817 646 646
q13 3577 4036 3215 3215
q14 268 291 269 269
q15 546 481 517 481
q16 1110 1093 1037 1037
q17 1197 1538 1404 1404
q18 8098 7528 7519 7519
q19 777 783 814 783
q20 2087 2043 1910 1910
q21 4834 4240 4267 4240
q22 1099 1035 1003 1003
Total cold run time: 53421 ms
Total hot run time: 51034 ms
TPC-DS: Total hot run time: 184937 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit eace96935e5292c88ade43fafd11387f71c42601, data reload: false
query1 1033 398 384 384
query2 6568 1659 1668 1659
query3 6759 230 229 229
query4 25899 23276 22517 22517
query5 4394 627 512 512
query6 356 254 226 226
query7 4648 499 306 306
query8 318 262 258 258
query9 8678 2919 2987 2919
query10 509 345 319 319
query11 16027 15127 14712 14712
query12 181 123 122 122
query13 1698 583 467 467
query14 10741 9143 9075 9075
query15 202 199 173 173
query16 7330 664 492 492
query17 1267 778 654 654
query18 2007 445 341 341
query19 212 210 190 190
query20 138 167 125 125
query21 219 144 115 115
query22 4008 4088 3955 3955
query23 34036 33055 33109 33055
query24 8096 2318 2353 2318
query25 606 543 451 451
query26 1224 267 166 166
query27 2770 491 355 355
query28 4424 2236 2215 2215
query29 885 634 500 500
query30 303 224 198 198
query31 895 795 724 724
query32 96 86 78 78
query33 586 397 344 344
query34 777 853 518 518
query35 826 835 728 728
query36 946 977 875 875
query37 129 109 101 101
query38 3501 3481 3512 3481
query39 1474 1422 1449 1422
query40 239 133 125 125
query41 64 67 60 60
query42 131 123 121 121
query43 477 468 486 468
query44 1254 793 779 779
query45 187 181 177 177
query46 894 993 639 639
query47 1792 1816 1732 1732
query48 396 418 362 362
query49 753 504 420 420
query50 641 673 400 400
query51 3897 3854 3891 3854
query52 115 116 111 111
query53 255 267 203 203
query54 329 321 300 300
query55 103 101 90 90
query56 352 354 357 354
query57 1158 1184 1128 1128
query58 299 286 281 281
query59 2445 2675 2482 2482
query60 363 378 369 369
query61 155 155 155 155
query62 787 720 645 645
query63 224 194 199 194
query64 4574 1153 878 878
query65 4036 3943 3895 3895
query66 1198 432 340 340
query67 15087 15013 14868 14868
query68 4705 975 643 643
query69 502 338 297 297
query70 1334 1241 1204 1204
query71 437 356 334 334
query72 5820 4935 2825 2825
query73 661 583 371 371
query74 8961 8830 8832 8830
query75 3264 3231 2739 2739
query76 3291 1103 722 722
query77 509 423 344 344
query78 9419 9649 8874 8874
query79 1941 851 611 611
query80 1793 626 563 563
query81 545 263 221 221
query82 411 169 140 140
query83 367 271 277 271
query84 262 117 102 102
query85 1068 500 442 442
query86 386 309 309 309
query87 3658 3717 3549 3549
query88 2775 2218 2189 2189
query89 387 323 288 288
query90 1745 231 222 222
query91 163 161 138 138
query92 82 76 72 72
query93 1175 993 686 686
query94 695 413 320 320
query95 430 337 338 337
query96 479 589 283 283
query97 2942 2907 2833 2833
query98 249 217 224 217
query99 1310 1374 1252 1252
Total cold run time: 268737 ms
Total hot run time: 184937 ms
ClickBench: Total hot run time: 27.51 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit eace96935e5292c88ade43fafd11387f71c42601, data reload: false
query1 0.05 0.04 0.05
query2 0.09 0.05 0.05
query3 0.26 0.08 0.08
query4 1.60 0.11 0.12
query5 0.27 0.27 0.26
query6 1.16 0.64 0.64
query7 0.03 0.02 0.02
query8 0.06 0.04 0.04
query9 0.58 0.53 0.52
query10 0.56 0.57 0.58
query11 0.16 0.12 0.11
query12 0.15 0.12 0.12
query13 0.63 0.60 0.60
query14 1.00 1.00 1.00
query15 0.84 0.84 0.83
query16 0.40 0.40 0.38
query17 1.03 1.04 1.00
query18 0.21 0.19 0.19
query19 1.88 1.75 1.74
query20 0.02 0.01 0.03
query21 15.44 0.22 0.13
query22 4.76 0.07 0.05
query23 15.69 0.26 0.10
query24 3.27 1.18 0.55
query25 0.07 0.08 0.06
query26 0.14 0.14 0.13
query27 0.06 0.05 0.06
query28 4.95 1.18 0.96
query29 12.68 3.92 3.21
query30 0.28 0.14 0.12
query31 2.83 0.58 0.38
query32 3.22 0.55 0.47
query33 3.01 3.03 3.05
query34 15.79 5.17 4.58
query35 4.58 4.58 4.54
query36 0.68 0.50 0.48
query37 0.09 0.07 0.07
query38 0.07 0.04 0.04
query39 0.04 0.03 0.03
query40 0.18 0.15 0.14
query41 0.08 0.03 0.03
query42 0.04 0.02 0.02
query43 0.04 0.03 0.04
Total cold run time: 98.97 s
Total hot run time: 27.51 s
run buildall
TPC-H: Total hot run time: 34175 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit bf9e3efb7a26ea14e322b2b7457e420027248318, data reload: false
------ Round 1 ----------------------------------
q1 17631 5039 4906 4906
q2 2014 312 207 207
q3 10273 1296 715 715
q4 10231 906 372 372
q5 7552 2385 2376 2376
q6 221 171 136 136
q7 952 785 639 639
q8 9351 1327 1044 1044
q9 7183 5331 5316 5316
q10 6887 2260 1826 1826
q11 497 303 297 297
q12 329 371 223 223
q13 17794 3684 3051 3051
q14 238 255 216 216
q15 594 510 519 510
q16 1040 1024 950 950
q17 592 866 367 367
q18 7532 6997 7045 6997
q19 1111 959 545 545
q20 366 367 233 233
q21 3768 3223 2289 2289
q22 1068 1009 960 960
Total cold run time: 107224 ms
Total hot run time: 34175 ms
----- Round 2, with runtime_filter_mode=off -----
q1 5022 4968 4931 4931
q2 321 402 316 316
q3 2149 2690 2276 2276
q4 1374 1774 1435 1435
q5 4232 4454 4450 4450
q6 216 178 131 131
q7 2095 1975 1885 1885
q8 2601 2672 2573 2573
q9 7495 7559 7542 7542
q10 3066 3244 2804 2804
q11 585 512 492 492
q12 689 766 626 626
q13 3531 3950 3232 3232
q14 304 317 310 310
q15 565 517 520 517
q16 1110 1134 1093 1093
q17 1220 1624 1378 1378
q18 7806 7685 7477 7477
q19 796 800 761 761
q20 1930 2033 1797 1797
q21 4746 4290 4328 4290
q22 1093 1033 1010 1010
Total cold run time: 52946 ms
Total hot run time: 51326 ms
TPC-DS: Total hot run time: 185168 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit bf9e3efb7a26ea14e322b2b7457e420027248318, data reload: false
query1 1060 406 391 391
query2 6561 1632 1605 1605
query3 6762 229 231 229
query4 25759 22922 22736 22736
query5 4457 641 481 481
query6 353 248 221 221
query7 4646 494 296 296
query8 301 255 260 255
query9 8735 2573 2601 2573
query10 546 383 319 319
query11 14906 14811 14532 14532
query12 179 119 112 112
query13 1706 582 461 461
query14 10099 8857 8908 8857
query15 211 197 188 188
query16 7352 706 521 521
query17 1276 783 637 637
query18 1999 432 357 357
query19 214 221 179 179
query20 129 129 121 121
query21 222 135 118 118
query22 3946 3981 3891 3891
query23 32788 31996 31784 31784
query24 8483 2421 2370 2370
query25 651 541 485 485
query26 1246 280 170 170
query27 2743 508 361 361
query28 4391 2180 2138 2138
query29 866 637 518 518
query30 314 229 215 215
query31 843 754 626 626
query32 86 76 78 76
query33 596 392 340 340
query34 792 865 573 573
query35 801 848 744 744
query36 921 962 851 851
query37 117 110 90 90
query38 3276 3282 3260 3260
query39 1454 1397 1396 1396
query40 216 128 124 124
query41 65 64 63 63
query42 124 115 110 110
query43 457 479 438 438
query44 1245 760 767 760
query45 196 192 182 182
query46 888 996 655 655
query47 1689 1715 1630 1630
query48 395 439 329 329
query49 797 502 404 404
query50 645 680 416 416
query51 3851 3914 3884 3884
query52 116 108 105 105
query53 235 260 193 193
query54 304 303 283 283
query55 88 89 86 86
query56 318 326 359 326
query57 1118 1146 1114 1114
query58 290 266 278 266
query59 2448 2506 2430 2430
query60 350 346 326 326
query61 156 158 156 156
query62 795 726 650 650
query63 224 197 195 195
query64 4559 1217 889 889
query65 4025 3936 3960 3936
query66 1169 424 335 335
query67 15216 15650 15578 15578
query68 8940 919 635 635
query69 505 335 306 306
query70 1309 1288 1272 1272
query71 480 341 313 313
query72 5568 4816 4762 4762
query73 716 571 375 375
query74 8493 8760 8660 8660
query75 4010 3290 2814 2814
query76 3689 1121 704 704
query77 813 398 315 315
query78 9541 9814 8993 8993
query79 1196 826 606 606
query80 652 571 500 500
query81 483 271 235 235
query82 418 161 134 134
query83 272 271 257 257
query84 273 110 94 94
query85 924 497 443 443
query86 343 308 308 308
query87 3439 3479 3430 3430
query88 2814 2257 2246 2246
query89 389 319 309 309
query90 1930 220 219 219
query91 172 179 151 151
query92 90 72 69 69
query93 1117 996 684 684
query94 738 447 354 354
query95 496 413 392 392
query96 493 578 276 276
query97 2908 3036 2916 2916
query98 240 213 215 213
query99 1357 1399 1243 1243
Total cold run time: 268574 ms
Total hot run time: 185168 ms
ClickBench: Total hot run time: 27.41 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit bf9e3efb7a26ea14e322b2b7457e420027248318, data reload: false
query1 0.06 0.04 0.04
query2 0.09 0.04 0.05
query3 0.25 0.09 0.08
query4 1.61 0.12 0.11
query5 0.26 0.24 0.24
query6 1.16 0.64 0.64
query7 0.03 0.02 0.02
query8 0.06 0.05 0.05
query9 0.58 0.51 0.52
query10 0.57 0.56 0.56
query11 0.15 0.12 0.11
query12 0.16 0.12 0.12
query13 0.61 0.60 0.61
query14 1.01 1.00 1.00
query15 0.85 0.82 0.84
query16 0.38 0.39 0.41
query17 1.02 1.00 0.99
query18 0.21 0.20 0.24
query19 1.86 1.82 1.76
query20 0.02 0.01 0.01
query21 15.47 0.20 0.13
query22 5.01 0.06 0.04
query23 15.65 0.27 0.10
query24 3.59 0.86 0.53
query25 0.09 0.06 0.07
query26 0.15 0.13 0.14
query27 0.06 0.05 0.05
query28 5.41 1.19 0.93
query29 12.55 3.93 3.22
query30 0.28 0.13 0.12
query31 2.81 0.60 0.39
query32 3.23 0.55 0.48
query33 3.03 3.04 3.00
query34 15.89 5.21 4.55
query35 4.61 4.56 4.55
query36 0.68 0.50 0.49
query37 0.11 0.07 0.07
query38 0.07 0.04 0.04
query39 0.03 0.03 0.03
query40 0.19 0.14 0.14
query41 0.08 0.03 0.02
query42 0.04 0.02 0.03
query43 0.04 0.04 0.03
Total cold run time: 100.01 s
Total hot run time: 27.41 s
run buildall
TPC-H: Total hot run time: 34221 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 3ada967b3ef2bcad409f10559a8f67d851153c12, data reload: false
------ Round 1 ----------------------------------
q1 17668 5206 4952 4952
q2 2046 312 222 222
q3 10244 1290 772 772
q4 10244 957 333 333
q5 7535 2430 2196 2196
q6 194 176 139 139
q7 952 785 645 645
q8 9344 1389 1089 1089
q9 7080 5327 5391 5327
q10 6860 2215 1798 1798
q11 507 322 284 284
q12 370 375 231 231
q13 17809 3756 3046 3046
q14 232 236 215 215
q15 598 515 517 515
q16 888 890 822 822
q17 596 853 469 469
q18 8011 7265 7074 7074
q19 1148 950 599 599
q20 377 347 236 236
q21 3688 3327 2338 2338
q22 1047 983 919 919
Total cold run time: 107438 ms
Total hot run time: 34221 ms
----- Round 2, with runtime_filter_mode=off -----
q1 5036 5004 4967 4967
q2 331 402 312 312
q3 2172 2737 2269 2269
q4 1352 1810 1284 1284
q5 4251 4550 4572 4550
q6 227 175 129 129
q7 2097 1964 1853 1853
q8 2771 2541 2490 2490
q9 7571 7537 7588 7537
q10 3104 3251 2835 2835
q11 616 514 503 503
q12 672 718 642 642
q13 3767 3829 3419 3419
q14 305 321 289 289
q15 557 518 535 518
q16 909 941 865 865
q17 1171 1400 1534 1400
q18 7989 7745 7567 7567
q19 860 871 819 819
q20 1886 1998 1799 1799
q21 4660 4292 4246 4246
q22 1055 1043 977 977
Total cold run time: 53359 ms
Total hot run time: 51270 ms
TPC-DS: Total hot run time: 182313 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 3ada967b3ef2bcad409f10559a8f67d851153c12, data reload: false
query1 1085 410 408 408
query2 6612 1204 1169 1169
query3 6743 237 227 227
query4 25291 23271 23025 23025
query5 4600 669 535 535
query6 354 246 220 220
query7 4679 517 307 307
query8 311 262 256 256
query9 8745 2630 2654 2630
query10 525 369 310 310
query11 15307 15203 14913 14913
query12 173 118 118 118
query13 1682 559 426 426
query14 9569 5934 5904 5904
query15 204 207 193 193
query16 7461 692 511 511
query17 1229 756 618 618
query18 2030 427 338 338
query19 224 216 189 189
query20 133 130 127 127
query21 223 142 118 118
query22 3919 3955 3786 3786
query23 33147 31867 31877 31867
query24 8588 2404 2429 2404
query25 617 524 484 484
query26 1239 281 170 170
query27 2722 505 354 354
query28 4366 2154 2118 2118
query29 809 615 492 492
query30 311 239 214 214
query31 824 744 618 618
query32 82 72 75 72
query33 601 395 345 345
query34 839 895 532 532
query35 799 841 744 744
query36 895 914 849 849
query37 120 108 96 96
query38 3826 3864 3774 3774
query39 1470 1410 1402 1402
query40 228 139 125 125
query41 68 63 62 62
query42 128 122 116 116
query43 445 452 435 435
query44 1313 763 756 756
query45 206 199 185 185
query46 903 1021 673 673
query47 1661 1707 1623 1623
query48 401 425 346 346
query49 757 515 433 433
query50 683 699 424 424
query51 3844 3928 4049 3928
query52 114 115 111 111
query53 240 265 193 193
query54 334 303 301 301
query55 97 95 95 95
query56 342 339 331 331
query57 1153 1167 1077 1077
query58 303 279 283 279
query59 2287 2402 2319 2319
query60 367 362 347 347
query61 199 193 192 192
query62 823 705 661 661
query63 245 203 203 203
query64 4692 1323 1007 1007
query65 4063 4011 3966 3966
query66 1184 480 353 353
query67 15550 15023 14946 14946
query68 6265 988 635 635
query69 540 357 323 323
query70 1084 991 999 991
query71 441 353 331 331
query72 6126 5003 4894 4894
query73 648 576 348 348
query74 8837 8827 8541 8541
query75 3058 3032 2550 2550
query76 3326 1160 757 757
query77 520 415 321 321
query78 9413 9550 8879 8879
query79 2396 849 598 598
query80 659 590 502 502
query81 509 272 242 242
query82 482 140 116 116
query83 272 270 260 260
query84 256 122 100 100
query85 943 504 442 442
query86 385 291 291 291
query87 4048 4073 3963 3963
query88 4236 2289 2289 2289
query89 391 335 304 304
query90 1939 219 216 216
query91 166 181 145 145
query92 86 77 70 70
query93 1994 993 655 655
query94 778 457 356 356
query95 514 419 409 409
query96 519 567 289 289
query97 2668 2691 2619 2619
query98 254 232 214 214
query99 1343 1396 1313 1313
Total cold run time: 270080 ms
Total hot run time: 182313 ms
ClickBench: Total hot run time: 27.34 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 3ada967b3ef2bcad409f10559a8f67d851153c12, data reload: false
query1 0.06 0.05 0.05
query2 0.10 0.05 0.05
query3 0.25 0.08 0.08
query4 1.60 0.12 0.11
query5 0.27 0.27 0.27
query6 1.15 0.66 0.63
query7 0.04 0.03 0.02
query8 0.05 0.04 0.04
query9 0.58 0.50 0.50
query10 0.56 0.56 0.55
query11 0.16 0.10 0.11
query12 0.15 0.11 0.12
query13 0.63 0.60 0.60
query14 0.99 0.97 0.98
query15 0.82 0.80 0.81
query16 0.43 0.40 0.40
query17 1.09 1.05 1.07
query18 0.23 0.22 0.22
query19 1.94 1.80 1.88
query20 0.02 0.01 0.01
query21 15.49 0.27 0.15
query22 4.73 0.05 0.05
query23 16.05 0.27 0.11
query24 1.26 0.25 0.20
query25 0.10 0.07 0.06
query26 0.15 0.14 0.14
query27 0.07 0.06 0.06
query28 3.10 1.24 1.03
query29 12.61 3.98 3.21
query30 0.27 0.13 0.14
query31 2.82 0.62 0.39
query32 3.23 0.56 0.46
query33 3.00 3.08 3.04
query34 16.81 5.21 4.53
query35 4.59 4.56 4.56
query36 0.66 0.51 0.49
query37 0.10 0.06 0.06
query38 0.07 0.05 0.04
query39 0.05 0.03 0.03
query40 0.17 0.15 0.14
query41 0.10 0.04 0.04
query42 0.04 0.03 0.03
query43 0.04 0.04 0.03
Total cold run time: 96.63 s
Total hot run time: 27.34 s
run nonConcurrent
run external
run beut
run buildall
TPC-H: Total hot run time: 34455 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 5164188151adb2dac307849f14186549e0ca8fd4, data reload: false
------ Round 1 ----------------------------------
q1 17653 5031 4903 4903
q2 2097 304 212 212
q3 10207 1305 737 737
q4 10201 827 316 316
q5 7548 2464 2168 2168
q6 188 176 141 141
q7 971 782 658 658
q8 9352 1435 1092 1092
q9 7331 5413 5378 5378
q10 6869 2195 1767 1767
q11 516 312 292 292
q12 385 375 225 225
q13 17810 3645 2982 2982
q14 237 240 222 222
q15 583 513 516 513
q16 905 855 799 799
q17 692 735 601 601
q18 8245 7192 7065 7065
q19 1096 967 592 592
q20 374 368 230 230
q21 4022 3389 2594 2594
q22 1004 995 968 968
Total cold run time: 108286 ms
Total hot run time: 34455 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4973 4934 4906 4906
q2 333 407 320 320
q3 2155 2681 2316 2316
q4 1350 1756 1318 1318
q5 4241 4597 4462 4462
q6 220 185 133 133
q7 2055 2052 1816 1816
q8 2672 2541 2533 2533
q9 7534 7516 7592 7516
q10 3111 3291 2819 2819
q11 624 522 505 505
q12 681 786 652 652
q13 3624 3844 3298 3298
q14 288 322 293 293
q15 577 527 509 509
q16 897 929 888 888
q17 1431 1493 1448 1448
q18 7659 7801 7686 7686
q19 898 850 848 848
q20 2000 2093 2039 2039
q21 4953 4358 4106 4106
q22 1095 1035 980 980
Total cold run time: 53371 ms
Total hot run time: 51391 ms
TPC-DS: Total hot run time: 181732 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 5164188151adb2dac307849f14186549e0ca8fd4, data reload: false
query1 1052 408 396 396
query2 6595 1194 1140 1140
query3 6737 236 222 222
query4 25576 23025 22819 22819
query5 4410 649 501 501
query6 333 246 234 234
query7 4649 508 306 306
query8 288 250 234 234
query9 8706 2649 2636 2636
query10 523 349 307 307
query11 15307 15335 14690 14690
query12 180 124 115 115
query13 1688 590 450 450
query14 9481 6001 6014 6001
query15 218 204 191 191
query16 7559 702 536 536
query17 1260 783 640 640
query18 2046 451 347 347
query19 218 222 190 190
query20 139 127 125 125
query21 216 141 117 117
query22 3789 4112 3790 3790
query23 33178 32121 31905 31905
query24 8468 2431 2433 2431
query25 646 560 503 503
query26 1247 288 173 173
query27 2707 510 346 346
query28 4322 2154 2146 2146
query29 852 673 569 569
query30 314 244 212 212
query31 834 685 625 625
query32 80 74 72 72
query33 594 378 335 335
query34 834 869 540 540
query35 806 837 766 766
query36 904 940 834 834
query37 122 112 87 87
query38 3928 3888 3853 3853
query39 1457 1405 1413 1405
query40 224 145 119 119
query41 65 62 60 60
query42 127 115 111 111
query43 434 442 411 411
query44 1341 740 747 740
query45 201 192 185 185
query46 899 1015 648 648
query47 1698 1743 1644 1644
query48 406 430 324 324
query49 805 530 407 407
query50 688 719 406 406
query51 3928 3913 3972 3913
query52 112 112 110 110
query53 238 252 186 186
query54 311 298 287 287
query55 99 92 101 92
query56 324 341 303 303
query57 1129 1174 1096 1096
query58 284 278 272 272
query59 2355 2412 2312 2312
query60 358 369 346 346
query61 196 153 162 153
query62 797 725 666 666
query63 233 195 193 193
query64 4566 1203 885 885
query65 4106 3966 3957 3957
query66 1147 437 339 339
query67 15177 14986 14805 14805
query68 8349 970 631 631
query69 529 336 313 313
query70 1108 1045 1023 1023
query71 440 338 316 316
query72 5891 4882 4817 4817
query73 683 580 341 341
query74 8939 9078 8646 8646
query75 3345 3052 2579 2579
query76 3473 1144 731 731
query77 803 390 310 310
query78 9315 9638 8903 8903
query79 2298 855 598 598
query80 657 579 499 499
query81 514 270 238 238
query82 468 143 113 113
query83 271 277 246 246
query84 258 114 98 98
query85 918 495 447 447
query86 386 292 297 292
query87 4096 4144 4022 4022
query88 4260 2299 2288 2288
query89 396 341 295 295
query90 1898 225 218 218
query91 171 174 145 145
query92 86 72 64 64
query93 1908 1042 658 658
query94 744 453 330 330
query95 507 418 421 418
query96 551 577 288 288
query97 2652 2672 2622 2622
query98 247 220 211 211
query99 1336 1384 1273 1273
Total cold run time: 272008 ms
Total hot run time: 181732 ms
ClickBench: Total hot run time: 27.33 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 5164188151adb2dac307849f14186549e0ca8fd4, data reload: false
query1 0.05 0.04 0.04
query2 0.10 0.05 0.05
query3 0.25 0.09 0.09
query4 1.60 0.11 0.11
query5 0.28 0.25 0.25
query6 1.18 0.63 0.63
query7 0.04 0.03 0.03
query8 0.06 0.04 0.05
query9 0.57 0.52 0.50
query10 0.56 0.55 0.56
query11 0.15 0.11 0.12
query12 0.16 0.12 0.11
query13 0.63 0.60 0.60
query14 1.00 0.99 0.98
query15 0.82 0.82 0.79
query16 0.42 0.41 0.41
query17 0.97 1.08 1.04
query18 0.23 0.22 0.22
query19 1.96 1.86 1.81
query20 0.02 0.01 0.02
query21 15.44 0.31 0.14
query22 4.62 0.05 0.04
query23 16.00 0.30 0.11
query24 1.19 0.25 0.27
query25 0.08 0.09 0.06
query26 0.14 0.14 0.14
query27 0.07 0.06 0.04
query28 3.22 1.23 1.03
query29 12.55 3.99 3.19
query30 0.28 0.15 0.12
query31 2.82 0.64 0.39
query32 3.24 0.57 0.46
query33 3.11 3.07 3.12
query34 16.54 5.21 4.54
query35 4.52 4.54 4.53
query36 0.66 0.51 0.49
query37 0.10 0.06 0.06
query38 0.08 0.04 0.04
query39 0.04 0.03 0.03
query40 0.18 0.15 0.14
query41 0.09 0.04 0.03
query42 0.04 0.04 0.03
query43 0.05 0.04 0.03
Total cold run time: 96.11 s
Total hot run time: 27.33 s
run buildall
TPC-H: Total hot run time: 36060 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 3ac607f7ac6f2c5d0f4010438a8b7ef29eaa54e2, data reload: false
------ Round 1 ----------------------------------
q1 17598 5021 4912 4912
q2 2076 315 202 202
q3 10241 1353 746 746
q4 10235 922 333 333
q5 7539 2503 2197 2197
q6 194 165 137 137
q7 981 798 645 645
q8 9357 1458 1106 1106
q9 7195 5387 5326 5326
q10 6835 2222 1826 1826
q11 541 313 290 290
q12 345 361 228 228
q13 17769 3693 3055 3055
q14 249 242 218 218
q15 612 520 526 520
q16 893 869 836 836
q17 683 812 478 478
q18 7828 7655 8051 7655
q19 1170 1043 651 651
q20 435 378 223 223
q21 4388 3981 3424 3424
q22 1120 1076 1052 1052
Total cold run time: 108284 ms
Total hot run time: 36060 ms
----- Round 2, with runtime_filter_mode=off -----
q1 5584 5182 5224 5182
q2 318 396 317 317
q3 2342 2865 2517 2517
q4 1428 1884 1377 1377
q5 4544 4470 4492 4470
q6 226 175 132 132
q7 2135 1921 1868 1868
q8 2684 2460 2581 2460
q9 7668 7668 7495 7495
q10 3118 3264 2837 2837
q11 582 504 468 468
q12 627 723 546 546
q13 3259 3676 3078 3078
q14 268 276 275 275
q15 535 489 490 489
q16 866 898 844 844
q17 1122 1416 1404 1404
q18 7395 7283 7017 7017
q19 869 842 857 842
q20 1912 1962 1829 1829
q21 4573 4312 4191 4191
q22 1110 1028 996 996
Total cold run time: 53165 ms
Total hot run time: 50634 ms
TPC-DS: Total hot run time: 180804 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 3ac607f7ac6f2c5d0f4010438a8b7ef29eaa54e2, data reload: false
query5 5899 683 517 517
query6 407 227 226 226
query7 4897 478 272 272
query8 346 251 244 244
query9 8729 2677 2710 2677
query10 625 332 290 290
query11 15547 14844 14843 14843
query12 190 121 122 121
query13 1698 501 367 367
query14 7797 3330 3052 3052
query14_1 2973 2978 2897 2897
query15 273 211 185 185
query16 7783 494 454 454
query17 1414 724 577 577
query18 2043 431 331 331
query19 317 186 156 156
query20 142 118 119 118
query21 224 138 115 115
query22 3888 4032 3963 3963
query23 16510 16197 15888 15888
query23_1 16129 16081 16282 16081
query24 6622 1650 1241 1241
query24_1 1238 1230 1245 1230
query25 640 517 460 460
query26 1251 289 183 183
query27 2846 474 322 322
query28 4506 2218 2195 2195
query29 839 595 487 487
query30 321 253 217 217
query31 809 740 621 621
query32 85 78 75 75
query33 688 360 318 318
query34 876 895 546 546
query35 801 827 746 746
query36 911 932 841 841
query37 127 96 81 81
query38 3960 3880 3790 3790
query39 792 748 718 718
query39_1 706 735 716 716
query40 235 139 128 128
query41 78 71 67 67
query42 129 100 101 100
query43 450 424 412 412
query44 1420 759 769 759
query45 206 210 189 189
query46 921 997 612 612
query47 1716 1701 1639 1639
query48 411 332 250 250
query49 785 449 373 373
query50 704 317 249 249
query51 3892 3954 3846 3846
query52 113 98 99 98
query53 247 240 181 181
query54 350 277 259 259
query55 99 81 81 81
query56 359 306 313 306
query57 1154 1166 1089 1089
query58 316 271 298 271
query59 2365 2469 2343 2343
query60 354 317 300 300
query61 159 159 153 153
query62 779 664 639 639
query63 238 175 176 175
query64 4500 1190 884 884
query65 4075 3960 3990 3960
query66 1143 454 337 337
query67 15294 15126 14705 14705
query68 8418 951 674 674
query69 562 310 268 268
query70 1147 1061 982 982
query71 493 302 273 273
query72 6018 5003 4960 4960
query73 729 604 308 308
query74 8853 8803 8608 8608
query75 3426 3066 2548 2548
query76 3585 1151 775 775
query77 820 426 316 316
query78 9654 9680 8855 8855
query79 2052 882 580 580
query80 696 568 464 464
query81 512 275 243 243
query82 743 132 110 110
query83 280 280 256 256
query84 267 114 94 94
query85 909 493 443 443
query86 334 305 297 297
query87 4047 4031 4040 4031
query88 4265 2153 2149 2149
query89 402 319 284 284
query90 1996 171 160 160
query91 174 169 145 145
query92 92 75 65 65
query93 2308 1045 675 675
query94 776 315 278 278
query95 562 342 334 334
query96 555 499 217 217
query97 2633 2718 2584 2584
query98 248 206 202 202
query99 1373 1339 1258 1258
Total cold run time: 277336 ms
Total hot run time: 180804 ms
ClickBench: Total hot run time: 27.52 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 3ac607f7ac6f2c5d0f4010438a8b7ef29eaa54e2, data reload: false
query1 0.06 0.05 0.04
query2 0.12 0.05 0.05
query3 0.25 0.08 0.09
query4 1.61 0.11 0.11
query5 0.26 0.26 0.25
query6 1.15 0.65 0.63
query7 0.02 0.02 0.02
query8 0.05 0.04 0.04
query9 0.56 0.50 0.51
query10 0.57 0.55 0.56
query11 0.16 0.11 0.12
query12 0.15 0.12 0.11
query13 0.64 0.60 0.61
query14 0.98 0.99 0.98
query15 0.82 0.81 0.81
query16 0.42 0.39 0.43
query17 1.06 1.00 1.10
query18 0.24 0.22 0.22
query19 1.93 1.83 1.79
query20 0.02 0.01 0.02
query21 15.44 0.30 0.14
query22 4.72 0.04 0.04
query23 15.95 0.27 0.11
query24 1.31 0.44 0.67
query25 0.11 0.05 0.05
query26 0.14 0.14 0.13
query27 0.06 0.06 0.06
query28 4.68 1.24 1.02
query29 12.63 4.02 3.24
query30 0.27 0.13 0.12
query31 2.80 0.62 0.39
query32 3.24 0.56 0.47
query33 3.01 3.07 3.06
query34 16.87 5.33 4.56
query35 4.55 4.58 4.56
query36 0.68 0.51 0.50
query37 0.13 0.07 0.06
query38 0.08 0.05 0.04
query39 0.04 0.02 0.03
query40 0.18 0.14 0.13
query41 0.09 0.04 0.03
query42 0.05 0.03 0.03
query43 0.05 0.04 0.03
Total cold run time: 98.15 s
Total hot run time: 27.52 s
run buildall
TPC-H: Total hot run time: 34596 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 22708580e2eaef27c63ccf6a973f1e7a657ec635, data reload: false
------ Round 1 ----------------------------------
q1 17708 5145 4909 4909
q2 2037 311 196 196
q3 10283 1314 742 742
q4 10246 907 330 330
q5 7533 2365 2252 2252
q6 178 170 139 139
q7 953 784 643 643
q8 9353 1433 1202 1202
q9 7110 5410 5371 5371
q10 6836 2192 1762 1762
q11 537 322 289 289
q12 361 370 235 235
q13 17788 3681 3006 3006
q14 237 235 222 222
q15 589 515 509 509
q16 878 865 827 827
q17 679 792 497 497
q18 7857 7179 7139 7139
q19 1092 965 625 625
q20 383 345 220 220
q21 3982 3098 2505 2505
q22 1074 995 976 976
Total cold run time: 107694 ms
Total hot run time: 34596 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4953 4919 4886 4886
q2 323 395 328 328
q3 2116 2662 2310 2310
q4 1315 1749 1314 1314
q5 4211 4526 4544 4526
q6 236 179 133 133
q7 2082 1979 1853 1853
q8 2733 2503 2663 2503
q9 7530 7651 7463 7463
q10 3070 3285 2819 2819
q11 625 517 548 517
q12 811 722 610 610
q13 3475 4001 3236 3236
q14 299 291 314 291
q15 545 515 509 509
q16 906 1105 880 880
q17 1181 1499 1430 1430
q18 7809 7959 7574 7574
q19 891 846 938 846
q20 2040 2037 1924 1924
q21 4826 4191 4192 4191
q22 1076 1059 985 985
Total cold run time: 53053 ms
Total hot run time: 51128 ms
TPC-DS: Total hot run time: 180917 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 22708580e2eaef27c63ccf6a973f1e7a657ec635, data reload: false
query5 4964 649 508 508
query6 354 222 217 217
query7 4651 498 280 280
query8 313 249 234 234
query9 8744 2680 2659 2659
query10 539 330 278 278
query11 15271 15061 14799 14799
query12 191 120 121 120
query13 1698 484 392 392
query14 6443 3326 3037 3037
query14_1 2912 2912 2951 2912
query15 209 201 186 186
query16 7532 489 429 429
query17 1215 740 626 626
query18 2042 446 357 357
query19 209 186 155 155
query20 130 126 116 116
query21 232 133 114 114
query22 3966 4043 3934 3934
query23 16589 16270 16007 16007
query23_1 16182 16093 16172 16093
query24 7288 1658 1207 1207
query24_1 1211 1217 1222 1217
query25 606 480 419 419
query26 1260 298 174 174
query27 2889 467 324 324
query28 4391 2205 2178 2178
query29 820 565 437 437
query30 307 245 214 214
query31 857 701 622 622
query32 84 75 82 75
query33 680 349 294 294
query34 860 890 545 545
query35 802 832 725 725
query36 898 907 817 817
query37 169 92 75 75
query38 3864 3842 3783 3783
query39 740 743 749 743
query39_1 694 721 716 716
query40 226 130 116 116
query41 68 64 66 64
query42 130 96 94 94
query43 455 429 386 386
query44 1302 746 753 746
query45 204 195 188 188
query46 905 976 610 610
query47 1702 1740 1661 1661
query48 395 313 237 237
query49 773 435 355 355
query50 706 311 234 234
query51 3895 3932 3888 3888
query52 120 101 90 90
query53 240 235 219 219
query54 321 254 247 247
query55 101 82 75 75
query56 348 290 280 280
query57 1171 1146 1106 1106
query58 296 260 249 249
query59 2345 2396 2348 2348
query60 364 320 301 301
query61 163 163 156 156
query62 794 676 664 664
query63 229 181 176 176
query64 4575 1181 892 892
query65 4090 3953 3932 3932
query66 1239 489 338 338
query67 15367 15138 15076 15076
query68 4619 987 675 675
query69 512 311 275 275
query70 1131 1006 997 997
query71 419 296 276 276
query72 5568 4888 4886 4886
query73 655 538 307 307
query74 8786 8803 8774 8774
query75 3025 3002 2543 2543
query76 3307 1133 745 745
query77 536 413 310 310
query78 9469 9789 8911 8911
query79 1000 862 582 582
query80 687 563 476 476
query81 509 266 238 238
query82 427 132 107 107
query83 287 272 254 254
query84 261 113 98 98
query85 928 508 445 445
query86 332 303 301 301
query87 4010 4072 3947 3947
query88 2876 2114 2124 2114
query89 389 326 280 280
query90 1885 168 151 151
query91 168 164 153 153
query92 74 71 70 70
query93 1144 1047 682 682
query94 756 302 302 302
query95 588 401 350 350
query96 539 497 217 217
query97 2643 2658 2583 2583
query98 250 202 199 199
query99 1353 1309 1229 1229
Total cold run time: 264449 ms
Total hot run time: 180917 ms
ClickBench: Total hot run time: 27.3 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 22708580e2eaef27c63ccf6a973f1e7a657ec635, data reload: false
query1 0.05 0.05 0.05
query2 0.10 0.04 0.05
query3 0.26 0.09 0.08
query4 1.61 0.11 0.10
query5 0.29 0.26 0.27
query6 1.17 0.65 0.63
query7 0.04 0.02 0.03
query8 0.06 0.04 0.04
query9 0.57 0.50 0.51
query10 0.56 0.55 0.55
query11 0.16 0.11 0.11
query12 0.15 0.12 0.12
query13 0.62 0.62 0.60
query14 1.03 0.98 1.00
query15 0.82 0.78 0.80
query16 0.42 0.39 0.40
query17 1.06 1.08 0.99
query18 0.24 0.22 0.21
query19 1.96 1.73 1.81
query20 0.02 0.01 0.01
query21 15.48 0.29 0.14
query22 4.61 0.06 0.05
query23 15.97 0.31 0.10
query24 1.40 1.15 0.27
query25 0.08 0.08 0.05
query26 0.15 0.14 0.12
query27 0.05 0.06 0.04
query28 4.51 1.22 1.02
query29 12.55 3.96 3.33
query30 0.27 0.14 0.11
query31 2.81 0.64 0.40
query32 3.23 0.56 0.48
query33 3.14 3.03 3.02
query34 16.78 5.15 4.55
query35 4.51 4.59 4.65
query36 0.66 0.50 0.48
query37 0.10 0.06 0.06
query38 0.07 0.05 0.04
query39 0.04 0.03 0.03
query40 0.17 0.14 0.14
query41 0.09 0.03 0.03
query42 0.05 0.03 0.02
query43 0.04 0.04 0.04
Total cold run time: 97.95 s
Total hot run time: 27.3 s
run buildall