doris
doris copied to clipboard
apache
[feature](iceberg) Intro ManifestFile Cache For IcebergScanNode
What problem does this PR solve?
Issue Number: close #xxx
Related PR: #xxx
Problem Summary:
Release note
None
Check List (For Author)
-
Test
- [ ] Regression test
- [ ] Unit Test
- [ ] Manual test (add detailed scripts or steps below)
- [ ] No need to test or manual test. Explain why:
- [ ] This is a refactor/code format and no logic has been changed.
- [ ] Previous test can cover this change.
- [ ] No code files have been changed.
- [ ] Other reason
-
Behavior changed:
- [ ] No.
- [ ] Yes.
-
Does this need documentation?
- [ ] No.
- [ ] Yes.
Check List (For Reviewer who merge this PR)
- [ ] Confirm the release note
- [ ] Confirm test cases
- [ ] Confirm document
- [ ] Add branch pick label
FE Regression Coverage Report
Increment line coverage 9.06% (24/265) :tada:
Increment coverage report
Complete coverage report
FE Regression Coverage Report
Increment line coverage 78.63% (206/262) :tada:
Increment coverage report
Complete coverage report
TPC-H: Total hot run time: 35001 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 59927668d99e721697e45c2caf6133b38d786e6f, data reload: false
------ Round 1 ----------------------------------
q1 17606 4183 4060 4060
q2 2070 350 258 258
q3 10132 1329 759 759
q4 10208 830 310 310
q5 7505 2346 1902 1902
q6 183 165 134 134
q7 992 858 712 712
q8 9357 1456 1113 1113
q9 7091 5350 5345 5345
q10 6785 2411 1956 1956
q11 505 320 297 297
q12 679 734 577 577
q13 17797 3664 3038 3038
q14 286 309 302 302
q15 566 523 513 513
q16 706 690 625 625
q17 680 759 582 582
q18 7513 7064 7041 7041
q19 1105 963 633 633
q20 398 352 250 250
q21 4188 4060 3638 3638
q22 1020 1025 956 956
Total cold run time: 107372 ms
Total hot run time: 35001 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4124 4038 4077 4038
q2 346 407 335 335
q3 2130 2680 2289 2289
q4 1337 1735 1336 1336
q5 4274 4594 4898 4594
q6 226 185 150 150
q7 2041 2006 1792 1792
q8 2713 2499 2600 2499
q9 7773 7524 7507 7507
q10 3138 3299 2833 2833
q11 575 515 512 512
q12 703 720 601 601
q13 3630 3905 3342 3342
q14 282 313 286 286
q15 575 516 531 516
q16 656 688 668 668
q17 1217 1634 1404 1404
q18 7763 7747 7628 7628
q19 884 872 916 872
q20 2024 2135 1960 1960
q21 4983 4277 4102 4102
q22 1107 1007 1008 1007
Total cold run time: 52501 ms
Total hot run time: 50271 ms
TPC-DS: Total hot run time: 178393 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 59927668d99e721697e45c2caf6133b38d786e6f, data reload: false
query5 4877 623 482 482
query6 345 244 222 222
query7 4223 471 277 277
query8 320 269 247 247
query9 8769 2547 2558 2547
query10 526 363 327 327
query11 15497 14925 14608 14608
query12 186 119 118 118
query13 1267 502 405 405
query14 6352 3227 2968 2968
query14_1 2888 2898 2920 2898
query15 213 201 187 187
query16 942 479 486 479
query17 1147 729 627 627
query18 2716 442 349 349
query19 246 232 212 212
query20 126 129 119 119
query21 217 145 118 118
query22 4131 3950 3733 3733
query23 16829 16243 16052 16052
query23_1 16010 16064 15971 15971
query24 7465 1686 1223 1223
query24_1 1230 1242 1244 1242
query25 580 502 443 443
query26 1239 273 164 164
query27 2753 478 314 314
query28 4417 2149 2139 2139
query29 836 566 468 468
query30 333 234 220 220
query31 839 725 649 649
query32 83 78 72 72
query33 557 402 295 295
query34 901 891 555 555
query35 792 816 721 721
query36 864 910 826 826
query37 133 93 81 81
query38 2933 2853 2914 2853
query39 760 732 704 704
query39_1 698 707 710 707
query40 229 137 120 120
query41 66 62 66 62
query42 109 104 107 104
query43 416 442 404 404
query44 1310 745 749 745
query45 195 187 185 185
query46 876 984 609 609
query47 1681 1698 1589 1589
query48 323 337 245 245
query49 637 439 353 353
query50 671 284 221 221
query51 3837 3840 3831 3831
query52 109 108 101 101
query53 326 347 302 302
query54 290 297 251 251
query55 79 71 74 71
query56 289 294 300 294
query57 1136 1158 1061 1061
query58 272 253 245 245
query59 2385 2489 2406 2406
query60 308 307 291 291
query61 163 161 159 159
query62 707 686 611 611
query63 323 295 304 295
query64 4976 1318 1031 1031
query65 4004 3963 3955 3955
query66 1393 441 320 320
query67 15209 14801 14984 14801
query68 8445 990 735 735
query69 498 360 316 316
query70 1075 1017 1017 1017
query71 369 309 290 290
query72 6103 4998 5045 4998
query73 668 596 305 305
query74 8882 8906 8620 8620
query75 3189 3161 2753 2753
query76 4033 1155 760 760
query77 592 382 287 287
query78 9587 9753 8795 8795
query79 1281 873 626 626
query80 699 658 546 546
query81 518 269 235 235
query82 231 134 112 112
query83 265 255 236 236
query84 262 120 99 99
query85 903 499 479 479
query86 391 293 292 292
query87 2981 3049 2951 2951
query88 3189 2263 2246 2246
query89 467 424 395 395
query90 2166 156 160 156
query91 175 166 153 153
query92 88 72 63 63
query93 1140 896 555 555
query94 482 286 293 286
query95 581 389 305 305
query96 582 460 205 205
query97 2255 2300 2200 2200
query98 211 200 190 190
query99 1291 1356 1197 1197
Total cold run time: 260966 ms
Total hot run time: 178393 ms
ClickBench: Total hot run time: 27.15 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 59927668d99e721697e45c2caf6133b38d786e6f, data reload: false
query1 0.05 0.05 0.05
query2 0.11 0.05 0.05
query3 0.26 0.09 0.09
query4 1.61 0.12 0.11
query5 0.27 0.25 0.26
query6 1.17 0.65 0.62
query7 0.03 0.02 0.03
query8 0.05 0.04 0.04
query9 0.57 0.50 0.50
query10 0.56 0.56 0.55
query11 0.15 0.11 0.12
query12 0.15 0.12 0.13
query13 0.62 0.60 0.61
query14 0.98 0.98 0.96
query15 0.81 0.81 0.81
query16 0.42 0.42 0.43
query17 1.06 1.01 1.01
query18 0.23 0.21 0.21
query19 1.83 1.88 1.85
query20 0.02 0.01 0.01
query21 15.45 0.31 0.15
query22 4.77 0.06 0.04
query23 16.28 0.28 0.10
query24 1.31 0.57 0.19
query25 0.08 0.08 0.07
query26 0.15 0.14 0.14
query27 0.10 0.04 0.05
query28 3.22 1.25 1.04
query29 12.67 4.04 3.22
query30 0.27 0.14 0.12
query31 2.83 0.64 0.40
query32 3.23 0.55 0.46
query33 2.96 3.15 2.99
query34 16.88 5.13 4.47
query35 4.58 4.51 4.55
query36 0.67 0.50 0.50
query37 0.12 0.07 0.06
query38 0.08 0.04 0.04
query39 0.04 0.03 0.03
query40 0.17 0.16 0.13
query41 0.09 0.03 0.02
query42 0.04 0.04 0.02
query43 0.05 0.03 0.03
Total cold run time: 96.99 s
Total hot run time: 27.15 s
FE Regression Coverage Report
Increment line coverage 74.77% (246/329) :tada:
Increment coverage report
Complete coverage report
TPC-H: Total hot run time: 35071 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 2fac292d42e130a05e559330a82754393f535c89, data reload: false
------ Round 1 ----------------------------------
q1 17592 4225 4129 4129
q2 2021 348 227 227
q3 10214 1309 723 723
q4 10214 774 303 303
q5 7532 2075 2015 2015
q6 190 167 134 134
q7 1025 851 705 705
q8 9363 1497 1270 1270
q9 7030 5302 5332 5302
q10 6844 2382 1977 1977
q11 525 327 299 299
q12 666 739 576 576
q13 17783 3703 3035 3035
q14 286 292 273 273
q15 604 510 510 510
q16 680 671 618 618
q17 708 858 476 476
q18 7484 7032 6905 6905
q19 1213 982 622 622
q20 404 375 246 246
q21 4208 3901 3781 3781
q22 1020 1011 945 945
Total cold run time: 107606 ms
Total hot run time: 35071 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4191 4092 4083 4083
q2 328 407 310 310
q3 2136 2625 2333 2333
q4 1308 1718 1267 1267
q5 4202 4503 4672 4503
q6 211 176 144 144
q7 2097 1985 1807 1807
q8 2690 2538 2526 2526
q9 7351 7497 7654 7497
q10 3117 3214 2828 2828
q11 615 513 493 493
q12 717 764 744 744
q13 3799 3911 3359 3359
q14 293 296 297 296
q15 558 522 513 513
q16 674 671 619 619
q17 1221 1462 1415 1415
q18 7808 7817 7425 7425
q19 914 869 889 869
q20 2037 2104 1830 1830
q21 4621 4308 4191 4191
q22 1072 1013 981 981
Total cold run time: 51960 ms
Total hot run time: 50033 ms
TPC-DS: Total hot run time: 177232 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 2fac292d42e130a05e559330a82754393f535c89, data reload: false
query5 4349 620 464 464
query6 342 221 246 221
query7 4211 463 274 274
query8 326 258 247 247
query9 8731 2572 2568 2568
query10 486 393 317 317
query11 15524 14959 14588 14588
query12 179 121 114 114
query13 1259 504 374 374
query14 6343 3195 3000 3000
query14_1 2884 2942 2968 2942
query15 220 200 186 186
query16 906 478 452 452
query17 1151 742 574 574
query18 2694 422 333 333
query19 226 228 201 201
query20 118 112 116 112
query21 217 139 113 113
query22 3894 3998 3732 3732
query23 16776 16099 15772 15772
query23_1 15906 15932 16005 15932
query24 7315 1665 1212 1212
query24_1 1240 1210 1233 1210
query25 542 477 408 408
query26 1260 259 164 164
query27 2751 470 303 303
query28 4457 2134 2129 2129
query29 839 583 447 447
query30 312 244 217 217
query31 858 696 595 595
query32 76 68 66 66
query33 548 340 294 294
query34 893 916 528 528
query35 789 837 730 730
query36 876 902 842 842
query37 131 93 81 81
query38 2857 2829 2876 2829
query39 764 726 699 699
query39_1 697 734 687 687
query40 224 142 127 127
query41 72 66 62 62
query42 108 113 108 108
query43 442 441 402 402
query44 1357 757 758 757
query45 195 189 184 184
query46 898 973 622 622
query47 1631 1678 1611 1611
query48 313 333 244 244
query49 629 434 369 369
query50 673 289 215 215
query51 3802 3813 3808 3808
query52 114 112 99 99
query53 317 354 295 295
query54 290 262 254 254
query55 78 76 75 75
query56 305 297 309 297
query57 1123 1124 1067 1067
query58 271 258 252 252
query59 2363 2393 2417 2393
query60 310 324 291 291
query61 162 159 188 159
query62 714 673 643 643
query63 337 299 306 299
query64 5039 1443 1126 1126
query65 4012 3951 3957 3951
query66 1402 473 357 357
query67 14962 14823 14737 14737
query68 5354 1050 749 749
query69 530 372 323 323
query70 1082 1018 981 981
query71 384 318 289 289
query72 6351 4838 4798 4798
query73 663 582 308 308
query74 8507 8718 8554 8554
query75 3182 3129 2750 2750
query76 3814 1149 735 735
query77 528 403 299 299
query78 9546 9713 8815 8815
query79 1371 885 625 625
query80 1536 647 563 563
query81 555 272 237 237
query82 409 128 110 110
query83 366 251 245 245
query84 252 118 99 99
query85 936 501 465 465
query86 388 302 284 284
query87 2997 3093 2931 2931
query88 3295 2295 2288 2288
query89 462 420 383 383
query90 1931 164 161 161
query91 179 173 144 144
query92 71 72 68 68
query93 1131 919 565 565
query94 532 289 277 277
query95 573 343 301 301
query96 585 472 208 208
query97 2253 2330 2227 2227
query98 208 195 199 195
query99 1286 1287 1193 1193
Total cold run time: 257071 ms
Total hot run time: 177232 ms
ClickBench: Total hot run time: 27.41 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 2fac292d42e130a05e559330a82754393f535c89, data reload: false
query1 0.06 0.05 0.04
query2 0.10 0.05 0.05
query3 0.25 0.09 0.09
query4 1.60 0.11 0.11
query5 0.29 0.27 0.25
query6 1.17 0.64 0.63
query7 0.04 0.02 0.02
query8 0.05 0.04 0.04
query9 0.57 0.51 0.51
query10 0.55 0.54 0.56
query11 0.16 0.11 0.11
query12 0.15 0.11 0.12
query13 0.62 0.61 0.60
query14 0.99 1.01 0.98
query15 0.82 0.78 0.79
query16 0.39 0.40 0.42
query17 1.04 1.06 1.04
query18 0.22 0.21 0.22
query19 1.94 1.86 1.87
query20 0.02 0.01 0.01
query21 15.44 0.28 0.15
query22 4.92 0.06 0.04
query23 16.03 0.27 0.11
query24 1.87 0.61 0.18
query25 0.09 0.05 0.05
query26 0.13 0.12 0.13
query27 0.06 0.06 0.06
query28 3.71 1.22 1.02
query29 12.62 4.02 3.32
query30 0.28 0.14 0.12
query31 2.82 0.60 0.39
query32 3.23 0.55 0.45
query33 2.98 3.09 3.06
query34 16.99 5.17 4.59
query35 4.54 4.52 4.53
query36 0.70 0.50 0.49
query37 0.12 0.07 0.07
query38 0.07 0.05 0.04
query39 0.05 0.03 0.03
query40 0.17 0.15 0.13
query41 0.08 0.03 0.03
query42 0.04 0.03 0.03
query43 0.05 0.03 0.04
Total cold run time: 98.02 s
Total hot run time: 27.41 s