doris
doris copied to clipboard
apache
[opt](fe) Optimize fe show table statistics
- Remove
olapTable.readLockwhen show table statistics
Proposed changes
Issue Number: close #xxx
Further comments
If this is a relatively large or complex change, kick off the discussion at [email protected] by explaining why you chose the solution you did and what alternatives you considered, etc...
Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR
Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.
TPC-H: Total hot run time: 41175 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 9c7ef7cc56d843f5cec0771887ab6b2d76b39781, data reload: false
------ Round 1 ----------------------------------
q1 17586 4435 4281 4281
q2 2020 187 192 187
q3 10476 1259 1269 1259
q4 10204 829 785 785
q5 7489 2738 2736 2736
q6 228 131 132 131
q7 960 626 606 606
q8 9211 2134 2103 2103
q9 9159 6735 6720 6720
q10 9351 3914 3836 3836
q11 445 248 270 248
q12 513 243 226 226
q13 17275 3234 3265 3234
q14 266 228 218 218
q15 515 482 475 475
q16 497 396 401 396
q17 996 646 726 646
q18 8565 7927 7643 7643
q19 6251 1585 1569 1569
q20 631 322 312 312
q21 5259 3286 3979 3286
q22 349 281 278 278
Total cold run time: 118246 ms
Total hot run time: 41175 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4517 4393 4398 4393
q2 370 270 274 270
q3 3106 2920 2886 2886
q4 1968 1633 1609 1609
q5 5419 5495 5515 5495
q6 213 125 126 125
q7 2122 1839 1847 1839
q8 3270 3435 3372 3372
q9 8687 8690 8716 8690
q10 4095 3814 3711 3711
q11 607 505 506 505
q12 777 644 624 624
q13 16050 3192 3218 3192
q14 293 257 266 257
q15 521 477 482 477
q16 513 444 447 444
q17 1857 1513 1515 1513
q18 7896 7724 7486 7486
q19 1656 1536 1532 1532
q20 1989 1778 1773 1773
q21 9107 4792 4787 4787
q22 579 499 468 468
Total cold run time: 75612 ms
Total hot run time: 55448 ms
TPC-DS: Total hot run time: 169059 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 9c7ef7cc56d843f5cec0771887ab6b2d76b39781, data reload: false
query1 919 382 370 370
query2 6643 2307 2299 2299
query3 6651 219 218 218
query4 19607 17520 17316 17316
query5 4177 435 426 426
query6 243 163 159 159
query7 4634 298 286 286
query8 252 183 181 181
query9 8485 2393 2375 2375
query10 444 287 268 268
query11 10484 10240 10154 10154
query12 142 96 87 87
query13 1647 373 364 364
query14 9303 7697 6680 6680
query15 209 168 170 168
query16 7738 260 259 259
query17 1428 522 529 522
query18 1892 266 264 264
query19 204 155 152 152
query20 93 88 84 84
query21 200 132 130 130
query22 4165 4109 4013 4013
query23 33611 33068 33068 33068
query24 11140 2793 2827 2793
query25 669 346 352 346
query26 1136 153 157 153
query27 2317 310 318 310
query28 7128 2068 2077 2068
query29 861 601 607 601
query30 270 152 151 151
query31 949 747 738 738
query32 94 52 52 52
query33 743 272 264 264
query34 976 471 484 471
query35 732 603 599 599
query36 1071 932 893 893
query37 121 68 66 66
query38 2864 2784 2731 2731
query39 839 782 783 782
query40 200 128 125 125
query41 49 47 45 45
query42 106 98 100 98
query43 582 539 536 536
query44 1187 738 757 738
query45 177 162 160 160
query46 1073 723 704 704
query47 1878 1785 1764 1764
query48 355 293 295 293
query49 861 368 381 368
query50 778 385 379 379
query51 6838 6694 6693 6693
query52 102 91 89 89
query53 347 281 280 280
query54 845 433 440 433
query55 75 73 75 73
query56 252 245 248 245
query57 1110 1046 1059 1046
query58 226 213 234 213
query59 3384 3209 3289 3209
query60 305 260 260 260
query61 125 87 83 83
query62 625 455 461 455
query63 317 281 283 281
query64 8749 2174 1700 1700
query65 3145 3085 3111 3085
query66 777 335 336 335
query67 15133 14742 14768 14742
query68 4606 532 531 531
query69 443 265 265 265
query70 1126 1142 1174 1142
query71 428 259 262 259
query72 7305 2714 2517 2517
query73 727 317 328 317
query74 5959 5611 5635 5611
query75 3404 2643 2565 2565
query76 2803 991 1000 991
query77 530 270 264 264
query78 10149 9719 9731 9719
query79 1948 521 520 520
query80 805 476 483 476
query81 506 225 221 221
query82 844 96 92 92
query83 204 173 169 169
query84 245 87 81 81
query85 1349 275 268 268
query86 452 311 305 305
query87 3319 3127 3116 3116
query88 4037 2321 2327 2321
query89 481 385 382 382
query90 2055 188 185 185
query91 121 97 94 94
query92 66 48 48 48
query93 1986 511 500 500
query94 1213 188 182 182
query95 414 306 306 306
query96 594 264 264 264
query97 3185 3002 3076 3002
query98 233 230 218 218
query99 1115 835 847 835
Total cold run time: 267334 ms
Total hot run time: 169059 ms
ClickBench: Total hot run time: 30.28 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 9c7ef7cc56d843f5cec0771887ab6b2d76b39781, data reload: false
query1 0.04 0.03 0.03
query2 0.08 0.04 0.04
query3 0.22 0.05 0.06
query4 1.68 0.08 0.08
query5 0.51 0.50 0.51
query6 1.11 0.72 0.71
query7 0.02 0.01 0.02
query8 0.05 0.03 0.04
query9 0.54 0.48 0.50
query10 0.54 0.53 0.54
query11 0.16 0.12 0.11
query12 0.16 0.12 0.11
query13 0.59 0.58 0.60
query14 0.76 0.78 0.78
query15 0.83 0.82 0.82
query16 0.36 0.36 0.36
query17 0.98 1.02 1.02
query18 0.22 0.23 0.25
query19 1.77 1.73 1.73
query20 0.01 0.00 0.01
query21 15.51 0.69 0.68
query22 4.51 7.18 1.72
query23 18.29 1.33 1.22
query24 2.07 0.24 0.21
query25 0.14 0.08 0.08
query26 0.26 0.17 0.17
query27 0.09 0.09 0.09
query28 13.24 1.02 1.01
query29 13.32 3.31 3.22
query30 0.24 0.06 0.06
query31 2.86 0.38 0.38
query32 3.25 0.47 0.47
query33 2.88 2.84 2.90
query34 17.23 4.39 4.51
query35 4.48 4.49 4.65
query36 0.64 0.47 0.47
query37 0.18 0.15 0.16
query38 0.17 0.17 0.14
query39 0.04 0.04 0.04
query40 0.17 0.14 0.15
query41 0.09 0.05 0.04
query42 0.05 0.04 0.05
query43 0.04 0.04 0.03
Total cold run time: 110.38 s
Total hot run time: 30.28 s
![github-actions[bot] avatar](https://avatars.githubusercontent.com/in/15368?v=4 "Published by a pub.dev verified publisher"){kind=small}
TPC-H: Total hot run time: 41273 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 72505c9b020e98f348376797673f64d48f228793, data reload: false
------ Round 1 ----------------------------------
q1 17611 4301 4310 4301
q2 2037 198 205 198
q3 10421 1283 1248 1248
q4 10206 892 797 797
q5 7493 2694 2722 2694
q6 217 135 136 135
q7 970 627 643 627
q8 9218 2120 2134 2120
q9 9415 6674 6709 6674
q10 9246 3851 3889 3851
q11 440 247 244 244
q12 463 225 240 225
q13 17433 3309 3156 3156
q14 284 238 222 222
q15 521 474 512 474
q16 522 418 392 392
q17 1008 686 698 686
q18 8333 7824 7831 7824
q19 5561 1606 1579 1579
q20 664 317 308 308
q21 5095 4127 3241 3241
q22 353 277 290 277
Total cold run time: 117511 ms
Total hot run time: 41273 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4464 4424 4359 4359
q2 398 278 264 264
q3 3148 2931 2931 2931
q4 2044 1680 1632 1632
q5 5365 5577 5481 5481
q6 216 119 124 119
q7 2225 1834 1780 1780
q8 3173 3398 3405 3398
q9 8646 8575 8693 8575
q10 4091 3817 3738 3738
q11 593 486 490 486
q12 782 604 625 604
q13 15938 3150 3131 3131
q14 315 263 251 251
q15 531 478 485 478
q16 504 441 427 427
q17 1810 1524 1518 1518
q18 7981 7651 7316 7316
q19 3056 1540 1556 1540
q20 2012 1788 1829 1788
q21 4952 4722 4622 4622
q22 577 493 500 493
Total cold run time: 72821 ms
Total hot run time: 54931 ms
TPC-DS: Total hot run time: 168778 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 72505c9b020e98f348376797673f64d48f228793, data reload: false
query1 920 379 367 367
query2 6441 2470 2180 2180
query3 6639 204 208 204
query4 19700 17150 17359 17150
query5 4192 418 441 418
query6 255 156 150 150
query7 4597 304 286 286
query8 246 191 186 186
query9 8560 2442 2405 2405
query10 465 300 265 265
query11 10362 10321 10067 10067
query12 135 91 87 87
query13 1633 365 359 359
query14 9474 6828 7588 6828
query15 217 168 167 167
query16 7737 281 264 264
query17 1689 516 501 501
query18 1941 270 269 269
query19 192 149 156 149
query20 92 86 88 86
query21 201 133 133 133
query22 4329 4219 3889 3889
query23 33727 33047 33201 33047
query24 10420 2834 2713 2713
query25 569 352 366 352
query26 702 156 155 155
query27 2203 326 319 319
query28 5834 2092 2081 2081
query29 846 609 616 609
query30 245 148 153 148
query31 956 771 732 732
query32 87 54 53 53
query33 648 289 259 259
query34 881 485 472 472
query35 705 595 597 595
query36 1037 938 949 938
query37 105 67 68 67
query38 2841 2801 2728 2728
query39 835 803 789 789
query40 195 130 122 122
query41 47 45 45 45
query42 106 98 98 98
query43 589 533 554 533
query44 1128 721 746 721
query45 184 193 165 165
query46 1077 689 747 689
query47 1852 1780 1788 1780
query48 371 304 298 298
query49 832 370 384 370
query50 771 387 401 387
query51 6898 6782 6804 6782
query52 101 91 92 91
query53 353 290 278 278
query54 835 450 425 425
query55 74 73 73 73
query56 256 233 247 233
query57 1098 1047 1035 1035
query58 232 230 201 201
query59 3399 3146 3211 3146
query60 283 272 276 272
query61 146 86 88 86
query62 591 454 446 446
query63 312 287 287 287
query64 8479 2218 1775 1775
query65 3203 3101 3108 3101
query66 778 328 320 320
query67 15386 14839 14657 14657
query68 4590 546 536 536
query69 451 273 279 273
query70 1163 1139 1086 1086
query71 373 273 265 265
query72 7911 5664 2705 2705
query73 722 327 325 325
query74 6069 5563 5577 5563
query75 3334 2697 2572 2572
query76 2342 1002 959 959
query77 514 265 266 265
query78 10310 9883 9689 9689
query79 2397 515 517 515
query80 893 441 435 435
query81 514 222 217 217
query82 725 92 88 88
query83 240 167 168 167
query84 246 84 86 84
query85 1451 263 267 263
query86 474 307 314 307
query87 3293 3084 3175 3084
query88 4349 2430 2430 2430
query89 478 383 378 378
query90 2034 196 190 190
query91 127 96 95 95
query92 60 49 50 49
query93 1938 519 511 511
query94 1255 249 189 189
query95 410 314 311 311
query96 591 282 275 275
query97 3235 3087 2986 2986
query98 240 218 209 209
query99 1165 880 874 874
Total cold run time: 266128 ms
Total hot run time: 168778 ms
ClickBench: Total hot run time: 30.08 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 72505c9b020e98f348376797673f64d48f228793, data reload: false
query1 0.04 0.03 0.03
query2 0.08 0.04 0.04
query3 0.23 0.05 0.06
query4 1.67 0.08 0.07
query5 0.49 0.50 0.52
query6 1.13 0.72 0.71
query7 0.01 0.01 0.01
query8 0.04 0.04 0.04
query9 0.54 0.50 0.48
query10 0.52 0.54 0.54
query11 0.15 0.12 0.11
query12 0.15 0.13 0.12
query13 0.59 0.58 0.61
query14 0.78 0.78 0.79
query15 0.82 0.80 0.80
query16 0.36 0.35 0.37
query17 1.00 0.95 0.97
query18 0.20 0.26 0.23
query19 1.81 1.68 1.68
query20 0.02 0.01 0.01
query21 15.74 0.67 0.65
query22 4.51 7.24 1.57
query23 18.24 1.38 1.19
query24 1.91 0.22 0.21
query25 0.14 0.08 0.08
query26 0.27 0.16 0.16
query27 0.08 0.07 0.08
query28 13.42 1.03 1.07
query29 13.41 3.32 3.27
query30 0.24 0.06 0.05
query31 2.87 0.38 0.38
query32 3.30 0.46 0.48
query33 2.92 2.94 2.88
query34 17.10 4.41 4.43
query35 4.50 4.54 4.63
query36 0.66 0.47 0.47
query37 0.18 0.15 0.15
query38 0.15 0.14 0.15
query39 0.04 0.04 0.03
query40 0.16 0.15 0.14
query41 0.08 0.04 0.05
query42 0.05 0.05 0.04
query43 0.04 0.04 0.04
Total cold run time: 110.64 s
Total hot run time: 30.08 s
TPC-H: Total hot run time: 40948 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 604c1f523074326acb0211f33d793806e15c6ccd, data reload: false
------ Round 1 ----------------------------------
q1 17605 4432 4212 4212
q2 2018 196 193 193
q3 10464 1252 1187 1187
q4 10191 885 804 804
q5 7471 2702 2692 2692
q6 230 130 136 130
q7 991 604 610 604
q8 9220 2133 2105 2105
q9 10674 6729 6723 6723
q10 9734 3976 3902 3902
q11 434 250 239 239
q12 428 219 221 219
q13 18096 3219 3168 3168
q14 251 217 219 217
q15 500 471 468 468
q16 498 387 405 387
q17 968 738 686 686
q18 8376 7788 7724 7724
q19 6793 1527 1540 1527
q20 649 327 315 315
q21 5177 3177 4001 3177
q22 343 277 269 269
Total cold run time: 121111 ms
Total hot run time: 40948 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4587 4368 4387 4368
q2 375 266 271 266
q3 3071 2985 2938 2938
q4 1971 1608 1564 1564
q5 5365 5518 5481 5481
q6 215 128 133 128
q7 2198 1813 1794 1794
q8 3219 3431 3369 3369
q9 8595 8644 8668 8644
q10 4062 3746 3757 3746
q11 599 489 501 489
q12 795 608 610 608
q13 17066 3138 3141 3138
q14 293 272 279 272
q15 524 483 475 475
q16 488 425 426 425
q17 1804 1542 1517 1517
q18 7874 7696 7282 7282
q19 1688 1565 1579 1565
q20 2057 1801 1798 1798
q21 14360 4741 4674 4674
q22 593 487 487 487
Total cold run time: 81799 ms
Total hot run time: 55028 ms
TPC-DS: Total hot run time: 168837 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 604c1f523074326acb0211f33d793806e15c6ccd, data reload: false
query1 935 392 377 377
query2 6437 2382 2230 2230
query3 6635 207 207 207
query4 19239 17353 17283 17283
query5 4121 423 411 411
query6 260 168 157 157
query7 4592 299 292 292
query8 243 187 184 184
query9 8515 2446 2427 2427
query10 466 296 265 265
query11 10801 10007 10023 10007
query12 138 93 89 89
query13 1653 394 366 366
query14 9964 6936 7570 6936
query15 218 155 162 155
query16 7516 262 274 262
query17 1353 519 507 507
query18 1937 272 268 268
query19 207 157 148 148
query20 93 86 93 86
query21 195 140 127 127
query22 4210 4127 3872 3872
query23 34130 32987 33102 32987
query24 7235 2796 2755 2755
query25 579 349 357 349
query26 708 160 157 157
query27 2246 316 321 316
query28 4845 2090 2090 2090
query29 884 635 621 621
query30 236 146 147 146
query31 948 769 744 744
query32 92 52 54 52
query33 527 279 263 263
query34 856 483 472 472
query35 715 620 593 593
query36 1034 923 907 907
query37 101 65 68 65
query38 2849 2787 2724 2724
query39 854 789 797 789
query40 195 122 127 122
query41 47 45 44 44
query42 100 97 92 92
query43 574 546 549 546
query44 1084 728 780 728
query45 178 165 165 165
query46 1068 711 693 693
query47 1841 1734 1755 1734
query48 367 304 293 293
query49 842 379 391 379
query50 773 404 400 400
query51 6820 6790 6758 6758
query52 102 89 91 89
query53 359 281 287 281
query54 552 438 452 438
query55 74 72 71 71
query56 254 239 241 239
query57 1121 1056 1054 1054
query58 240 227 214 214
query59 3306 3096 3015 3015
query60 282 262 264 262
query61 89 85 88 85
query62 588 448 465 448
query63 312 287 285 285
query64 8472 2261 1743 1743
query65 3161 3085 3166 3085
query66 807 334 326 326
query67 14963 14741 14853 14741
query68 4569 560 549 549
query69 437 270 268 268
query70 1163 1102 1184 1102
query71 375 271 266 266
query72 7382 2726 2540 2540
query73 720 326 327 326
query74 6057 5535 5612 5535
query75 3291 2664 2597 2597
query76 2312 1007 1004 1004
query77 418 267 261 261
query78 10226 9777 9632 9632
query79 2066 511 512 511
query80 1613 437 429 429
query81 521 218 215 215
query82 1291 98 91 91
query83 269 175 169 169
query84 250 85 86 85
query85 1358 276 265 265
query86 465 308 295 295
query87 3251 3109 3104 3104
query88 4178 2464 2449 2449
query89 475 380 384 380
query90 2064 195 192 192
query91 136 109 168 109
query92 59 51 49 49
query93 2401 524 521 521
query94 1252 193 190 190
query95 399 318 311 311
query96 594 269 278 269
query97 3203 3037 3053 3037
query98 236 214 215 214
query99 1203 856 867 856
Total cold run time: 261372 ms
Total hot run time: 168837 ms
ClickBench: Total hot run time: 30.6 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 604c1f523074326acb0211f33d793806e15c6ccd, data reload: false
query1 0.04 0.03 0.03
query2 0.09 0.04 0.04
query3 0.23 0.05 0.05
query4 1.68 0.07 0.07
query5 0.51 0.50 0.50
query6 1.12 0.72 0.72
query7 0.02 0.01 0.02
query8 0.05 0.04 0.04
query9 0.54 0.50 0.49
query10 0.54 0.55 0.55
query11 0.16 0.12 0.12
query12 0.15 0.11 0.11
query13 0.58 0.59 0.60
query14 0.78 0.78 0.78
query15 0.82 0.82 0.82
query16 0.36 0.37 0.34
query17 0.97 0.98 0.98
query18 0.23 0.24 0.25
query19 1.80 1.69 1.67
query20 0.01 0.01 0.01
query21 15.43 0.70 0.68
query22 5.20 6.27 1.86
query23 18.31 1.44 1.34
query24 1.60 0.24 0.20
query25 0.14 0.09 0.08
query26 0.25 0.16 0.16
query27 0.08 0.08 0.08
query28 13.53 1.02 0.99
query29 12.73 3.37 3.32
query30 0.23 0.05 0.06
query31 2.89 0.38 0.39
query32 3.27 0.47 0.46
query33 2.86 2.85 2.92
query34 17.25 4.47 4.48
query35 4.49 4.49 4.61
query36 0.68 0.49 0.45
query37 0.17 0.15 0.15
query38 0.15 0.15 0.15
query39 0.04 0.03 0.03
query40 0.16 0.13 0.14
query41 0.08 0.04 0.04
query42 0.05 0.05 0.05
query43 0.04 0.03 0.04
Total cold run time: 110.31 s
Total hot run time: 30.6 s
PR approved by at least one committer and no changes requested.