doris
doris copied to clipboard
Published
20 hours ago •
apache
apache
[fix](planner)Fix the concurrency issue caused by Expr setting member variables
What problem does this PR solve?
When multiple threads operate on the same member variable (e.g., disableTableName in org.apache.doris.analysis.Expr#toSqlWithoutTbl) of the same Expr (e.g., org.apache.doris.catalog.Column#getDefineExpr), the resulting toSql output may not match the expected value due to concurrency issues.
Add an overloaded toSql method in Expr, remove related member variables, and make toSqlWithoutTbl directly call the overloaded toSql method
Issue Number: close #xxx
Related PR: #xxx
Problem Summary: Fix the concurrency issue caused by Expr setting member variables
Release note
Fix the concurrency issue caused by Expr setting member variables
Check List (For Author)
-
Test
- [ ] Regression test
- [ ] Unit Test
- [ ] Manual test (add detailed scripts or steps below)
- [ ] No need to test or manual test. Explain why:
- [ ] This is a refactor/code format and no logic has been changed.
- [x] Previous test can cover this change.
- [ ] No code files have been changed.
- [ ] Other reason
-
Behavior changed:
- [x] No.
- [ ] Yes.
-
Does this need documentation?
- [x] No.
- [ ] Yes.
Check List (For Reviewer who merge this PR)
- [ ] Confirm the release note
- [ ] Confirm test cases
- [ ] Confirm document
- [ ] Add branch pick label
Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR.
Please clearly describe your PR:
- What problem was fixed (it's best to include specific error reporting information). How it was fixed.
- Which behaviors were modified. What was the previous behavior, what is it now, why was it modified, and what possible impacts might there be.
- What features were added. Why was this function added?
- Which code was refactored and why was this part of the code refactored?
- Which functions were optimized and what is the difference before and after the optimization?
TPC-H: Total hot run time: 33726 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit df7ba37f110c14f791c721b5c2eed51d150600cd, data reload: false
------ Round 1 ----------------------------------
q1 25996 5139 5031 5031
q2 1952 278 176 176
q3 10532 1239 722 722
q4 10233 1009 523 523
q5 7820 2404 2287 2287
q6 187 170 130 130
q7 877 719 622 622
q8 9309 1265 1123 1123
q9 6627 5062 5070 5062
q10 6886 2315 1899 1899
q11 505 291 270 270
q12 347 358 220 220
q13 17761 3728 3102 3102
q14 236 224 224 224
q15 565 485 472 472
q16 445 442 381 381
q17 620 873 373 373
q18 7443 7008 7125 7008
q19 2123 1010 587 587
q20 329 339 223 223
q21 3982 3158 2360 2360
q22 1029 983 931 931
Total cold run time: 115804 ms
Total hot run time: 33726 ms
----- Round 2, with runtime_filter_mode=off -----
q1 5268 5111 5133 5111
q2 244 330 217 217
q3 2182 2692 2249 2249
q4 1336 1762 1354 1354
q5 4447 4380 4440 4380
q6 221 176 130 130
q7 1997 1963 1809 1809
q8 2599 2581 2503 2503
q9 7196 7144 6860 6860
q10 3057 3203 2722 2722
q11 576 520 530 520
q12 660 771 621 621
q13 3419 3897 3237 3237
q14 297 307 277 277
q15 539 480 478 478
q16 469 479 450 450
q17 1147 1535 1412 1412
q18 7796 7527 7607 7527
q19 919 843 888 843
q20 2003 2063 1863 1863
q21 4777 4446 4537 4446
q22 1154 1055 1003 1003
Total cold run time: 52303 ms
Total hot run time: 50012 ms
TPC-DS: Total hot run time: 192512 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit df7ba37f110c14f791c721b5c2eed51d150600cd, data reload: false
query1 1425 1089 1081 1081
query2 6200 1803 1797 1797
query3 10994 4543 4404 4404
query4 54055 26173 23039 23039
query5 5203 566 478 478
query6 343 207 204 204
query7 4891 503 300 300
query8 288 239 217 217
query9 5491 2662 2658 2658
query10 417 361 272 272
query11 15325 15018 14904 14904
query12 166 112 115 112
query13 1025 534 397 397
query14 10220 6486 6704 6486
query15 215 202 188 188
query16 7161 661 513 513
query17 1081 705 617 617
query18 1578 398 314 314
query19 216 211 182 182
query20 136 130 117 117
query21 206 128 109 109
query22 4353 4600 4186 4186
query23 34245 33635 33584 33584
query24 6565 2452 2433 2433
query25 471 469 406 406
query26 718 285 151 151
query27 2251 514 350 350
query28 3087 2216 2208 2208
query29 595 571 443 443
query30 282 226 188 188
query31 883 860 772 772
query32 83 67 63 63
query33 483 367 303 303
query34 795 890 561 561
query35 805 845 750 750
query36 956 1005 903 903
query37 122 106 84 84
query38 4237 4258 4302 4258
query39 1563 1473 1436 1436
query40 216 122 113 113
query41 61 57 58 57
query42 130 117 116 116
query43 511 524 491 491
query44 1344 845 835 835
query45 182 181 171 171
query46 855 1014 670 670
query47 1822 1893 1768 1768
query48 409 421 346 346
query49 709 515 392 392
query50 681 692 428 428
query51 4255 4256 4175 4175
query52 115 110 108 108
query53 240 276 192 192
query54 597 598 535 535
query55 88 91 88 88
query56 330 300 305 300
query57 1191 1184 1109 1109
query58 281 274 257 257
query59 2699 2822 2607 2607
query60 352 315 312 312
query61 130 127 123 123
query62 815 721 680 680
query63 230 197 204 197
query64 1813 1058 681 681
query65 4185 4159 4167 4159
query66 716 403 303 303
query67 15793 15693 15351 15351
query68 5482 896 544 544
query69 510 317 276 276
query70 1298 1135 1175 1135
query71 458 327 291 291
query72 6000 4805 4898 4805
query73 1342 647 356 356
query74 9044 8876 8683 8683
query75 3277 3202 2696 2696
query76 3717 1241 768 768
query77 555 378 286 286
query78 9887 10198 9465 9465
query79 1767 822 591 591
query80 796 519 452 452
query81 488 264 217 217
query82 391 124 103 103
query83 264 242 232 232
query84 290 114 100 100
query85 785 354 313 313
query86 344 318 290 290
query87 4361 4462 4309 4309
query88 2966 2279 2285 2279
query89 397 316 294 294
query90 1625 214 280 214
query91 144 149 110 110
query92 66 68 63 63
query93 1410 949 602 602
query94 661 412 309 309
query95 362 297 291 291
query96 508 574 283 283
query97 2677 2781 2629 2629
query98 228 204 216 204
query99 1322 1382 1290 1290
Total cold run time: 293302 ms
Total hot run time: 192512 ms
ClickBench: Total hot run time: 28.94 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit df7ba37f110c14f791c721b5c2eed51d150600cd, data reload: false
query1 0.04 0.04 0.03
query2 0.14 0.11 0.11
query3 0.26 0.19 0.19
query4 1.60 0.20 0.19
query5 0.46 0.46 0.44
query6 1.17 0.67 0.66
query7 0.02 0.02 0.02
query8 0.05 0.03 0.04
query9 0.59 0.52 0.52
query10 0.57 0.57 0.56
query11 0.15 0.11 0.12
query12 0.15 0.12 0.12
query13 0.61 0.59 0.60
query14 0.79 0.80 0.82
query15 0.89 0.87 0.86
query16 0.39 0.38 0.39
query17 1.04 1.01 1.00
query18 0.22 0.22 0.22
query19 1.91 1.78 1.84
query20 0.02 0.01 0.01
query21 15.39 0.91 0.55
query22 0.76 1.23 0.68
query23 14.88 1.40 0.62
query24 7.38 1.65 0.67
query25 0.51 0.22 0.12
query26 0.60 0.16 0.15
query27 0.06 0.06 0.06
query28 9.55 0.91 0.46
query29 12.58 4.04 3.31
query30 0.26 0.10 0.06
query31 2.81 0.60 0.40
query32 3.23 0.56 0.46
query33 3.09 3.02 3.10
query34 16.09 5.12 4.49
query35 4.46 4.50 4.48
query36 0.67 0.49 0.48
query37 0.08 0.06 0.06
query38 0.06 0.04 0.04
query39 0.04 0.03 0.02
query40 0.17 0.14 0.13
query41 0.09 0.02 0.02
query42 0.04 0.02 0.02
query43 0.04 0.02 0.03
Total cold run time: 103.91 s
Total hot run time: 28.94 s
TPC-H: Total hot run time: 33885 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit d980d20f3680dcd0113ad2f5cfa87989f0d41f19, data reload: false
------ Round 1 ----------------------------------
q1 26228 5320 5020 5020
q2 1939 281 183 183
q3 10365 1262 722 722
q4 10251 1017 518 518
q5 8106 2471 2305 2305
q6 191 162 131 131
q7 897 742 618 618
q8 9301 1293 1109 1109
q9 6856 5141 5123 5123
q10 6880 2309 1906 1906
q11 487 286 281 281
q12 342 360 228 228
q13 17786 3668 3033 3033
q14 233 234 211 211
q15 570 493 472 472
q16 429 427 378 378
q17 627 886 388 388
q18 7561 7193 7139 7139
q19 1653 962 536 536
q20 330 341 221 221
q21 3853 3229 2408 2408
q22 1024 1019 955 955
Total cold run time: 115909 ms
Total hot run time: 33885 ms
----- Round 2, with runtime_filter_mode=off -----
q1 5138 5071 5095 5071
q2 242 314 217 217
q3 2163 2652 2287 2287
q4 1388 1784 1408 1408
q5 4558 4410 4372 4372
q6 217 169 125 125
q7 2012 1930 1726 1726
q8 2569 2520 2434 2434
q9 7258 7072 7144 7072
q10 2984 3179 2751 2751
q11 562 523 487 487
q12 681 753 624 624
q13 3474 3800 3292 3292
q14 289 310 256 256
q15 516 474 472 472
q16 426 477 432 432
q17 1169 1562 1370 1370
q18 7724 7439 7421 7421
q19 840 867 841 841
q20 2047 2020 1879 1879
q21 5002 4332 4250 4250
q22 1066 1026 963 963
Total cold run time: 52325 ms
Total hot run time: 49750 ms
TPC-DS: Total hot run time: 185061 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit d980d20f3680dcd0113ad2f5cfa87989f0d41f19, data reload: false
query1 1004 483 495 483
query2 6556 1843 1786 1786
query3 6757 224 212 212
query4 26304 23242 23529 23242
query5 4356 613 466 466
query6 315 211 193 193
query7 4622 487 291 291
query8 260 236 214 214
query9 8660 2634 2647 2634
query10 480 337 273 273
query11 15840 15535 14823 14823
query12 171 111 108 108
query13 1662 539 433 433
query14 9487 6054 6137 6054
query15 199 188 166 166
query16 7245 642 458 458
query17 1197 698 582 582
query18 1968 390 291 291
query19 185 175 150 150
query20 115 116 117 116
query21 219 123 107 107
query22 4149 4154 3968 3968
query23 34106 33053 33076 33053
query24 8443 2396 2407 2396
query25 535 449 388 388
query26 1232 268 148 148
query27 2759 506 346 346
query28 4320 2120 2108 2108
query29 773 551 424 424
query30 287 218 189 189
query31 948 876 744 744
query32 71 67 65 65
query33 554 374 314 314
query34 793 851 541 541
query35 793 809 721 721
query36 909 967 879 879
query37 125 102 77 77
query38 4202 4120 4052 4052
query39 1492 1422 1408 1408
query40 215 126 111 111
query41 69 66 70 66
query42 132 114 115 114
query43 493 502 464 464
query44 1297 838 827 827
query45 183 178 169 169
query46 843 1024 624 624
query47 1754 1758 1678 1678
query48 389 441 318 318
query49 772 526 409 409
query50 650 669 413 413
query51 4143 4221 4054 4054
query52 109 115 99 99
query53 227 250 192 192
query54 586 612 500 500
query55 86 85 86 85
query56 311 309 276 276
query57 1126 1170 1092 1092
query58 267 261 255 255
query59 2564 2616 2530 2530
query60 330 328 311 311
query61 124 119 122 119
query62 777 729 651 651
query63 218 187 184 184
query64 4362 995 679 679
query65 4264 4162 4136 4136
query66 1121 418 307 307
query67 15845 15398 15539 15398
query68 7965 898 530 530
query69 478 311 273 273
query70 1175 1133 1121 1121
query71 474 324 290 290
query72 5497 4782 4779 4779
query73 677 610 359 359
query74 8844 9188 8753 8753
query75 3833 3240 2685 2685
query76 3689 1188 761 761
query77 782 368 283 283
query78 9965 10152 9245 9245
query79 2426 815 570 570
query80 730 505 433 433
query81 495 255 216 216
query82 446 130 101 101
query83 251 247 225 225
query84 251 111 88 88
query85 806 348 312 312
query86 387 312 278 278
query87 4531 4404 4287 4287
query88 3784 2319 2296 2296
query89 384 325 276 276
query90 1886 214 212 212
query91 141 145 109 109
query92 76 62 55 55
query93 2050 923 571 571
query94 672 414 349 349
query95 369 283 280 280
query96 494 581 283 283
query97 2717 2810 2624 2624
query98 234 213 204 204
query99 1479 1378 1249 1249
Total cold run time: 275338 ms
Total hot run time: 185061 ms
ClickBench: Total hot run time: 29.27 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit d980d20f3680dcd0113ad2f5cfa87989f0d41f19, data reload: false
query1 0.03 0.03 0.03
query2 0.13 0.10 0.11
query3 0.26 0.19 0.19
query4 1.59 0.19 0.11
query5 0.45 0.41 0.43
query6 1.18 0.66 0.66
query7 0.02 0.02 0.02
query8 0.05 0.03 0.04
query9 0.58 0.52 0.50
query10 0.57 0.58 0.56
query11 0.16 0.11 0.11
query12 0.15 0.12 0.12
query13 0.62 0.61 0.60
query14 0.79 0.81 0.82
query15 0.87 0.86 0.86
query16 0.38 0.39 0.37
query17 1.03 1.08 1.05
query18 0.24 0.21 0.21
query19 1.86 1.92 1.79
query20 0.02 0.01 0.01
query21 15.41 0.93 0.57
query22 0.77 1.04 0.64
query23 15.14 1.38 0.62
query24 6.98 1.95 0.93
query25 0.45 0.16 0.11
query26 0.69 0.16 0.14
query27 0.05 0.06 0.05
query28 9.64 0.90 0.48
query29 12.54 4.00 3.40
query30 0.26 0.10 0.06
query31 2.81 0.59 0.38
query32 3.23 0.55 0.47
query33 3.03 3.13 3.10
query34 16.26 5.13 4.48
query35 4.52 4.53 4.49
query36 0.66 0.50 0.48
query37 0.09 0.06 0.06
query38 0.05 0.04 0.04
query39 0.04 0.03 0.03
query40 0.16 0.14 0.13
query41 0.08 0.02 0.02
query42 0.04 0.03 0.02
query43 0.04 0.03 0.03
Total cold run time: 103.92 s
Total hot run time: 29.27 s
TPC-H: Total hot run time: 33593 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit a0d3874b3d37fbf14832bf6afbe22dd453fd6dfa, data reload: false
------ Round 1 ----------------------------------
q1 26242 5066 4953 4953
q2 1959 269 186 186
q3 10275 1253 708 708
q4 10219 995 511 511
q5 7553 2383 2307 2307
q6 179 166 133 133
q7 920 729 612 612
q8 9310 1322 1058 1058
q9 6818 5093 4977 4977
q10 6812 2326 1910 1910
q11 476 293 268 268
q12 334 361 217 217
q13 17785 3643 3127 3127
q14 225 226 206 206
q15 540 486 486 486
q16 431 443 365 365
q17 569 850 358 358
q18 7674 7194 7090 7090
q19 1213 973 580 580
q20 339 340 225 225
q21 3784 3146 2349 2349
q22 1044 1020 967 967
Total cold run time: 114701 ms
Total hot run time: 33593 ms
----- Round 2, with runtime_filter_mode=off -----
q1 5050 5061 5024 5024
q2 232 320 217 217
q3 2176 2665 2287 2287
q4 1376 1772 1393 1393
q5 4474 4442 4387 4387
q6 210 169 131 131
q7 2015 1916 1760 1760
q8 2590 2581 2506 2506
q9 7182 7065 7093 7065
q10 2999 3197 2756 2756
q11 572 513 484 484
q12 651 789 633 633
q13 3450 3912 3179 3179
q14 291 286 270 270
q15 521 487 467 467
q16 447 494 441 441
q17 1149 1611 1329 1329
q18 7876 7538 7255 7255
q19 779 750 835 750
q20 1976 2046 1941 1941
q21 4912 4447 4149 4149
q22 1071 1018 988 988
Total cold run time: 51999 ms
Total hot run time: 49412 ms
TPC-DS: Total hot run time: 185721 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit a0d3874b3d37fbf14832bf6afbe22dd453fd6dfa, data reload: false
query1 1003 491 490 490
query2 6575 1781 1749 1749
query3 6762 233 230 230
query4 26325 23230 22943 22943
query5 4353 613 450 450
query6 326 214 189 189
query7 4621 482 286 286
query8 260 215 216 215
query9 8608 2654 2657 2654
query10 473 335 291 291
query11 15650 15164 14828 14828
query12 163 110 106 106
query13 1664 535 435 435
query14 8760 6054 6134 6054
query15 193 187 175 175
query16 7126 658 491 491
query17 957 723 577 577
query18 1958 421 310 310
query19 195 184 172 172
query20 129 128 120 120
query21 220 129 111 111
query22 4185 4184 4236 4184
query23 33952 33047 33259 33047
query24 8477 2411 2365 2365
query25 583 461 386 386
query26 1244 266 152 152
query27 2764 497 338 338
query28 4326 2141 2121 2121
query29 773 550 432 432
query30 284 231 196 196
query31 901 844 760 760
query32 73 63 65 63
query33 572 409 319 319
query34 815 868 526 526
query35 789 787 738 738
query36 955 979 895 895
query37 106 102 76 76
query38 4215 4251 4075 4075
query39 1448 1416 1390 1390
query40 212 122 109 109
query41 64 77 58 58
query42 130 113 109 109
query43 488 494 458 458
query44 1296 813 819 813
query45 189 185 173 173
query46 841 1019 627 627
query47 1775 1828 1754 1754
query48 400 431 307 307
query49 736 501 393 393
query50 658 672 409 409
query51 4150 4271 4048 4048
query52 112 107 101 101
query53 219 256 184 184
query54 581 579 508 508
query55 85 86 83 83
query56 303 311 296 296
query57 1128 1137 1060 1060
query58 267 259 248 248
query59 2561 2609 2482 2482
query60 338 315 309 309
query61 133 133 136 133
query62 807 752 691 691
query63 223 185 189 185
query64 4386 993 658 658
query65 4242 4115 4125 4115
query66 1150 409 317 317
query67 15787 15497 15502 15497
query68 8200 899 524 524
query69 481 303 261 261
query70 1214 1127 1093 1093
query71 524 317 301 301
query72 5621 4746 4897 4746
query73 743 661 352 352
query74 8915 9155 9096 9096
query75 3897 3193 2722 2722
query76 3750 1207 750 750
query77 788 371 297 297
query78 9901 10199 9327 9327
query79 1990 833 621 621
query80 579 518 437 437
query81 467 262 220 220
query82 415 127 95 95
query83 266 246 239 239
query84 289 120 94 94
query85 778 346 318 318
query86 334 314 292 292
query87 4346 4499 4353 4353
query88 3427 2285 2263 2263
query89 381 316 280 280
query90 1941 209 213 209
query91 141 141 111 111
query92 79 64 59 59
query93 1129 949 580 580
query94 674 411 310 310
query95 385 286 288 286
query96 499 572 279 279
query97 2695 2743 2652 2652
query98 232 225 210 210
query99 1422 1375 1280 1280
Total cold run time: 272547 ms
Total hot run time: 185721 ms
ClickBench: Total hot run time: 28.39 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit a0d3874b3d37fbf14832bf6afbe22dd453fd6dfa, data reload: false
query1 0.04 0.04 0.03
query2 0.12 0.10 0.11
query3 0.26 0.19 0.20
query4 1.59 0.19 0.11
query5 0.45 0.42 0.42
query6 1.17 0.66 0.66
query7 0.02 0.02 0.01
query8 0.05 0.04 0.03
query9 0.58 0.53 0.52
query10 0.56 0.59 0.57
query11 0.15 0.11 0.11
query12 0.15 0.11 0.12
query13 0.62 0.61 0.59
query14 0.78 0.81 0.83
query15 0.86 0.84 0.85
query16 0.39 0.39 0.37
query17 0.99 1.02 1.03
query18 0.22 0.21 0.20
query19 1.92 1.77 1.79
query20 0.01 0.02 0.01
query21 15.39 0.90 0.54
query22 0.75 1.18 0.64
query23 14.99 1.39 0.62
query24 7.24 1.67 0.31
query25 0.30 0.11 0.14
query26 0.66 0.16 0.14
query27 0.06 0.05 0.06
query28 9.12 0.92 0.45
query29 12.57 4.01 3.30
query30 0.26 0.09 0.07
query31 2.83 0.59 0.39
query32 3.24 0.55 0.47
query33 2.99 3.05 3.11
query34 15.86 5.11 4.49
query35 4.46 4.53 4.49
query36 0.67 0.49 0.48
query37 0.08 0.06 0.07
query38 0.06 0.04 0.03
query39 0.03 0.03 0.03
query40 0.17 0.15 0.13
query41 0.08 0.03 0.02
query42 0.04 0.03 0.02
query43 0.04 0.03 0.03
Total cold run time: 102.82 s
Total hot run time: 28.39 s
TPC-H: Total hot run time: 34179 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 4400b521ee268a9bf94c506d83ac692d4519bffe, data reload: false
------ Round 1 ----------------------------------
q1 27103 5025 5010 5010
q2 1972 280 189 189
q3 10274 1273 700 700
q4 10227 999 511 511
q5 7541 2366 2388 2366
q6 178 161 133 133
q7 899 731 599 599
q8 9328 1284 1122 1122
q9 7059 5084 5142 5084
q10 6834 2331 1902 1902
q11 490 304 281 281
q12 356 355 216 216
q13 17781 3707 3148 3148
q14 238 244 217 217
q15 553 485 473 473
q16 437 446 378 378
q17 628 877 368 368
q18 7605 7339 7373 7339
q19 1224 967 581 581
q20 343 346 242 242
q21 3758 3195 2354 2354
q22 1067 1004 966 966
Total cold run time: 115895 ms
Total hot run time: 34179 ms
----- Round 2, with runtime_filter_mode=off -----
q1 5105 5066 5065 5065
q2 238 312 221 221
q3 2179 2658 2327 2327
q4 1348 1774 1418 1418
q5 4534 4426 4391 4391
q6 213 168 130 130
q7 2011 1925 1745 1745
q8 2589 2590 2532 2532
q9 7166 7195 7240 7195
q10 3001 3192 2771 2771
q11 592 507 494 494
q12 717 784 617 617
q13 3502 3872 3345 3345
q14 289 290 276 276
q15 540 471 474 471
q16 428 496 446 446
q17 1154 1512 1412 1412
q18 7824 7458 7509 7458
q19 847 800 936 800
q20 1962 2067 1889 1889
q21 4865 4330 4239 4239
q22 1047 1022 993 993
Total cold run time: 52151 ms
Total hot run time: 50235 ms
TPC-DS: Total hot run time: 186596 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 4400b521ee268a9bf94c506d83ac692d4519bffe, data reload: false
query1 1037 473 474 473
query2 6572 1893 1860 1860
query3 6766 232 217 217
query4 26282 23597 23304 23304
query5 4364 641 469 469
query6 313 209 202 202
query7 4634 505 291 291
query8 269 244 223 223
query9 8614 2640 2655 2640
query10 473 347 289 289
query11 15801 15042 14859 14859
query12 172 110 104 104
query13 1666 548 421 421
query14 9690 6353 6250 6250
query15 214 201 180 180
query16 7360 628 438 438
query17 1174 689 556 556
query18 1967 417 297 297
query19 186 180 168 168
query20 123 119 112 112
query21 211 120 104 104
query22 4060 4115 4151 4115
query23 33965 33047 33226 33047
query24 8489 2425 2403 2403
query25 544 452 402 402
query26 1227 269 152 152
query27 2749 503 342 342
query28 4290 2141 2126 2126
query29 773 552 436 436
query30 287 216 191 191
query31 956 834 770 770
query32 74 64 64 64
query33 563 373 335 335
query34 817 847 558 558
query35 783 837 737 737
query36 949 986 903 903
query37 113 98 80 80
query38 4108 4283 4101 4101
query39 1641 1450 1396 1396
query40 239 125 108 108
query41 62 64 61 61
query42 127 109 105 105
query43 503 524 494 494
query44 1334 836 827 827
query45 178 177 175 175
query46 848 1026 629 629
query47 1738 1788 1754 1754
query48 398 423 323 323
query49 750 482 389 389
query50 661 678 412 412
query51 4222 4151 4063 4063
query52 110 109 108 108
query53 237 265 186 186
query54 579 580 531 531
query55 87 83 85 83
query56 335 324 296 296
query57 1125 1149 1067 1067
query58 284 271 264 264
query59 2617 2738 2631 2631
query60 327 323 309 309
query61 129 128 129 128
query62 833 723 641 641
query63 241 203 195 195
query64 4449 1108 777 777
query65 4243 4150 4207 4150
query66 1160 431 369 369
query67 16000 15660 15358 15358
query68 8474 951 533 533
query69 466 300 270 270
query70 1162 1138 1140 1138
query71 464 337 321 321
query72 5698 4639 4596 4596
query73 698 567 357 357
query74 9266 9268 8789 8789
query75 3944 3225 2735 2735
query76 3748 1195 768 768
query77 784 393 302 302
query78 10119 10134 9397 9397
query79 2512 829 596 596
query80 619 522 500 500
query81 472 253 227 227
query82 461 128 99 99
query83 292 259 248 248
query84 306 116 94 94
query85 822 378 323 323
query86 384 315 302 302
query87 4387 4463 4403 4403
query88 3601 2329 2305 2305
query89 380 329 288 288
query90 1876 216 228 216
query91 148 146 111 111
query92 85 74 59 59
query93 1813 985 590 590
query94 676 425 317 317
query95 388 304 287 287
query96 524 574 284 284
query97 2744 2788 2630 2630
query98 243 206 208 206
query99 1460 1397 1257 1257
Total cold run time: 277108 ms
Total hot run time: 186596 ms
ClickBench: Total hot run time: 29.29 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 4400b521ee268a9bf94c506d83ac692d4519bffe, data reload: false
query1 0.04 0.04 0.03
query2 0.12 0.10 0.11
query3 0.26 0.19 0.20
query4 1.60 0.19 0.11
query5 0.45 0.42 0.43
query6 1.17 0.67 0.66
query7 0.02 0.02 0.01
query8 0.04 0.04 0.04
query9 0.60 0.52 0.52
query10 0.58 0.60 0.57
query11 0.16 0.11 0.11
query12 0.16 0.11 0.12
query13 0.62 0.60 0.59
query14 0.79 0.82 0.81
query15 0.90 0.87 0.88
query16 0.41 0.40 0.38
query17 1.09 1.05 1.06
query18 0.23 0.21 0.21
query19 2.01 1.86 1.83
query20 0.01 0.01 0.02
query21 15.42 0.89 0.54
query22 0.77 1.18 0.81
query23 14.77 1.40 0.66
query24 7.44 1.38 0.83
query25 0.53 0.08 0.09
query26 0.62 0.16 0.15
query27 0.05 0.06 0.05
query28 10.10 0.90 0.47
query29 12.56 4.01 3.38
query30 0.25 0.10 0.06
query31 2.84 0.60 0.40
query32 3.23 0.55 0.47
query33 3.09 3.04 3.12
query34 15.83 5.16 4.47
query35 4.53 4.56 4.46
query36 0.68 0.50 0.49
query37 0.08 0.06 0.06
query38 0.05 0.04 0.03
query39 0.03 0.03 0.02
query40 0.18 0.14 0.12
query41 0.07 0.03 0.03
query42 0.03 0.02 0.02
query43 0.04 0.03 0.04
Total cold run time: 104.45 s
Total hot run time: 29.29 s
FE UT Coverage Report
Increment line coverage 24.85% (85/342) :tada:
Increment coverage report
Complete coverage report
TPC-H: Total hot run time: 33825 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 04e8f91a128aa518d59ba1fcc982a62542144d65, data reload: false
------ Round 1 ----------------------------------
q1 25764 4978 5051 4978
q2 1933 285 183 183
q3 10280 1222 707 707
q4 10229 985 539 539
q5 7475 2317 2326 2317
q6 178 167 131 131
q7 914 705 623 623
q8 9307 1351 1076 1076
q9 6853 5170 5080 5080
q10 6873 2291 1885 1885
q11 509 297 285 285
q12 342 349 221 221
q13 17791 3656 3231 3231
q14 231 233 225 225
q15 566 482 486 482
q16 431 427 379 379
q17 582 847 365 365
q18 7354 7064 7084 7064
q19 1597 957 555 555
q20 320 340 217 217
q21 3740 3144 2325 2325
q22 1023 1062 957 957
Total cold run time: 114292 ms
Total hot run time: 33825 ms
----- Round 2, with runtime_filter_mode=off -----
q1 5129 5054 5069 5054
q2 236 313 220 220
q3 2122 2624 2250 2250
q4 1340 1796 1331 1331
q5 4363 4337 4427 4337
q6 220 167 132 132
q7 1961 1916 1755 1755
q8 2610 2540 2544 2540
q9 7174 7114 7006 7006
q10 3005 3210 2781 2781
q11 569 532 507 507
q12 649 771 585 585
q13 3506 3936 3289 3289
q14 297 300 282 282
q15 528 476 490 476
q16 473 503 430 430
q17 1136 1467 1397 1397
q18 7705 7477 7396 7396
q19 813 808 870 808
q20 1958 2149 1865 1865
q21 4786 4466 4400 4400
q22 1133 1072 1017 1017
Total cold run time: 51713 ms
Total hot run time: 49858 ms
TPC-DS: Total hot run time: 192933 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 04e8f91a128aa518d59ba1fcc982a62542144d65, data reload: false
query1 1430 1099 1069 1069
query2 6227 1781 1802 1781
query3 11187 4663 4661 4661
query4 25755 23569 23561 23561
query5 4400 646 463 463
query6 309 221 208 208
query7 4003 505 298 298
query8 280 233 216 216
query9 8517 2604 2649 2604
query10 465 332 278 278
query11 15189 15104 14773 14773
query12 160 105 106 105
query13 1553 526 386 386
query14 8809 6183 6280 6183
query15 203 193 168 168
query16 7193 682 462 462
query17 1167 698 547 547
query18 2005 425 365 365
query19 188 193 167 167
query20 128 121 117 117
query21 206 136 116 116
query22 4247 4384 4282 4282
query23 34663 33792 33543 33543
query24 8590 2513 2459 2459
query25 548 481 418 418
query26 1305 285 162 162
query27 2870 512 355 355
query28 4699 2182 2177 2177
query29 744 585 457 457
query30 275 221 197 197
query31 925 868 773 773
query32 74 63 65 63
query33 566 371 316 316
query34 848 863 570 570
query35 773 824 751 751
query36 974 1017 929 929
query37 120 111 84 84
query38 4264 4229 4193 4193
query39 1520 1462 1484 1462
query40 235 124 111 111
query41 64 57 59 57
query42 129 111 110 110
query43 509 521 485 485
query44 1361 849 880 849
query45 181 177 167 167
query46 856 1033 653 653
query47 1816 1852 1810 1810
query48 383 439 320 320
query49 728 476 404 404
query50 717 717 424 424
query51 4223 4224 4264 4224
query52 115 110 108 108
query53 251 270 187 187
query54 592 605 526 526
query55 94 85 82 82
query56 322 300 323 300
query57 1163 1227 1127 1127
query58 286 298 271 271
query59 2640 2766 2677 2677
query60 334 342 313 313
query61 129 115 120 115
query62 752 737 678 678
query63 236 205 199 199
query64 4040 1055 679 679
query65 4470 4310 4283 4283
query66 1044 427 319 319
query67 15700 15779 15370 15370
query68 7729 906 534 534
query69 492 316 290 290
query70 1231 1147 1134 1134
query71 487 327 298 298
query72 5779 4779 4827 4779
query73 693 646 363 363
query74 9197 8875 8648 8648
query75 3231 3214 2710 2710
query76 3183 1335 757 757
query77 483 478 277 277
query78 10036 10156 9438 9438
query79 2079 838 604 604
query80 645 515 453 453
query81 494 253 220 220
query82 188 123 94 94
query83 256 246 229 229
query84 245 108 100 100
query85 756 352 362 352
query86 375 305 273 273
query87 4440 4484 4289 4289
query88 3035 2301 2282 2282
query89 388 315 301 301
query90 1924 214 234 214
query91 149 138 114 114
query92 77 61 59 59
query93 2258 966 594 594
query94 673 421 311 311
query95 380 295 287 287
query96 508 567 287 287
query97 2742 2782 2605 2605
query98 235 208 202 202
query99 1326 1430 1268 1268
Total cold run time: 276463 ms
Total hot run time: 192933 ms
ClickBench: Total hot run time: 28.96 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 04e8f91a128aa518d59ba1fcc982a62542144d65, data reload: false
query1 0.03 0.04 0.04
query2 0.13 0.11 0.10
query3 0.24 0.20 0.20
query4 1.60 0.19 0.20
query5 0.45 0.45 0.44
query6 1.14 0.68 0.66
query7 0.03 0.01 0.02
query8 0.05 0.03 0.03
query9 0.60 0.50 0.50
query10 0.55 0.58 0.56
query11 0.16 0.11 0.11
query12 0.15 0.12 0.12
query13 0.62 0.60 0.60
query14 0.79 0.83 0.82
query15 0.88 0.85 0.88
query16 0.38 0.37 0.40
query17 1.05 1.00 1.05
query18 0.23 0.21 0.21
query19 1.96 1.88 1.88
query20 0.01 0.01 0.02
query21 15.38 0.92 0.54
query22 0.75 1.29 0.81
query23 14.77 1.38 0.62
query24 7.52 2.00 0.36
query25 0.33 0.17 0.14
query26 0.63 0.16 0.15
query27 0.06 0.06 0.05
query28 9.56 0.86 0.47
query29 12.53 4.01 3.35
query30 0.25 0.09 0.07
query31 2.84 0.60 0.38
query32 3.23 0.55 0.47
query33 3.05 3.05 3.10
query34 15.71 5.14 4.48
query35 4.55 4.55 4.53
query36 0.68 0.50 0.49
query37 0.09 0.07 0.06
query38 0.05 0.04 0.03
query39 0.03 0.02 0.04
query40 0.16 0.13 0.12
query41 0.08 0.02 0.02
query42 0.03 0.02 0.02
query43 0.03 0.03 0.03
Total cold run time: 103.36 s
Total hot run time: 28.96 s
TPC-H: Total hot run time: 33773 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 68f4fb97ce83deb21de666453cca780098ffd540, data reload: false
------ Round 1 ----------------------------------
q1 17638 5122 4942 4942
q2 1937 278 166 166
q3 10334 1254 767 767
q4 10340 1021 529 529
q5 9459 2315 2365 2315
q6 194 159 127 127
q7 903 743 605 605
q8 9328 1320 1094 1094
q9 6830 5049 5123 5049
q10 6833 2326 1902 1902
q11 500 289 279 279
q12 344 344 211 211
q13 17789 3664 3073 3073
q14 227 223 209 209
q15 568 477 485 477
q16 433 425 373 373
q17 608 858 371 371
q18 7343 7142 7335 7142
q19 1261 951 553 553
q20 343 333 230 230
q21 4219 2553 2383 2383
q22 1094 1038 976 976
Total cold run time: 108525 ms
Total hot run time: 33773 ms
----- Round 2, with runtime_filter_mode=off -----
q1 5061 5015 5025 5015
q2 244 322 228 228
q3 2223 2732 2369 2369
q4 1413 1791 1381 1381
q5 4224 4156 4323 4156
q6 211 173 131 131
q7 2021 1898 1790 1790
q8 2546 2582 2525 2525
q9 7220 7221 7372 7221
q10 3002 3114 2811 2811
q11 574 539 491 491
q12 693 765 611 611
q13 3521 3923 3262 3262
q14 270 293 267 267
q15 558 493 508 493
q16 452 506 436 436
q17 1128 1593 1321 1321
q18 7782 7603 7477 7477
q19 800 809 833 809
q20 2040 2063 1899 1899
q21 4941 4387 4432 4387
q22 1097 1085 1059 1059
Total cold run time: 52021 ms
Total hot run time: 50139 ms
TPC-DS: Total hot run time: 192737 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 68f4fb97ce83deb21de666453cca780098ffd540, data reload: false
query1 1378 1015 999 999
query2 6253 1812 1755 1755
query3 11002 4576 4518 4518
query4 54953 24776 23730 23730
query5 5058 538 475 475
query6 371 217 207 207
query7 4927 504 295 295
query8 291 230 218 218
query9 6127 2607 2632 2607
query10 443 344 283 283
query11 15021 15005 14808 14808
query12 169 119 113 113
query13 1061 519 427 427
query14 10034 6255 6235 6235
query15 213 209 183 183
query16 7102 631 498 498
query17 1087 737 614 614
query18 1572 424 336 336
query19 213 230 181 181
query20 139 120 121 120
query21 209 136 147 136
query22 4368 4329 4242 4242
query23 34443 33630 33677 33630
query24 6587 2395 2462 2395
query25 467 467 408 408
query26 711 284 153 153
query27 2253 503 345 345
query28 3269 2186 2156 2156
query29 590 560 433 433
query30 275 220 207 207
query31 898 848 773 773
query32 70 61 62 61
query33 444 353 324 324
query34 777 884 525 525
query35 804 844 777 777
query36 919 1018 895 895
query37 107 106 73 73
query38 4223 4224 4294 4224
query39 1545 1458 1461 1458
query40 218 127 112 112
query41 65 55 57 55
query42 127 120 114 114
query43 494 513 467 467
query44 1351 843 839 839
query45 179 173 163 163
query46 868 1043 671 671
query47 1844 1870 1825 1825
query48 400 433 316 316
query49 662 487 411 411
query50 657 719 400 400
query51 4229 4268 4260 4260
query52 122 111 101 101
query53 225 257 190 190
query54 576 575 521 521
query55 83 83 84 83
query56 308 296 297 296
query57 1197 1247 1170 1170
query58 269 272 256 256
query59 2671 2791 2641 2641
query60 363 327 307 307
query61 124 127 131 127
query62 740 757 689 689
query63 222 189 199 189
query64 1893 1066 677 677
query65 4188 4181 4199 4181
query66 737 406 318 318
query67 15899 15713 15545 15545
query68 7507 894 532 532
query69 531 302 281 281
query70 1227 1115 1072 1072
query71 508 324 305 305
query72 5720 4709 4833 4709
query73 1307 616 362 362
query74 8983 9192 8652 8652
query75 3798 3169 2684 2684
query76 4315 1196 770 770
query77 620 434 285 285
query78 9859 10353 9365 9365
query79 2763 812 578 578
query80 628 501 447 447
query81 480 251 223 223
query82 222 134 97 97
query83 338 247 234 234
query84 290 103 77 77
query85 757 406 310 310
query86 333 297 273 273
query87 4384 4394 4293 4293
query88 2896 2257 2264 2257
query89 416 327 276 276
query90 2064 206 204 204
query91 138 142 113 113
query92 73 59 52 52
query93 2041 950 598 598
query94 702 412 288 288
query95 368 300 281 281
query96 495 572 273 273
query97 2710 2822 2633 2633
query98 231 213 202 202
query99 1435 1421 1270 1270
Total cold run time: 299223 ms
Total hot run time: 192737 ms
ClickBench: Total hot run time: 28.67 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 68f4fb97ce83deb21de666453cca780098ffd540, data reload: false
query1 0.03 0.03 0.03
query2 0.07 0.04 0.04
query3 0.24 0.07 0.06
query4 1.62 0.10 0.10
query5 0.44 0.43 0.41
query6 1.16 0.64 0.67
query7 0.03 0.02 0.01
query8 0.05 0.04 0.04
query9 0.57 0.52 0.51
query10 0.57 0.59 0.57
query11 0.16 0.11 0.11
query12 0.15 0.12 0.12
query13 0.62 0.61 0.62
query14 0.79 0.80 0.81
query15 0.88 0.87 0.85
query16 0.38 0.38 0.39
query17 1.07 1.07 1.03
query18 0.23 0.21 0.20
query19 1.92 1.86 1.81
query20 0.02 0.01 0.01
query21 15.42 0.92 0.55
query22 0.75 1.17 0.74
query23 14.86 1.37 0.66
query24 6.50 1.58 0.58
query25 0.50 0.24 0.09
query26 0.67 0.16 0.14
query27 0.06 0.05 0.04
query28 9.60 0.89 0.43
query29 12.55 4.02 3.31
query30 0.25 0.09 0.07
query31 2.83 0.58 0.39
query32 3.24 0.55 0.46
query33 3.08 3.10 3.08
query34 15.79 5.06 4.51
query35 4.49 4.54 4.50
query36 0.67 0.49 0.47
query37 0.09 0.06 0.06
query38 0.05 0.04 0.04
query39 0.03 0.02 0.03
query40 0.16 0.14 0.13
query41 0.08 0.02 0.02
query42 0.03 0.03 0.02
query43 0.04 0.03 0.03
Total cold run time: 102.74 s
Total hot run time: 28.67 s