[feature](pipelline)add local merge sort exchaner
Proposed changes
Issue Number: close #xxx
Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR
Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.
run buildall
clang-tidy review says "All clean, LGTM! :+1:"
TPC-H: Total hot run time: 41494 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 6a8497c0f4cf4e95c2460fca147ebf837bcff0bf, data reload: false
------ Round 1 ----------------------------------
q1 17615 4324 4283 4283
q2 2041 198 192 192
q3 10443 1266 1234 1234
q4 10188 777 848 777
q5 7479 2710 2737 2710
q6 228 136 135 135
q7 961 620 596 596
q8 9242 2108 2106 2106
q9 9241 6721 6716 6716
q10 9669 3851 3962 3851
q11 460 247 236 236
q12 510 221 225 221
q13 17295 3300 3194 3194
q14 274 229 226 226
q15 536 486 479 479
q16 500 411 401 401
q17 995 739 678 678
q18 8368 7809 7903 7809
q19 8589 1638 1607 1607
q20 656 325 324 324
q21 5177 3383 4043 3383
q22 406 336 345 336
Total cold run time: 120873 ms
Total hot run time: 41494 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4544 4426 4449 4426
q2 382 269 262 262
q3 3139 2930 2894 2894
q4 1950 1731 1636 1636
q5 5307 5505 5520 5505
q6 217 127 126 126
q7 2194 1803 1803 1803
q8 3221 3371 3364 3364
q9 8644 8601 8631 8601
q10 4078 3881 3741 3741
q11 584 480 477 477
q12 771 608 625 608
q13 17152 3169 3147 3147
q14 297 268 278 268
q15 536 496 488 488
q16 500 429 437 429
q17 1832 1535 1494 1494
q18 7837 7468 7455 7455
q19 1669 1569 1499 1499
q20 2017 1768 1799 1768
q21 5101 4755 4675 4675
q22 612 514 522 514
Total cold run time: 72584 ms
Total hot run time: 55180 ms
TeamCity be ut coverage result: Function Coverage: 36.27% (9231/25454) Line Coverage: 27.62% (75704/274078) Region Coverage: 26.84% (39203/146051) Branch Coverage: 23.59% (19893/84320) Coverage Report: http://coverage.selectdb-in.cc/coverage/6a8497c0f4cf4e95c2460fca147ebf837bcff0bf_6a8497c0f4cf4e95c2460fca147ebf837bcff0bf/report/index.html
TPC-DS: Total hot run time: 170251 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 6a8497c0f4cf4e95c2460fca147ebf837bcff0bf, data reload: false
query1 922 380 374 374
query2 7725 2464 2510 2464
query3 6639 209 204 204
query4 19762 17551 17424 17424
query5 4119 414 423 414
query6 242 155 148 148
query7 4586 302 290 290
query8 305 283 286 283
query9 8779 2381 2344 2344
query10 452 270 255 255
query11 10550 10054 10150 10054
query12 141 91 93 91
query13 1634 377 369 369
query14 9483 7539 7515 7515
query15 235 190 190 190
query16 7900 266 260 260
query17 1777 523 537 523
query18 2045 270 269 269
query19 237 161 152 152
query20 99 91 86 86
query21 199 138 127 127
query22 4279 4065 3967 3967
query23 33315 33099 32950 32950
query24 6921 2892 2873 2873
query25 553 374 356 356
query26 700 155 156 155
query27 1983 319 322 319
query28 4360 2052 2064 2052
query29 864 626 596 596
query30 243 151 150 150
query31 969 780 753 753
query32 85 53 56 53
query33 485 265 260 260
query34 848 465 459 459
query35 720 599 602 599
query36 1042 923 914 914
query37 100 66 65 65
query38 2967 2797 2783 2783
query39 862 792 781 781
query40 200 132 127 127
query41 58 50 53 50
query42 105 98 98 98
query43 567 573 560 560
query44 1097 718 729 718
query45 188 173 172 172
query46 1061 699 712 699
query47 1870 1793 1810 1793
query48 375 301 288 288
query49 845 380 378 378
query50 769 373 381 373
query51 6789 6691 6638 6638
query52 103 92 93 92
query53 372 290 280 280
query54 525 426 446 426
query55 73 71 70 70
query56 253 235 248 235
query57 1110 1051 1046 1046
query58 223 205 205 205
query59 3555 3353 3319 3319
query60 269 258 257 257
query61 88 85 85 85
query62 605 469 433 433
query63 315 287 281 281
query64 8453 2221 1702 1702
query65 3138 3068 3151 3068
query66 789 320 327 320
query67 15343 14774 14784 14774
query68 4578 538 539 538
query69 446 271 275 271
query70 1171 1110 1140 1110
query71 372 273 269 269
query72 7490 2698 2530 2530
query73 709 320 318 318
query74 6016 5708 5636 5636
query75 3328 2637 2664 2637
query76 2248 947 988 947
query77 382 259 261 259
query78 10121 9971 9802 9802
query79 2028 504 511 504
query80 1115 429 431 429
query81 533 229 219 219
query82 643 94 88 88
query83 246 168 177 168
query84 233 82 87 82
query85 1673 266 301 266
query86 486 315 320 315
query87 3346 3093 3134 3093
query88 4014 2361 2332 2332
query89 474 381 377 377
query90 2047 182 182 182
query91 128 95 167 95
query92 64 51 53 51
query93 2720 507 492 492
query94 1200 193 183 183
query95 412 311 314 311
query96 588 263 263 263
query97 3153 3021 3061 3021
query98 241 221 216 216
query99 1139 839 853 839
Total cold run time: 261609 ms
Total hot run time: 170251 ms
ClickBench: Total hot run time: 31.13 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 6a8497c0f4cf4e95c2460fca147ebf837bcff0bf, data reload: false
query1 0.04 0.03 0.03
query2 0.07 0.04 0.04
query3 0.23 0.04 0.04
query4 1.69 0.07 0.08
query5 0.50 0.49 0.48
query6 1.12 0.71 0.72
query7 0.03 0.02 0.02
query8 0.06 0.05 0.05
query9 0.54 0.49 0.48
query10 0.54 0.54 0.56
query11 0.14 0.11 0.11
query12 0.14 0.12 0.12
query13 0.59 0.59 0.62
query14 0.76 0.77 0.79
query15 0.82 0.79 0.80
query16 0.37 0.36 0.35
query17 0.97 1.00 1.00
query18 0.23 0.25 0.26
query19 1.77 1.80 1.81
query20 0.01 0.01 0.02
query21 15.53 0.67 0.67
query22 3.97 6.74 2.54
query23 18.24 1.35 1.24
query24 1.50 0.26 0.25
query25 0.16 0.08 0.09
query26 0.26 0.17 0.17
query27 0.08 0.07 0.07
query28 13.53 1.00 0.99
query29 13.72 3.22 3.26
query30 0.23 0.05 0.06
query31 2.86 0.38 0.39
query32 3.29 0.47 0.46
query33 2.83 2.98 2.87
query34 16.97 4.40 4.43
query35 4.58 4.45 4.63
query36 0.65 0.46 0.50
query37 0.18 0.16 0.15
query38 0.15 0.14 0.14
query39 0.04 0.04 0.04
query40 0.16 0.14 0.15
query41 0.09 0.05 0.04
query42 0.06 0.04 0.04
query43 0.04 0.03 0.04
Total cold run time: 109.74 s
Total hot run time: 31.13 s
run buildall
clang-tidy review says "All clean, LGTM! :+1:"
TPC-H: Total hot run time: 40371 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit bcaa1891371dfe37bd5ef58cc1875210416a787f, data reload: false
------ Round 1 ----------------------------------
q1 17894 4735 4370 4370
q2 2716 201 193 193
q3 10848 1203 1265 1203
q4 10527 768 837 768
q5 7803 2745 2667 2667
q6 225 135 142 135
q7 972 623 607 607
q8 9584 2098 2124 2098
q9 9097 6497 6515 6497
q10 9048 3697 3759 3697
q11 473 256 237 237
q12 482 227 236 227
q13 17776 3000 2998 2998
q14 272 227 223 223
q15 526 483 470 470
q16 504 400 389 389
q17 978 695 678 678
q18 8085 7471 7510 7471
q19 7422 1627 1597 1597
q20 657 320 318 318
q21 4887 3197 3904 3197
q22 388 331 335 331
Total cold run time: 121164 ms
Total hot run time: 40371 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4379 4235 4256 4235
q2 377 261 274 261
q3 2962 2782 2727 2727
q4 1893 1600 1607 1600
q5 5279 5312 5325 5312
q6 214 129 130 129
q7 2158 1739 1763 1739
q8 3265 3347 3312 3312
q9 8394 8340 8374 8340
q10 3919 3689 3735 3689
q11 581 485 501 485
q12 798 616 583 583
q13 16322 3030 2978 2978
q14 292 268 250 250
q15 511 475 473 473
q16 477 426 408 408
q17 1783 1480 1475 1475
q18 7724 7482 7284 7284
q19 1676 1593 1561 1561
q20 1985 1786 1799 1786
q21 8511 4779 4790 4779
q22 606 529 528 528
Total cold run time: 74106 ms
Total hot run time: 53934 ms
TeamCity be ut coverage result: Function Coverage: 36.27% (9232/25457) Line Coverage: 27.62% (75707/274099) Region Coverage: 26.83% (39195/146064) Branch Coverage: 23.59% (19892/84326) Coverage Report: http://coverage.selectdb-in.cc/coverage/bcaa1891371dfe37bd5ef58cc1875210416a787f_bcaa1891371dfe37bd5ef58cc1875210416a787f/report/index.html
TPC-DS: Total hot run time: 172752 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit bcaa1891371dfe37bd5ef58cc1875210416a787f, data reload: false
query1 934 382 379 379
query2 6462 2483 2451 2451
query3 6663 207 207 207
query4 19096 17303 17335 17303
query5 4126 427 435 427
query6 247 162 160 160
query7 4599 312 295 295
query8 342 296 286 286
query9 8473 2379 2385 2379
query10 449 272 271 271
query11 10469 10055 10041 10041
query12 143 91 89 89
query13 1648 367 362 362
query14 10096 7666 6813 6813
query15 261 189 193 189
query16 8129 266 266 266
query17 1834 536 525 525
query18 2026 270 276 270
query19 201 184 156 156
query20 92 90 89 89
query21 195 130 131 130
query22 4294 4007 3879 3879
query23 33660 33068 33002 33002
query24 12008 2851 2822 2822
query25 643 356 361 356
query26 1737 155 153 153
query27 3012 317 337 317
query28 7594 2028 2080 2028
query29 1006 634 603 603
query30 296 151 151 151
query31 986 759 751 751
query32 97 56 63 56
query33 766 280 267 267
query34 1037 482 486 482
query35 762 632 593 593
query36 1076 923 913 913
query37 280 68 68 68
query38 2937 2820 2777 2777
query39 862 807 814 807
query40 275 127 123 123
query41 55 52 52 52
query42 103 93 97 93
query43 617 584 576 576
query44 1237 725 764 725
query45 187 170 170 170
query46 1080 730 733 730
query47 1825 1766 1786 1766
query48 365 294 307 294
query49 1187 383 385 383
query50 774 399 397 397
query51 6879 6837 6780 6780
query52 103 93 90 90
query53 356 293 283 283
query54 988 436 439 436
query55 76 79 73 73
query56 257 242 249 242
query57 1124 1022 1021 1021
query58 258 212 205 205
query59 3429 3264 3261 3261
query60 304 255 261 255
query61 94 89 89 89
query62 647 448 446 446
query63 308 304 291 291
query64 9811 2206 1798 1798
query65 3198 3127 3124 3124
query66 1366 334 331 331
query67 15019 14829 14879 14829
query68 4541 538 543 538
query69 450 270 270 270
query70 1146 1082 1116 1082
query71 414 271 277 271
query72 7549 5869 5280 5280
query73 745 329 322 322
query74 5911 5799 5603 5603
query75 3605 2654 2607 2607
query76 2988 998 1057 998
query77 403 291 274 274
query78 10132 9995 9880 9880
query79 2627 517 508 508
query80 1142 441 454 441
query81 527 225 221 221
query82 733 97 91 91
query83 244 173 170 170
query84 293 86 87 86
query85 1493 278 274 274
query86 455 315 318 315
query87 3307 3146 3126 3126
query88 4244 2362 2355 2355
query89 488 396 389 389
query90 1968 192 184 184
query91 123 100 96 96
query92 57 48 50 48
query93 1828 521 499 499
query94 1162 191 188 188
query95 398 311 311 311
query96 587 262 264 262
query97 3226 3046 3035 3035
query98 235 212 220 212
query99 1114 840 845 840
Total cold run time: 275595 ms
Total hot run time: 172752 ms
ClickBench: Total hot run time: 30.6 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit bcaa1891371dfe37bd5ef58cc1875210416a787f, data reload: false
query1 0.04 0.04 0.03
query2 0.08 0.04 0.04
query3 0.23 0.04 0.05
query4 1.67 0.07 0.07
query5 0.52 0.47 0.51
query6 1.12 0.72 0.72
query7 0.02 0.02 0.02
query8 0.05 0.04 0.04
query9 0.54 0.50 0.50
query10 0.54 0.55 0.55
query11 0.15 0.12 0.11
query12 0.15 0.12 0.12
query13 0.59 0.60 0.59
query14 0.80 0.78 0.78
query15 0.82 0.81 0.82
query16 0.36 0.37 0.37
query17 0.97 0.98 0.97
query18 0.22 0.26 0.23
query19 1.78 1.70 1.81
query20 0.02 0.01 0.01
query21 15.48 0.70 0.66
query22 4.79 7.08 1.89
query23 18.29 1.38 1.31
query24 1.86 0.24 0.20
query25 0.15 0.08 0.08
query26 0.28 0.17 0.17
query27 0.09 0.09 0.07
query28 13.35 1.02 0.99
query29 13.17 3.31 3.25
query30 0.24 0.06 0.06
query31 2.89 0.39 0.38
query32 3.28 0.48 0.47
query33 2.86 2.95 2.94
query34 17.08 4.42 4.48
query35 4.51 4.48 4.51
query36 0.65 0.46 0.49
query37 0.18 0.17 0.15
query38 0.15 0.14 0.14
query39 0.05 0.04 0.04
query40 0.18 0.14 0.14
query41 0.10 0.05 0.05
query42 0.06 0.05 0.05
query43 0.05 0.03 0.04
Total cold run time: 110.41 s
Total hot run time: 30.6 s
run buildall
clang-tidy review says "All clean, LGTM! :+1:"
TPC-H: Total hot run time: 40938 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 36916ade15e7de8ab38f2098725f429bc23f92b7, data reload: false
------ Round 1 ----------------------------------
q1 17721 4369 4306 4306
q2 2036 196 200 196
q3 10511 1232 1173 1173
q4 10164 857 796 796
q5 7476 2699 2670 2670
q6 217 135 138 135
q7 970 624 605 605
q8 9230 2094 2085 2085
q9 9076 6532 6477 6477
q10 9020 3714 3746 3714
q11 464 260 249 249
q12 443 235 234 234
q13 17778 3034 3015 3015
q14 252 224 232 224
q15 531 487 479 479
q16 516 384 394 384
q17 971 710 743 710
q18 8219 7443 7496 7443
q19 1692 1565 1511 1511
q20 664 310 320 310
q21 5090 3941 3889 3889
q22 390 333 342 333
Total cold run time: 113431 ms
Total hot run time: 40938 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4256 4236 4216 4216
q2 372 263 265 263
q3 2972 2766 2769 2766
q4 1916 1650 1615 1615
q5 5299 5312 5314 5312
q6 217 127 131 127
q7 2199 1755 1783 1755
q8 3201 3360 3336 3336
q9 8368 8400 8342 8342
q10 3871 3736 3697 3697
q11 584 488 524 488
q12 751 625 607 607
q13 16509 2982 2993 2982
q14 306 267 287 267
q15 522 473 474 473
q16 450 422 439 422
q17 1782 1476 1452 1452
q18 7598 7476 7361 7361
q19 1691 1501 1553 1501
q20 1979 1786 1765 1765
q21 4807 4742 4717 4717
q22 613 540 538 538
Total cold run time: 70263 ms
Total hot run time: 54002 ms
TeamCity be ut coverage result: Function Coverage: 36.26% (9231/25456) Line Coverage: 27.62% (75703/274098) Region Coverage: 26.84% (39200/146058) Branch Coverage: 23.60% (19896/84322) Coverage Report: http://coverage.selectdb-in.cc/coverage/36916ade15e7de8ab38f2098725f429bc23f92b7_36916ade15e7de8ab38f2098725f429bc23f92b7/report/index.html
TPC-DS: Total hot run time: 172906 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 36916ade15e7de8ab38f2098725f429bc23f92b7, data reload: false
query1 938 386 375 375
query2 6812 2285 2346 2285
query3 6663 210 214 210
query4 19191 17286 17077 17077
query5 4156 417 439 417
query6 261 173 157 157
query7 4592 299 288 288
query8 322 287 294 287
query9 8561 2431 2425 2425
query10 461 290 277 277
query11 10653 10021 9978 9978
query12 142 87 88 87
query13 1656 360 363 360
query14 9513 7752 7309 7309
query15 233 194 182 182
query16 7866 262 282 262
query17 1807 531 514 514
query18 1971 275 278 275
query19 203 155 158 155
query20 96 85 85 85
query21 208 128 129 128
query22 4106 3913 3973 3913
query23 33598 32986 33055 32986
query24 10794 2871 2839 2839
query25 572 376 367 367
query26 711 154 156 154
query27 2247 315 329 315
query28 5755 2108 2123 2108
query29 881 603 615 603
query30 262 151 151 151
query31 1014 755 739 739
query32 91 53 56 53
query33 683 274 271 271
query34 873 493 482 482
query35 696 607 614 607
query36 1056 909 922 909
query37 107 71 66 66
query38 2923 2753 2768 2753
query39 841 808 835 808
query40 207 125 125 125
query41 54 55 50 50
query42 107 99 99 99
query43 587 551 524 524
query44 1103 751 769 751
query45 185 174 174 174
query46 1060 717 702 702
query47 1876 1777 1782 1777
query48 367 300 307 300
query49 1030 397 404 397
query50 768 399 400 399
query51 6741 6696 6634 6634
query52 110 90 97 90
query53 356 291 302 291
query54 866 461 454 454
query55 76 76 76 76
query56 274 244 287 244
query57 1131 1065 1080 1065
query58 242 218 206 206
query59 3384 3086 3105 3086
query60 304 265 271 265
query61 96 94 95 94
query62 663 437 447 437
query63 317 289 301 289
query64 8580 2315 1900 1900
query65 3190 3088 3150 3088
query66 853 348 354 348
query67 15400 14829 14870 14829
query68 4637 544 537 537
query69 463 285 280 280
query70 1140 1177 1127 1127
query71 368 270 259 259
query72 7553 5344 5704 5344
query73 718 331 325 325
query74 5981 5710 5636 5636
query75 3309 2597 2622 2597
query76 2439 1081 1068 1068
query77 405 271 275 271
query78 10465 9866 10007 9866
query79 2117 517 526 517
query80 998 449 435 435
query81 545 219 219 219
query82 647 91 94 91
query83 249 219 179 179
query84 242 86 88 86
query85 1694 290 309 290
query86 482 310 303 303
query87 3364 3137 3106 3106
query88 4103 2397 2411 2397
query89 476 380 389 380
query90 1999 186 188 186
query91 132 97 100 97
query92 59 50 53 50
query93 2451 521 506 506
query94 1211 195 186 186
query95 407 311 305 305
query96 596 267 273 267
query97 3271 2991 3007 2991
query98 214 201 201 201
query99 1205 860 853 853
Total cold run time: 267382 ms
Total hot run time: 172906 ms
ClickBench: Total hot run time: 30.7 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 36916ade15e7de8ab38f2098725f429bc23f92b7, data reload: false
query1 0.05 0.03 0.03
query2 0.08 0.04 0.04
query3 0.23 0.05 0.06
query4 1.67 0.07 0.07
query5 0.51 0.47 0.50
query6 1.13 0.72 0.73
query7 0.02 0.01 0.01
query8 0.05 0.05 0.04
query9 0.55 0.49 0.49
query10 0.54 0.55 0.55
query11 0.15 0.11 0.12
query12 0.14 0.12 0.12
query13 0.59 0.58 0.59
query14 0.77 0.76 0.79
query15 0.83 0.80 0.81
query16 0.36 0.35 0.36
query17 1.03 1.03 1.01
query18 0.20 0.25 0.23
query19 1.89 1.67 1.75
query20 0.02 0.01 0.00
query21 15.74 0.69 0.67
query22 3.87 7.39 2.11
query23 18.32 1.32 1.19
query24 2.19 0.22 0.22
query25 0.15 0.08 0.09
query26 0.25 0.17 0.17
query27 0.08 0.08 0.08
query28 13.24 1.03 1.00
query29 13.22 3.43 3.33
query30 0.25 0.06 0.05
query31 2.87 0.37 0.38
query32 3.28 0.47 0.46
query33 2.88 2.89 2.92
query34 17.07 4.43 4.44
query35 4.48 4.50 4.64
query36 0.66 0.48 0.48
query37 0.18 0.15 0.16
query38 0.15 0.14 0.15
query39 0.04 0.03 0.04
query40 0.17 0.15 0.13
query41 0.10 0.05 0.04
query42 0.06 0.04 0.04
query43 0.04 0.04 0.04
Total cold run time: 110.1 s
Total hot run time: 30.7 s
run buildall
TPC-H: Total hot run time: 41926 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit bdf3e9e0a14cb1c38a143aab500c1cd6c94e2b9d, data reload: false
------ Round 1 ----------------------------------
q1 17612 4315 4289 4289
q2 2034 190 195 190
q3 10445 1241 1161 1161
q4 10190 877 832 832
q5 7530 2716 2745 2716
q6 242 136 131 131
q7 976 636 613 613
q8 9212 2168 2147 2147
q9 9387 6756 6786 6756
q10 9750 3910 3851 3851
q11 448 243 244 243
q12 474 238 227 227
q13 17235 3190 3279 3190
q14 285 238 230 230
q15 511 462 465 462
q16 493 388 384 384
q17 984 613 667 613
q18 8509 7962 7793 7793
q19 6480 1476 1542 1476
q20 658 326 327 326
q21 5219 4028 3962 3962
q22 412 334 353 334
Total cold run time: 119086 ms
Total hot run time: 41926 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4621 4495 4414 4414
q2 375 260 270 260
q3 3162 2959 3013 2959
q4 1915 1675 1670 1670
q5 5498 5555 5547 5547
q6 218 123 123 123
q7 2215 1855 1802 1802
q8 3255 3414 3387 3387
q9 8629 8650 8759 8650
q10 4146 3888 3711 3711
q11 592 489 474 474
q12 771 616 658 616
q13 15884 3210 3146 3146
q14 308 274 274 274
q15 518 506 482 482
q16 480 440 424 424
q17 1826 1512 1514 1512
q18 8134 7524 7385 7385
q19 1793 1494 1590 1494
q20 3031 1794 1802 1794
q21 4895 4884 4642 4642
q22 639 560 530 530
Total cold run time: 72905 ms
Total hot run time: 55296 ms
TPC-DS: Total hot run time: 171529 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit bdf3e9e0a14cb1c38a143aab500c1cd6c94e2b9d, data reload: false
query1 927 374 376 374
query2 6453 2500 2500 2500
query3 6641 204 202 202
query4 19259 17362 17486 17362
query5 4129 451 456 451
query6 247 163 156 156
query7 4591 306 299 299
query8 294 288 285 285
query9 8643 2351 2343 2343
query10 442 318 272 272
query11 10741 10138 9940 9940
query12 139 93 85 85
query13 1662 371 368 368
query14 9342 6374 7600 6374
query15 245 188 187 187
query16 7816 267 275 267
query17 1736 527 515 515
query18 1950 265 271 265
query19 194 156 151 151
query20 91 91 84 84
query21 208 133 129 129
query22 4245 3969 3994 3969
query23 33837 32934 33102 32934
query24 10883 2826 2824 2824
query25 610 345 359 345
query26 1205 158 150 150
query27 3007 347 326 326
query28 7365 2070 2052 2052
query29 871 602 610 602
query30 278 150 148 148
query31 961 747 768 747
query32 91 50 56 50
query33 762 281 270 270
query34 990 471 467 467
query35 737 638 616 616
query36 1113 969 942 942
query37 160 67 67 67
query38 2865 2770 2725 2725
query39 888 785 791 785
query40 203 123 122 122
query41 59 52 51 51
query42 126 98 105 98
query43 583 534 553 534
query44 1238 736 751 736
query45 196 163 170 163
query46 1078 722 706 706
query47 1845 1734 1776 1734
query48 381 301 301 301
query49 990 400 405 400
query50 770 379 382 379
query51 6797 6609 6671 6609
query52 100 91 89 89
query53 356 286 283 283
query54 863 457 445 445
query55 77 73 71 71
query56 282 295 248 248
query57 1119 1054 1075 1054
query58 262 231 263 231
query59 3332 3057 3163 3057
query60 298 273 259 259
query61 91 88 85 85
query62 646 439 453 439
query63 328 289 289 289
query64 8917 2211 1709 1709
query65 3205 3085 3130 3085
query66 825 320 327 320
query67 15259 14824 14847 14824
query68 4491 558 547 547
query69 468 328 312 312
query70 1111 1152 1146 1146
query71 398 266 281 266
query72 7038 5519 5394 5394
query73 737 321 325 321
query74 5972 5472 5464 5464
query75 3292 2623 2684 2623
query76 2516 858 937 858
query77 496 289 286 286
query78 10343 9841 9746 9746
query79 1994 512 511 511
query80 722 460 453 453
query81 587 227 214 214
query82 1179 101 104 101
query83 182 162 162 162
query84 255 83 86 83
query85 1353 264 265 264
query86 464 311 301 301
query87 3301 3101 3085 3085
query88 4152 2428 2421 2421
query89 485 382 397 382
query90 1901 187 184 184
query91 124 97 95 95
query92 58 51 49 49
query93 2130 528 510 510
query94 1233 184 179 179
query95 406 308 314 308
query96 586 278 268 268
query97 3197 3051 3034 3034
query98 213 201 195 195
query99 1265 818 832 818
Total cold run time: 269493 ms
Total hot run time: 171529 ms
ClickBench: Total hot run time: 30.61 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit bdf3e9e0a14cb1c38a143aab500c1cd6c94e2b9d, data reload: false
query1 0.04 0.03 0.03
query2 0.08 0.03 0.04
query3 0.24 0.06 0.06
query4 1.65 0.08 0.08
query5 0.51 0.49 0.49
query6 1.12 0.73 0.72
query7 0.02 0.01 0.01
query8 0.05 0.04 0.05
query9 0.54 0.49 0.49
query10 0.55 0.56 0.54
query11 0.14 0.11 0.11
query12 0.14 0.12 0.12
query13 0.59 0.58 0.62
query14 0.77 0.76 0.78
query15 0.83 0.82 0.81
query16 0.37 0.38 0.37
query17 1.03 1.02 1.03
query18 0.24 0.23 0.25
query19 1.89 1.81 1.73
query20 0.01 0.01 0.01
query21 15.71 0.67 0.65
query22 4.28 6.78 1.87
query23 18.28 1.42 1.24
query24 2.11 0.22 0.21
query25 0.16 0.08 0.08
query26 0.25 0.17 0.17
query27 0.08 0.08 0.09
query28 13.25 1.01 1.00
query29 12.88 3.42 3.39
query30 0.24 0.05 0.05
query31 2.87 0.38 0.39
query32 3.28 0.47 0.46
query33 2.85 2.90 2.95
query34 17.17 4.42 4.40
query35 4.48 4.56 4.44
query36 0.68 0.51 0.48
query37 0.18 0.16 0.15
query38 0.16 0.14 0.15
query39 0.04 0.03 0.03
query40 0.17 0.14 0.14
query41 0.08 0.04 0.04
query42 0.05 0.05 0.04
query43 0.04 0.04 0.04
Total cold run time: 110.1 s
Total hot run time: 30.61 s
TeamCity be ut coverage result: Function Coverage: 36.25% (9234/25474) Line Coverage: 27.59% (75689/274331) Region Coverage: 26.81% (39184/146172) Branch Coverage: 23.53% (19858/84378) Coverage Report: http://coverage.selectdb-in.cc/coverage/bdf3e9e0a14cb1c38a143aab500c1cd6c94e2b9d_bdf3e9e0a14cb1c38a143aab500c1cd6c94e2b9d/report/index.html
run buildall
clang-tidy review says "All clean, LGTM! :+1:"
TeamCity be ut coverage result: Function Coverage: 36.25% (9234/25475) Line Coverage: 27.59% (75705/274346) Region Coverage: 26.81% (39202/146223) Branch Coverage: 23.53% (19859/84390) Coverage Report: http://coverage.selectdb-in.cc/coverage/68da8b3f9a5f675441658db45d2792f787f84f98_68da8b3f9a5f675441658db45d2792f787f84f98/report/index.html
run performance
TPC-H: Total hot run time: 40852 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 68da8b3f9a5f675441658db45d2792f787f84f98, data reload: false
------ Round 1 ----------------------------------
q1 17628 4394 4265 4265
q2 2036 203 192 192
q3 10443 1289 1096 1096
q4 10189 881 768 768
q5 7509 2724 2759 2724
q6 220 138 144 138
q7 982 633 627 627
q8 9230 2115 2073 2073
q9 9234 6703 6734 6703
q10 9177 3911 3948 3911
q11 442 251 249 249
q12 428 235 240 235
q13 17273 3217 3255 3217
q14 267 227 234 227
q15 544 467 480 467
q16 492 378 381 378
q17 970 517 643 517
q18 8311 7826 7882 7826
q19 7322 1212 1508 1212
q20 657 322 326 322
q21 5093 3360 4181 3360
q22 404 345 362 345
Total cold run time: 118851 ms
Total hot run time: 40852 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4503 4480 4585 4480
q2 392 260 290 260
q3 3173 2950 2935 2935
q4 2049 1600 1589 1589
q5 5405 5497 5548 5497
q6 225 125 126 125
q7 2206 1841 1778 1778
q8 3188 3404 3450 3404
q9 8692 8654 8648 8648
q10 4110 3886 3793 3793
q11 571 488 492 488
q12 787 586 589 586
q13 15935 3119 3179 3119
q14 306 265 271 265
q15 522 479 477 477
q16 460 433 428 428
q17 1788 1522 1498 1498
q18 8014 7967 7358 7358
q19 1729 1540 1554 1540
q20 3029 1790 1795 1790
q21 5756 4616 4746 4616
q22 929 517 534 517
Total cold run time: 73769 ms
Total hot run time: 55191 ms
TPC-DS: Total hot run time: 173145 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 68da8b3f9a5f675441658db45d2792f787f84f98, data reload: false
query1 927 388 384 384
query2 6460 2424 2384 2384
query3 6645 204 209 204
query4 19032 17382 17360 17360
query5 4156 454 459 454
query6 246 156 163 156
query7 4588 298 294 294
query8 312 288 282 282
query9 8632 2366 2332 2332
query10 443 305 283 283
query11 10332 10089 9887 9887
query12 137 82 85 82
query13 1653 364 368 364
query14 10164 7821 7681 7681
query15 248 187 187 187
query16 7809 264 280 264
query17 1356 532 525 525
query18 1910 276 277 276
query19 193 160 156 156
query20 96 88 87 87
query21 211 141 125 125
query22 4199 3961 3923 3923
query23 33794 33013 33178 33013
query24 11331 2884 2862 2862
query25 606 357 374 357
query26 1214 161 162 161
query27 2895 314 318 314
query28 7378 2023 2033 2023
query29 910 617 615 615
query30 270 151 152 151
query31 1011 762 735 735
query32 92 58 53 53
query33 746 312 278 278
query34 916 476 477 476
query35 729 610 634 610
query36 1057 942 944 942
query37 151 68 74 68
query38 2843 2719 2703 2703
query39 885 794 791 791
query40 204 128 125 125
query41 56 54 51 51
query42 128 100 100 100
query43 589 593 548 548
query44 1189 747 746 746
query45 196 164 167 164
query46 1073 766 726 726
query47 1836 1752 1797 1752
query48 379 305 300 300
query49 982 420 461 420
query50 782 396 397 396
query51 6847 6668 6742 6668
query52 101 91 91 91
query53 359 302 296 296
query54 886 451 443 443
query55 75 76 73 73
query56 287 251 277 251
query57 1154 1083 1103 1083
query58 275 238 238 238
query59 3434 3067 3249 3067
query60 292 287 280 280
query61 93 87 93 87
query62 623 428 448 428
query63 320 298 293 293
query64 9410 2299 1749 1749
query65 3206 3137 3123 3123
query66 1200 338 330 330
query67 15523 15174 14772 14772
query68 4612 551 544 544
query69 571 490 396 396
query70 1204 1123 1169 1123
query71 427 270 317 270
query72 7889 5200 5567 5200
query73 766 325 326 325
query74 5844 5565 5499 5499
query75 3483 2674 2722 2674
query76 2794 1014 934 934
query77 641 297 291 291
query78 10256 9971 9708 9708
query79 1980 535 539 535
query80 1889 476 468 468
query81 564 225 225 225
query82 667 103 105 103
query83 287 169 183 169
query84 260 89 86 86
query85 1246 286 277 277
query86 450 315 301 301
query87 3272 3053 3110 3053
query88 3761 2444 2471 2444
query89 492 408 397 397
query90 1759 198 199 198
query91 210 100 99 99
query92 62 49 49 49
query93 1897 532 507 507
query94 1234 194 187 187
query95 396 318 323 318
query96 587 271 265 265
query97 3179 3057 3044 3044
query98 237 201 194 194
query99 1190 846 820 820
Total cold run time: 272182 ms
Total hot run time: 173145 ms