doris
doris copied to clipboard
Published
20 hours ago •
apache
apache
[feature](sink) support paritition tablet sink shuffle
Proposed changes
Issue Number: close #xxx
Further comments
If this is a relatively large or complex change, kick off the discussion at [email protected] by explaining why you chose the solution you did and what alternatives you considered, etc...
Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR
TeamCity be ut coverage result: Function Coverage: 35.76% (8556/23928) Line Coverage: 27.70% (69392/250472) Region Coverage: 26.83% (36013/134244) Branch Coverage: 23.64% (18415/77914) Coverage Report: http://coverage.selectdb-in.cc/coverage/cf881686c552a2fb5246cf267bda134fc301e026_cf881686c552a2fb5246cf267bda134fc301e026/report/index.html
TPC-H: Total hot run time: 41902 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit cf881686c552a2fb5246cf267bda134fc301e026, data reload: false
------ Round 1 ----------------------------------
q1 17687 4896 4798 4798
q2 2031 139 132 132
q3 10587 1002 986 986
q4 4653 963 961 961
q5 7876 3236 3268 3236
q6 200 134 131 131
q7 1248 772 763 763
q8 9342 2108 2097 2097
q9 7681 6755 6749 6749
q10 8342 2665 2668 2665
q11 838 223 218 218
q12 935 321 334 321
q13 18031 3737 3708 3708
q14 294 259 266 259
q15 598 513 558 513
q16 480 420 424 420
q17 939 882 873 873
q18 7483 6716 6766 6716
q19 1574 1510 1527 1510
q20 570 357 342 342
q21 6710 4117 4150 4117
q22 899 387 389 387
Total cold run time: 108998 ms
Total hot run time: 41902 ms
----- Round 2, with runtime_filter_mode=off -----
q1 5372 5509 5224 5224
q2 293 184 183 183
q3 3621 3645 3671 3645
q4 2556 2548 2519 2519
q5 5821 5789 5724 5724
q6 213 121 123 121
q7 2241 1626 1637 1626
q8 2986 3069 3095 3069
q9 8715 8666 8674 8666
q10 6749 4215 4296 4215
q11 504 393 382 382
q12 754 527 541 527
q13 4418 3382 3423 3382
q14 267 240 239 239
q15 607 501 503 501
q16 474 441 426 426
q17 1646 1594 1951 1594
q18 8346 7729 7530 7530
q19 1641 1645 1648 1645
q20 2113 1827 1821 1821
q21 6560 6193 6131 6131
q22 571 494 512 494
Total cold run time: 66468 ms
Total hot run time: 59664 ms
TPC-DS: Total hot run time: 177078 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit cf881686c552a2fb5246cf267bda134fc301e026, data reload: false
query1 914 342 348 342
query2 6540 1732 1709 1709
query3 6699 202 199 199
query4 23116 21066 21002 21002
query5 4315 454 442 442
query6 257 166 163 163
query7 4619 283 284 283
query8 252 189 195 189
query9 8427 2815 2797 2797
query10 407 220 213 213
query11 15013 14442 14406 14406
query12 144 82 82 82
query13 1700 423 427 423
query14 9014 7507 7483 7483
query15 218 183 183 183
query16 7452 258 248 248
query17 1403 558 530 530
query18 1954 269 260 260
query19 188 143 145 143
query20 87 81 81 81
query21 185 124 122 122
query22 4888 4793 4903 4793
query23 32499 31424 31627 31424
query24 12669 3407 3396 3396
query25 633 359 355 355
query26 1882 150 157 150
query27 3054 308 310 308
query28 6718 1836 1817 1817
query29 1129 608 600 600
query30 279 135 145 135
query31 949 747 741 741
query32 98 64 57 57
query33 730 233 230 230
query34 1057 490 498 490
query35 925 829 816 816
query36 981 920 877 877
query37 170 60 59 59
query38 3281 3208 3218 3208
query39 1370 1315 1297 1297
query40 288 104 106 104
query41 35 34 34 34
query42 104 97 96 96
query43 459 428 444 428
query44 1056 692 704 692
query45 196 179 176 176
query46 1048 768 742 742
query47 1657 1611 1531 1531
query48 415 354 337 337
query49 1206 298 290 290
query50 774 379 380 379
query51 5332 5257 5177 5177
query52 104 89 93 89
query53 397 292 298 292
query54 290 211 224 211
query55 87 79 82 79
query56 212 191 187 187
query57 1076 983 912 912
query58 216 204 193 193
query59 2199 2174 2154 2154
query60 249 217 222 217
query61 83 83 87 83
query62 574 379 364 364
query63 328 280 276 276
query64 6438 3011 3097 3011
query65 3288 3241 3244 3241
query66 1323 324 315 315
query67 14673 14450 14572 14450
query68 5118 547 542 542
query69 502 349 355 349
query70 1266 1203 1247 1203
query71 423 245 249 245
query72 6278 2808 2580 2580
query73 693 312 319 312
query74 6913 6444 6415 6415
query75 3195 2532 2539 2532
query76 3246 1132 1184 1132
query77 364 241 226 226
query78 9409 8825 8794 8794
query79 973 501 495 495
query80 504 347 333 333
query81 433 202 198 198
query82 157 80 84 80
query83 143 122 117 117
query84 224 77 76 76
query85 1031 324 333 324
query86 297 305 302 302
query87 3506 3257 3266 3257
query88 2701 2282 2273 2273
query89 433 356 346 346
query90 1900 162 165 162
query91 151 125 128 125
query92 56 46 47 46
query93 994 489 505 489
query94 1105 179 173 173
query95 8555 370 8226 370
query96 569 271 267 267
query97 4429 4275 4294 4275
query98 211 197 193 193
query99 1075 734 758 734
Total cold run time: 277177 ms
Total hot run time: 177078 ms
ClickBench: Total hot run time: 30.25 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit cf881686c552a2fb5246cf267bda134fc301e026, data reload: false
query1 0.03 0.02 0.02
query2 0.06 0.02 0.02
query3 0.23 0.07 0.07
query4 1.68 0.09 0.08
query5 0.48 0.48 0.47
query6 1.33 0.59 0.62
query7 0.02 0.01 0.01
query8 0.04 0.02 0.03
query9 0.51 0.46 0.45
query10 0.48 0.49 0.48
query11 0.12 0.10 0.09
query12 0.12 0.10 0.10
query13 0.58 0.58 0.59
query14 0.76 0.78 0.77
query15 0.81 0.79 0.79
query16 0.32 0.34 0.33
query17 0.88 0.87 0.89
query18 0.18 0.17 0.16
query19 1.78 1.61 1.69
query20 0.02 0.01 0.01
query21 15.40 0.64 0.58
query22 2.63 3.77 2.08
query23 17.50 1.00 1.07
query24 2.00 0.44 0.16
query25 0.60 0.07 0.05
query26 0.16 0.14 0.12
query27 0.05 0.05 0.06
query28 12.42 0.80 0.83
query29 12.50 3.40 3.29
query30 0.51 0.49 0.47
query31 2.78 0.36 0.37
query32 3.34 0.47 0.48
query33 3.09 3.17 3.11
query34 15.36 4.48 4.49
query35 4.48 4.52 4.51
query36 1.06 0.94 0.94
query37 0.07 0.05 0.05
query38 0.04 0.02 0.02
query39 0.02 0.02 0.01
query40 0.17 0.15 0.15
query41 0.07 0.02 0.01
query42 0.03 0.01 0.02
query43 0.02 0.02 0.01
Total cold run time: 104.73 s
Total hot run time: 30.25 s
Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
Load test result on commit cf881686c552a2fb5246cf267bda134fc301e026 with default session variables
Stream load json: 19 seconds loaded 2358488459 Bytes, about 118 MB/s
Stream load orc: 58 seconds loaded 1101869774 Bytes, about 18 MB/s
Stream load parquet: 31 seconds loaded 861443392 Bytes, about 26 MB/s
Insert into select: 13.7 seconds inserted 10000000 Rows, about 729K ops/s
TeamCity be ut coverage result: Function Coverage: 35.76% (8558/23931) Line Coverage: 27.71% (69416/250537) Region Coverage: 26.83% (36017/134263) Branch Coverage: 23.64% (18422/77934) Coverage Report: http://coverage.selectdb-in.cc/coverage/ddcdb28b8f6a45db24f70f84f00ec26eb411576e_ddcdb28b8f6a45db24f70f84f00ec26eb411576e/report/index.html
TPC-H: Total hot run time: 41923 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit ddcdb28b8f6a45db24f70f84f00ec26eb411576e, data reload: false
------ Round 1 ----------------------------------
q1 18852 5044 4945 4945
q2 2040 141 134 134
q3 11104 1087 1080 1080
q4 4767 1005 1022 1005
q5 7837 3383 3408 3383
q6 209 144 145 144
q7 1288 818 824 818
q8 9706 2132 2116 2116
q9 9279 6788 6738 6738
q10 8295 2652 2618 2618
q11 408 229 203 203
q12 755 331 332 331
q13 18171 3694 3690 3690
q14 289 267 264 264
q15 589 503 506 503
q16 480 430 405 405
q17 925 881 893 881
q18 7489 6525 6616 6525
q19 1570 1508 1495 1495
q20 654 371 343 343
q21 6779 3977 3974 3974
q22 875 353 328 328
Total cold run time: 112361 ms
Total hot run time: 41923 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4853 4851 4819 4819
q2 294 190 191 190
q3 3607 3586 3591 3586
q4 2529 2542 2532 2532
q5 5761 5759 5727 5727
q6 215 126 124 124
q7 2251 1685 1673 1673
q8 3061 3089 3128 3089
q9 8724 8711 8720 8711
q10 6794 4253 4246 4246
q11 528 378 379 378
q12 785 546 557 546
q13 4314 3404 3438 3404
q14 281 240 238 238
q15 590 499 494 494
q16 479 435 441 435
q17 1692 1615 1613 1613
q18 8425 7683 7845 7683
q19 1654 1663 1662 1662
q20 2160 1847 1841 1841
q21 6602 6273 6168 6168
q22 592 498 514 498
Total cold run time: 66191 ms
Total hot run time: 59657 ms
TPC-DS: Total hot run time: 185865 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit ddcdb28b8f6a45db24f70f84f00ec26eb411576e, data reload: false
query1 923 348 351 348
query2 6528 1673 1702 1673
query3 6692 206 203 203
query4 23220 21155 21141 21141
query5 4242 374 452 374
query6 260 182 184 182
query7 4601 293 306 293
query8 243 192 200 192
query9 8405 2874 2902 2874
query10 405 227 226 226
query11 15123 14612 14512 14512
query12 141 84 86 84
query13 1698 423 425 423
query14 9097 7696 7690 7690
query15 212 188 190 188
query16 7449 253 249 249
query17 1412 562 544 544
query18 1958 267 267 267
query19 199 153 146 146
query20 86 90 87 87
query21 191 127 123 123
query22 4904 4734 4717 4717
query23 32588 31684 31683 31683
query24 12754 3435 3386 3386
query25 645 367 357 357
query26 1881 157 164 157
query27 3045 306 312 306
query28 6662 1865 1842 1842
query29 1096 614 622 614
query30 281 136 142 136
query31 933 740 752 740
query32 95 55 58 55
query33 731 240 236 236
query34 1066 497 495 495
query35 922 836 823 823
query36 1002 868 880 868
query37 173 63 66 63
query38 3281 3175 3167 3167
query39 1391 1332 1325 1325
query40 288 110 109 109
query41 37 35 35 35
query42 109 100 103 100
query43 465 438 455 438
query44 1071 702 706 702
query45 200 188 177 177
query46 1030 776 739 739
query47 1612 1524 1596 1524
query48 410 342 346 342
query49 1243 304 303 303
query50 781 394 381 381
query51 5313 5148 5167 5148
query52 105 98 95 95
query53 393 300 299 299
query54 296 224 224 224
query55 83 80 80 80
query56 232 202 198 198
query57 1105 941 937 937
query58 210 191 200 191
query59 2330 2126 2128 2126
query60 253 213 230 213
query61 83 80 81 80
query62 606 376 387 376
query63 321 287 282 282
query64 6398 3066 3139 3066
query65 3285 3269 3253 3253
query66 1365 332 325 325
query67 14386 14213 14246 14213
query68 5022 606 561 561
query69 487 362 351 351
query70 1207 1239 1218 1218
query71 339 252 262 252
query72 6267 2771 2617 2617
query73 695 317 321 317
query74 6898 6487 6447 6447
query75 3167 2560 2532 2532
query76 3081 1107 1208 1107
query77 356 239 238 238
query78 9356 8841 8747 8747
query79 976 493 496 493
query80 625 364 358 358
query81 449 206 202 202
query82 164 90 85 85
query83 209 125 122 122
query84 230 78 83 78
query85 1085 333 333 333
query86 304 310 311 310
query87 3498 3290 3315 3290
query88 2744 2272 2270 2270
query89 444 367 374 367
query90 2054 164 173 164
query91 152 128 127 127
query92 59 48 47 47
query93 1014 492 523 492
query94 1168 178 185 178
query95 487 8671 8397 8397
query96 579 271 262 262
query97 4453 4266 4281 4266
query98 227 204 191 191
query99 1096 701 708 701
Total cold run time: 269437 ms
Total hot run time: 185865 ms
ClickBench: Total hot run time: 31.42 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit ddcdb28b8f6a45db24f70f84f00ec26eb411576e, data reload: false
query1 0.03 0.03 0.02
query2 0.07 0.03 0.03
query3 0.23 0.07 0.07
query4 1.65 0.09 0.10
query5 0.50 0.49 0.48
query6 1.41 0.61 0.61
query7 0.02 0.01 0.01
query8 0.04 0.02 0.02
query9 0.53 0.47 0.45
query10 0.50 0.49 0.49
query11 0.12 0.10 0.09
query12 0.11 0.10 0.10
query13 0.59 0.60 0.58
query14 0.76 0.79 0.79
query15 0.82 0.80 0.81
query16 0.33 0.33 0.34
query17 0.88 0.89 0.91
query18 0.20 0.18 0.17
query19 1.81 1.66 1.66
query20 0.01 0.01 0.01
query21 15.41 0.63 0.60
query22 3.27 4.00 2.74
query23 17.68 1.01 1.04
query24 2.00 0.24 0.50
query25 0.65 0.06 0.06
query26 0.16 0.13 0.14
query27 0.06 0.05 0.05
query28 12.18 0.83 0.81
query29 12.50 3.40 3.40
query30 0.52 0.50 0.48
query31 2.77 0.36 0.36
query32 3.34 0.47 0.47
query33 3.13 3.12 3.14
query34 15.34 4.53 4.54
query35 4.50 4.50 4.51
query36 1.08 0.95 0.95
query37 0.08 0.05 0.05
query38 0.04 0.03 0.03
query39 0.02 0.02 0.02
query40 0.16 0.14 0.15
query41 0.07 0.02 0.01
query42 0.02 0.01 0.02
query43 0.03 0.02 0.02
Total cold run time: 105.62 s
Total hot run time: 31.42 s
Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
Load test result on commit ddcdb28b8f6a45db24f70f84f00ec26eb411576e with default session variables
Stream load json: 19 seconds loaded 2358488459 Bytes, about 118 MB/s
Stream load orc: 59 seconds loaded 1101869774 Bytes, about 17 MB/s
Stream load parquet: 32 seconds loaded 861443392 Bytes, about 25 MB/s
Insert into select: 13.3 seconds inserted 10000000 Rows, about 751K ops/s
TPC-H: Total hot run time: 41592 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 4f068489404938574499c98e55290317133c861a, data reload: false
------ Round 1 ----------------------------------
q1 17638 4965 4834 4834
q2 2041 141 134 134
q3 10587 1037 998 998
q4 4722 969 994 969
q5 7720 3268 3285 3268
q6 190 131 126 126
q7 1244 786 771 771
q8 9390 2098 2082 2082
q9 7698 6761 6698 6698
q10 8369 2642 2646 2642
q11 417 206 211 206
q12 773 324 329 324
q13 18027 3664 3678 3664
q14 291 263 269 263
q15 584 519 527 519
q16 537 408 435 408
q17 947 887 864 864
q18 7463 6688 6699 6688
q19 1548 1498 1498 1498
q20 562 353 338 338
q21 6126 4007 3960 3960
q22 867 350 338 338
Total cold run time: 107741 ms
Total hot run time: 41592 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4811 4821 4827 4821
q2 301 187 204 187
q3 3617 3597 3579 3579
q4 2537 2537 2525 2525
q5 5768 5745 5754 5745
q6 212 129 124 124
q7 2224 1683 1687 1683
q8 3045 3109 3108 3108
q9 8692 8734 8634 8634
q10 6877 4236 4252 4236
q11 520 398 407 398
q12 770 539 538 538
q13 4194 3416 3427 3416
q14 269 248 248 248
q15 625 528 487 487
q16 484 428 452 428
q17 1679 1607 1606 1606
q18 8262 7753 7600 7600
q19 1647 1644 1640 1640
q20 2111 1832 1812 1812
q21 6622 6183 6159 6159
q22 582 516 518 516
Total cold run time: 65849 ms
Total hot run time: 59490 ms
TeamCity be ut coverage result: Function Coverage: 35.71% (8557/23963) Line Coverage: 27.59% (69420/251652) Region Coverage: 26.73% (36028/134784) Branch Coverage: 23.55% (18426/78258) Coverage Report: http://coverage.selectdb-in.cc/coverage/4f068489404938574499c98e55290317133c861a_4f068489404938574499c98e55290317133c861a/report/index.html
TPC-H: Total hot run time: 41789 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 49ff7e9ab63024e9204283f930998bad9ef6b8ba, data reload: false
------ Round 1 ----------------------------------
q1 17756 5131 5027 5027
q2 2045 145 138 138
q3 10577 1054 1019 1019
q4 4658 980 996 980
q5 7720 3249 3267 3249
q6 201 139 134 134
q7 1270 796 775 775
q8 9278 2099 2089 2089
q9 7562 6758 6699 6699
q10 8330 2670 2649 2649
q11 421 222 227 222
q12 777 329 338 329
q13 18036 3690 3672 3672
q14 287 258 257 257
q15 587 511 556 511
q16 480 418 424 418
q17 934 845 832 832
q18 7586 6656 6690 6656
q19 1550 1505 1503 1503
q20 639 355 342 342
q21 6555 3953 3984 3953
q22 884 353 335 335
Total cold run time: 108133 ms
Total hot run time: 41789 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4995 4958 4973 4958
q2 302 187 185 185
q3 3629 3611 3609 3609
q4 2583 2564 2576 2564
q5 5801 5799 5788 5788
q6 209 125 126 125
q7 2279 1652 1669 1652
q8 3094 3149 3145 3145
q9 8810 8774 8806 8774
q10 6797 4263 4264 4263
q11 532 370 375 370
q12 788 557 560 557
q13 5051 3496 3420 3420
q14 261 244 240 240
q15 634 511 494 494
q16 507 447 463 447
q17 1722 1635 1655 1635
q18 8380 7631 7702 7631
q19 1634 1640 1637 1637
q20 2140 1862 1837 1837
q21 6664 6265 6236 6236
q22 582 534 501 501
Total cold run time: 67394 ms
Total hot run time: 60068 ms
TeamCity be ut coverage result: Function Coverage: 35.70% (8555/23962) Line Coverage: 27.59% (69436/251665) Region Coverage: 26.72% (36021/134789) Branch Coverage: 23.54% (18424/78258) Coverage Report: http://coverage.selectdb-in.cc/coverage/49ff7e9ab63024e9204283f930998bad9ef6b8ba_49ff7e9ab63024e9204283f930998bad9ef6b8ba/report/index.html
TPC-DS: Total hot run time: 178541 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 49ff7e9ab63024e9204283f930998bad9ef6b8ba, data reload: false
query1 932 358 349 349
query2 6521 1824 1783 1783
query3 6695 206 209 206
query4 23053 21157 21189 21157
query5 4266 383 382 382
query6 254 167 166 166
query7 4610 295 294 294
query8 256 196 198 196
query9 8423 2865 2848 2848
query10 421 234 239 234
query11 14955 14764 14493 14493
query12 147 84 87 84
query13 1714 429 424 424
query14 9397 7639 7652 7639
query15 209 187 196 187
query16 7550 264 263 263
query17 1381 554 542 542
query18 1942 302 277 277
query19 188 143 148 143
query20 90 85 84 84
query21 187 125 122 122
query22 4970 4699 4746 4699
query23 32683 31667 31596 31596
query24 12817 3447 3454 3447
query25 643 383 360 360
query26 1877 160 163 160
query27 3055 309 314 309
query28 6634 1850 1850 1850
query29 1138 606 617 606
query30 278 136 148 136
query31 937 749 754 749
query32 102 60 61 60
query33 723 246 235 235
query34 1081 507 499 499
query35 928 848 809 809
query36 991 909 864 864
query37 179 63 63 63
query38 3309 3236 3183 3183
query39 1393 1337 1336 1336
query40 289 109 104 104
query41 37 36 37 36
query42 103 98 93 93
query43 485 451 462 451
query44 1080 701 712 701
query45 200 185 176 176
query46 1060 800 772 772
query47 1664 1555 1605 1555
query48 435 350 358 350
query49 1221 312 299 299
query50 778 368 378 368
query51 5327 5154 5198 5154
query52 109 89 97 89
query53 394 300 296 296
query54 295 235 230 230
query55 79 83 80 80
query56 220 199 208 199
query57 1051 961 976 961
query58 223 196 198 196
query59 2342 2277 2235 2235
query60 244 234 229 229
query61 82 85 82 82
query62 593 394 373 373
query63 324 291 284 284
query64 6372 3116 3140 3116
query65 3282 3266 3259 3259
query66 1339 336 329 329
query67 14684 14112 14209 14112
query68 5141 582 571 571
query69 532 380 382 380
query70 1255 1268 1270 1268
query71 454 260 257 257
query72 6318 2770 2659 2659
query73 732 329 324 324
query74 6875 6510 6555 6510
query75 3239 2585 2568 2568
query76 3260 1141 1205 1141
query77 378 241 235 235
query78 9522 8851 8814 8814
query79 976 505 511 505
query80 518 353 346 346
query81 438 206 210 206
query82 237 89 86 86
query83 140 131 122 122
query84 231 82 84 82
query85 1024 366 355 355
query86 295 312 320 312
query87 3468 3305 3293 3293
query88 2735 2306 2313 2306
query89 436 360 364 360
query90 1897 164 164 164
query91 159 132 136 132
query92 57 51 49 49
query93 1022 521 507 507
query94 1142 189 186 186
query95 489 373 378 373
query96 582 276 272 272
query97 4475 4291 4320 4291
query98 220 206 197 197
query99 1099 765 707 707
Total cold run time: 270587 ms
Total hot run time: 178541 ms
ClickBench: Total hot run time: 31.24 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 49ff7e9ab63024e9204283f930998bad9ef6b8ba, data reload: false
query1 0.03 0.02 0.02
query2 0.06 0.03 0.03
query3 0.23 0.08 0.07
query4 1.66 0.09 0.08
query5 0.49 0.49 0.49
query6 1.32 0.63 0.62
query7 0.01 0.01 0.01
query8 0.04 0.02 0.02
query9 0.51 0.45 0.45
query10 0.49 0.49 0.50
query11 0.14 0.10 0.10
query12 0.12 0.10 0.10
query13 0.58 0.59 0.60
query14 0.77 0.79 0.81
query15 0.83 0.80 0.79
query16 0.33 0.35 0.32
query17 0.92 0.91 0.90
query18 0.17 0.17 0.16
query19 1.76 1.70 1.68
query20 0.02 0.01 0.01
query21 15.42 0.67 0.64
query22 2.93 3.76 2.40
query23 17.42 1.07 1.02
query24 2.07 0.50 0.37
query25 0.63 0.07 0.06
query26 0.15 0.14 0.13
query27 0.05 0.05 0.05
query28 12.02 0.86 0.84
query29 12.51 3.32 3.59
query30 0.59 0.48 0.52
query31 2.78 0.35 0.37
query32 3.37 0.47 0.47
query33 3.15 3.20 3.15
query34 15.42 4.52 4.50
query35 4.50 4.52 4.50
query36 1.06 0.95 0.94
query37 0.08 0.05 0.06
query38 0.03 0.03 0.03
query39 0.02 0.02 0.02
query40 0.17 0.15 0.14
query41 0.07 0.02 0.02
query42 0.02 0.02 0.02
query43 0.02 0.02 0.02
Total cold run time: 104.96 s
Total hot run time: 31.24 s
Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
Load test result on commit 49ff7e9ab63024e9204283f930998bad9ef6b8ba with default session variables
Stream load json: 20 seconds loaded 2358488459 Bytes, about 112 MB/s
Stream load orc: 61 seconds loaded 1101869774 Bytes, about 17 MB/s
Stream load parquet: 31 seconds loaded 861443392 Bytes, about 26 MB/s
Insert into select: 14.6 seconds inserted 10000000 Rows, about 684K ops/s
TPC-H: Total hot run time: 41711 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit ee4429238f20b1689abd66074c90cfd3f27b50c8, data reload: false
------ Round 1 ----------------------------------
q1 17604 4989 4891 4891
q2 2057 139 143 139
q3 10611 1039 1031 1031
q4 4844 1011 1023 1011
q5 8065 3338 3320 3320
q6 202 140 143 140
q7 1303 825 805 805
q8 9356 2130 2144 2130
q9 7723 6627 6603 6603
q10 8334 2648 2643 2643
q11 419 214 223 214
q12 785 354 340 340
q13 17928 3639 3618 3618
q14 287 265 252 252
q15 594 529 500 500
q16 478 415 419 415
q17 944 883 879 879
q18 7335 6683 6657 6657
q19 1557 1497 1509 1497
q20 480 280 281 280
q21 6391 4036 4004 4004
q22 852 342 345 342
Total cold run time: 108149 ms
Total hot run time: 41711 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4877 4833 4851 4833
q2 299 181 185 181
q3 3619 3610 3616 3610
q4 2590 2581 2590 2581
q5 5845 5775 5803 5775
q6 214 128 128 128
q7 2279 1691 1650 1650
q8 3052 3129 3135 3129
q9 8790 8823 8782 8782
q10 6575 4257 4259 4257
q11 534 381 403 381
q12 779 548 557 548
q13 4224 3457 3451 3451
q14 275 246 242 242
q15 629 537 512 512
q16 486 457 478 457
q17 1697 1638 1640 1638
q18 8289 7652 7733 7652
q19 1649 1646 1653 1646
q20 2142 1901 1835 1835
q21 6679 6436 6294 6294
q22 584 524 530 524
Total cold run time: 66107 ms
Total hot run time: 60106 ms
TPC-DS: Total hot run time: 176320 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit ee4429238f20b1689abd66074c90cfd3f27b50c8, data reload: false
query1 960 354 349 349
query2 6505 1769 1709 1709
query3 6703 212 207 207
query4 23330 21210 21118 21118
query5 4298 375 378 375
query6 282 165 190 165
query7 4612 288 296 288
query8 246 192 209 192
query9 8429 2787 2762 2762
query10 418 215 221 215
query11 15003 14600 14563 14563
query12 141 80 80 80
query13 1714 424 406 406
query14 9091 7512 7556 7512
query15 213 188 194 188
query16 7502 256 247 247
query17 1406 550 529 529
query18 1944 263 260 260
query19 195 146 149 146
query20 88 82 83 82
query21 193 119 115 115
query22 4936 4781 4782 4781
query23 32536 31462 31646 31462
query24 12744 3377 3387 3377
query25 645 365 372 365
query26 1882 154 155 154
query27 3088 308 311 308
query28 6649 1849 1836 1836
query29 1165 604 606 604
query30 288 140 144 140
query31 960 744 749 744
query32 95 60 56 56
query33 729 234 224 224
query34 1057 486 498 486
query35 944 823 820 820
query36 995 926 944 926
query37 183 62 68 62
query38 3288 3185 3178 3178
query39 1375 1326 1300 1300
query40 287 107 107 107
query41 36 35 34 34
query42 105 98 107 98
query43 487 439 440 439
query44 1070 677 704 677
query45 209 174 184 174
query46 1045 768 725 725
query47 1693 1599 1577 1577
query48 400 340 333 333
query49 1250 299 301 299
query50 773 373 368 368
query51 4442 4276 4330 4276
query52 113 94 98 94
query53 399 288 295 288
query54 291 219 225 219
query55 83 80 79 79
query56 224 206 196 196
query57 1103 976 939 939
query58 213 193 194 193
query59 2330 2207 2176 2176
query60 247 208 228 208
query61 83 91 82 82
query62 605 390 376 376
query63 320 290 283 283
query64 6409 3038 3122 3038
query65 3300 3266 3239 3239
query66 1341 322 319 319
query67 14918 14139 14443 14139
query68 5078 546 562 546
query69 492 348 347 347
query70 1245 1184 1246 1184
query71 396 244 250 244
query72 6397 2745 2592 2592
query73 709 310 312 310
query74 6836 6540 6406 6406
query75 3238 2575 2552 2552
query76 3098 1110 1199 1110
query77 368 240 231 231
query78 9540 8859 8849 8849
query79 974 508 506 506
query80 508 351 346 346
query81 435 205 206 205
query82 162 85 82 82
query83 143 128 122 122
query84 220 77 76 76
query85 1027 343 336 336
query86 295 305 310 305
query87 3438 3324 3265 3265
query88 2695 2279 2269 2269
query89 436 349 351 349
query90 1928 165 164 164
query91 155 127 124 124
query92 55 47 52 47
query93 995 525 507 507
query94 1112 176 177 176
query95 437 334 342 334
query96 572 263 260 260
query97 4441 4300 4263 4263
query98 228 204 200 200
query99 1093 707 724 707
Total cold run time: 269354 ms
Total hot run time: 176320 ms
ClickBench: Total hot run time: 31.42 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit ee4429238f20b1689abd66074c90cfd3f27b50c8, data reload: false
query1 0.03 0.02 0.02
query2 0.07 0.02 0.02
query3 0.24 0.07 0.07
query4 1.65 0.08 0.08
query5 0.50 0.48 0.48
query6 1.36 0.61 0.61
query7 0.02 0.01 0.01
query8 0.04 0.03 0.03
query9 0.52 0.44 0.44
query10 0.49 0.47 0.47
query11 0.13 0.09 0.10
query12 0.12 0.10 0.10
query13 0.60 0.59 0.59
query14 0.78 0.77 0.79
query15 0.82 0.81 0.79
query16 0.32 0.34 0.33
query17 0.86 0.91 0.90
query18 0.18 0.18 0.15
query19 1.68 1.68 1.68
query20 0.01 0.01 0.02
query21 15.42 0.63 0.58
query22 2.90 5.43 2.65
query23 17.40 1.10 1.05
query24 2.18 0.58 0.56
query25 0.61 0.08 0.06
query26 0.17 0.13 0.14
query27 0.05 0.05 0.05
query28 11.56 0.80 0.80
query29 12.52 3.34 3.25
query30 0.55 0.51 0.48
query31 2.77 0.35 0.36
query32 3.35 0.47 0.48
query33 3.13 3.14 3.22
query34 15.36 4.51 4.51
query35 4.52 4.49 4.51
query36 1.07 0.96 0.94
query37 0.07 0.04 0.05
query38 0.04 0.03 0.03
query39 0.02 0.01 0.01
query40 0.17 0.15 0.15
query41 0.08 0.01 0.01
query42 0.03 0.01 0.01
query43 0.03 0.02 0.02
Total cold run time: 104.42 s
Total hot run time: 31.42 s
Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
Load test result on commit ee4429238f20b1689abd66074c90cfd3f27b50c8 with default session variables
Stream load json: 19 seconds loaded 2358488459 Bytes, about 118 MB/s
Stream load orc: 59 seconds loaded 1101869774 Bytes, about 17 MB/s
Stream load parquet: 32 seconds loaded 861443392 Bytes, about 25 MB/s
Insert into select: 13.3 seconds inserted 10000000 Rows, about 751K ops/s
TeamCity be ut coverage result: Function Coverage: 35.74% (8545/23910) Line Coverage: 27.54% (69334/251713) Region Coverage: 26.70% (35970/134711) Branch Coverage: 23.51% (18388/78228) Coverage Report: http://coverage.selectdb-in.cc/coverage/ee4429238f20b1689abd66074c90cfd3f27b50c8_ee4429238f20b1689abd66074c90cfd3f27b50c8/report/index.html