[profile](data sink) add InitBrpcStubTime in ExchangeSink
Proposed changes
Issue Number: close #xxx
Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR
Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.
run buildall
clang-tidy review says "All clean, LGTM! :+1:"
TPC-H: Total hot run time: 40321 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 3a27fd4cadc48e8050b84d979ca6547587c8ecb5, data reload: false
------ Round 1 ----------------------------------
q1 18037 4575 4543 4543
q2 2213 191 186 186
q3 10482 1160 1159 1159
q4 10198 931 807 807
q5 7479 2705 2605 2605
q6 223 140 141 140
q7 949 597 627 597
q8 9251 2095 2079 2079
q9 9079 6520 6526 6520
q10 8949 3774 3757 3757
q11 463 241 236 236
q12 396 236 235 235
q13 18321 2987 3015 2987
q14 271 217 233 217
q15 513 488 461 461
q16 499 373 377 373
q17 973 675 697 675
q18 8075 7462 7448 7448
q19 5073 1417 1531 1417
q20 653 325 315 315
q21 4941 3223 4092 3223
q22 398 341 346 341
Total cold run time: 117436 ms
Total hot run time: 40321 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4442 4250 4273 4250
q2 383 276 263 263
q3 3007 2761 2757 2757
q4 1895 1620 1617 1617
q5 5229 5275 5291 5275
q6 217 134 131 131
q7 2121 1776 1776 1776
q8 3197 3365 3312 3312
q9 8393 8380 8336 8336
q10 3920 3680 3716 3680
q11 594 494 490 490
q12 776 596 637 596
q13 16552 3002 2979 2979
q14 291 270 254 254
q15 535 476 476 476
q16 491 412 408 408
q17 1764 1461 1492 1461
q18 7674 7574 7340 7340
q19 1681 1533 1513 1513
q20 1971 1813 1809 1809
q21 4993 4702 4706 4702
q22 649 540 531 531
Total cold run time: 70775 ms
Total hot run time: 53956 ms
TPC-DS: Total hot run time: 173834 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 3a27fd4cadc48e8050b84d979ca6547587c8ecb5, data reload: false
query1 953 389 372 372
query2 6441 2347 2310 2310
query3 6641 209 196 196
query4 20989 17414 17421 17414
query5 4158 489 492 489
query6 255 158 168 158
query7 4592 310 301 301
query8 342 307 264 264
query9 8572 2484 2446 2446
query10 609 298 293 293
query11 10569 10042 10057 10042
query12 132 94 84 84
query13 1640 377 389 377
query14 9786 6564 7926 6564
query15 245 188 194 188
query16 7822 274 277 274
query17 1903 561 569 561
query18 1984 292 283 283
query19 210 163 161 161
query20 97 87 90 87
query21 217 138 131 131
query22 4423 3939 4326 3939
query23 33864 33236 33322 33236
query24 12085 2847 2826 2826
query25 694 407 398 398
query26 1821 161 158 158
query27 2972 314 329 314
query28 7637 2104 2096 2096
query29 1126 629 668 629
query30 292 155 151 151
query31 989 741 758 741
query32 93 56 57 56
query33 790 312 302 302
query34 902 479 492 479
query35 780 640 624 624
query36 1072 955 940 940
query37 274 74 77 74
query38 2925 2799 2744 2744
query39 859 832 800 800
query40 302 140 139 139
query41 56 59 53 53
query42 120 102 107 102
query43 610 551 562 551
query44 1233 730 745 730
query45 203 171 163 163
query46 1086 711 729 711
query47 1845 1775 1778 1775
query48 379 304 319 304
query49 1223 437 438 437
query50 781 409 413 409
query51 7018 6745 6742 6742
query52 117 92 97 92
query53 386 306 308 306
query54 1002 472 453 453
query55 75 79 76 76
query56 315 295 295 295
query57 1190 1060 1069 1060
query58 278 289 272 272
query59 3445 3464 3142 3142
query60 336 302 303 302
query61 115 111 113 111
query62 784 447 439 439
query63 333 297 298 297
query64 9892 2312 1833 1833
query65 3218 3139 3084 3084
query66 1368 337 335 335
query67 15846 15120 14846 14846
query68 8613 546 549 546
query69 682 478 425 425
query70 1211 1107 1157 1107
query71 515 305 281 281
query72 8725 5754 5707 5707
query73 1517 329 327 327
query74 6223 5517 5616 5517
query75 5226 2697 2646 2646
query76 4942 1007 932 932
query77 755 305 312 305
query78 10995 9955 9720 9720
query79 8766 522 519 519
query80 974 526 484 484
query81 546 221 221 221
query82 736 112 109 109
query83 353 172 172 172
query84 275 87 87 87
query85 1360 286 279 279
query86 406 323 311 311
query87 3354 3084 3138 3084
query88 4105 2438 2445 2438
query89 541 395 399 395
query90 2014 198 193 193
query91 132 103 102 102
query92 63 50 53 50
query93 6947 517 505 505
query94 1232 189 188 188
query95 411 320 333 320
query96 614 269 283 269
query97 3215 3040 3001 3001
query98 222 201 200 200
query99 1242 833 859 833
Total cold run time: 302223 ms
Total hot run time: 173834 ms
ClickBench: Total hot run time: 30.34 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 3a27fd4cadc48e8050b84d979ca6547587c8ecb5, data reload: false
query1 0.04 0.04 0.03
query2 0.08 0.03 0.03
query3 0.22 0.04 0.04
query4 1.68 0.07 0.07
query5 0.50 0.47 0.50
query6 1.14 0.72 0.73
query7 0.02 0.02 0.01
query8 0.04 0.04 0.05
query9 0.54 0.49 0.49
query10 0.54 0.54 0.56
query11 0.14 0.11 0.12
query12 0.14 0.12 0.12
query13 0.60 0.59 0.58
query14 0.77 0.79 0.81
query15 0.83 0.81 0.82
query16 0.36 0.36 0.36
query17 1.01 1.07 1.04
query18 0.21 0.22 0.26
query19 1.82 1.72 1.77
query20 0.01 0.01 0.01
query21 15.46 0.67 0.65
query22 4.81 7.13 1.63
query23 18.31 1.49 1.29
query24 2.18 0.23 0.22
query25 0.15 0.08 0.08
query26 0.28 0.17 0.17
query27 0.08 0.08 0.08
query28 13.20 1.02 1.00
query29 12.60 3.30 3.29
query30 0.25 0.07 0.06
query31 2.85 0.39 0.39
query32 3.27 0.47 0.48
query33 2.88 2.93 2.87
query34 17.30 4.45 4.42
query35 4.45 4.49 4.48
query36 0.66 0.50 0.46
query37 0.21 0.16 0.15
query38 0.15 0.14 0.14
query39 0.04 0.04 0.03
query40 0.17 0.14 0.14
query41 0.09 0.05 0.04
query42 0.06 0.05 0.05
query43 0.04 0.04 0.03
Total cold run time: 110.18 s
Total hot run time: 30.34 s
clang-tidy review says "All clean, LGTM! :+1:"
run buildall
TPC-H: Total hot run time: 39938 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 113504dcd6e7ec68c7b71c17e227b88c1723809e, data reload: false
------ Round 1 ----------------------------------
q1 17605 5015 4343 4343
q2 2031 188 189 188
q3 10469 1197 1032 1032
q4 10190 760 828 760
q5 7484 2686 2656 2656
q6 218 137 139 137
q7 970 602 610 602
q8 9224 2103 2098 2098
q9 8934 6503 6464 6464
q10 9064 3713 3714 3713
q11 490 236 241 236
q12 461 238 235 235
q13 17789 2967 2986 2967
q14 286 241 216 216
q15 533 508 490 490
q16 497 380 374 374
q17 989 620 691 620
q18 8031 7547 7425 7425
q19 7064 1483 1486 1483
q20 660 315 330 315
q21 5032 3247 3954 3247
q22 411 344 337 337
Total cold run time: 118432 ms
Total hot run time: 39938 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4400 4281 4249 4249
q2 389 286 271 271
q3 3064 2880 2963 2880
q4 2008 1831 1735 1735
q5 5575 5508 5494 5494
q6 225 134 137 134
q7 2322 1901 1863 1863
q8 3355 3557 3493 3493
q9 8757 8818 8850 8818
q10 4173 3770 3893 3770
q11 591 521 514 514
q12 829 650 667 650
q13 15966 3160 3171 3160
q14 293 280 279 279
q15 530 498 482 482
q16 476 452 443 443
q17 1869 1605 1574 1574
q18 8166 8097 7926 7926
q19 1768 1528 1568 1528
q20 2138 1896 1880 1880
q21 10584 4943 4896 4896
q22 626 552 601 552
Total cold run time: 78104 ms
Total hot run time: 56591 ms
TPC-DS: Total hot run time: 173970 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 113504dcd6e7ec68c7b71c17e227b88c1723809e, data reload: false
query1 913 382 376 376
query2 6400 2405 2376 2376
query3 6637 205 223 205
query4 19457 17422 17304 17304
query5 3705 484 474 474
query6 253 160 164 160
query7 4589 304 291 291
query8 302 281 299 281
query9 8455 2378 2356 2356
query10 571 308 274 274
query11 10457 10128 9986 9986
query12 117 87 92 87
query13 1643 361 374 361
query14 10181 6986 7030 6986
query15 244 183 186 183
query16 7756 282 276 276
query17 1720 554 538 538
query18 1965 283 277 277
query19 205 156 158 156
query20 87 82 83 82
query21 207 133 131 131
query22 4228 4117 4099 4099
query23 33830 33679 33748 33679
query24 11154 2908 2874 2874
query25 617 397 409 397
query26 738 168 163 163
query27 2315 339 345 339
query28 5942 2118 2135 2118
query29 905 659 661 659
query30 244 155 155 155
query31 959 781 744 744
query32 91 55 58 55
query33 764 312 309 309
query34 953 484 482 482
query35 754 662 644 644
query36 1111 967 989 967
query37 143 86 88 86
query38 2973 2797 2848 2797
query39 901 853 820 820
query40 210 134 130 130
query41 55 56 55 55
query42 107 105 107 105
query43 604 561 545 545
query44 1180 726 740 726
query45 205 167 167 167
query46 1083 763 711 711
query47 1861 1770 1785 1770
query48 369 304 300 300
query49 851 515 409 409
query50 765 392 402 392
query51 6960 6813 6775 6775
query52 105 97 90 90
query53 364 295 284 284
query54 864 447 444 444
query55 76 85 78 78
query56 291 265 281 265
query57 1109 1022 1068 1022
query58 232 260 244 244
query59 3281 3096 3040 3040
query60 316 281 295 281
query61 113 91 91 91
query62 595 438 436 436
query63 319 284 296 284
query64 8666 2276 1755 1755
query65 3344 3099 3137 3099
query66 828 323 327 323
query67 15608 15007 15016 15007
query68 8593 541 552 541
query69 725 475 333 333
query70 1331 1097 1116 1097
query71 519 286 284 284
query72 9050 5573 5334 5334
query73 2259 330 331 330
query74 5900 5493 5451 5451
query75 5481 2659 2672 2659
query76 5029 952 950 950
query77 786 293 306 293
query78 10546 9760 9744 9744
query79 8066 518 522 518
query80 2332 474 469 469
query81 559 219 227 219
query82 576 147 105 105
query83 286 169 165 165
query84 275 84 87 84
query85 922 285 266 266
query86 357 330 306 306
query87 3254 3103 3115 3103
query88 4750 2379 2379 2379
query89 481 378 382 378
query90 1965 186 188 186
query91 132 98 98 98
query92 57 47 47 47
query93 6280 508 501 501
query94 1246 183 221 183
query95 404 313 312 312
query96 605 280 265 265
query97 3149 2985 2981 2981
query98 215 195 189 189
query99 1156 842 825 825
Total cold run time: 292133 ms
Total hot run time: 173970 ms
ClickBench: Total hot run time: 30.3 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 113504dcd6e7ec68c7b71c17e227b88c1723809e, data reload: false
query1 0.04 0.03 0.03
query2 0.08 0.04 0.04
query3 0.22 0.05 0.04
query4 1.69 0.07 0.07
query5 0.50 0.49 0.49
query6 1.14 0.72 0.72
query7 0.02 0.01 0.01
query8 0.05 0.04 0.05
query9 0.54 0.47 0.48
query10 0.54 0.55 0.56
query11 0.14 0.11 0.11
query12 0.14 0.12 0.12
query13 0.59 0.59 0.60
query14 0.76 0.79 0.77
query15 0.83 0.81 0.81
query16 0.37 0.37 0.36
query17 0.97 1.02 0.96
query18 0.24 0.24 0.25
query19 1.77 1.72 1.85
query20 0.02 0.01 0.01
query21 15.43 0.75 0.66
query22 4.62 7.12 1.65
query23 18.26 1.42 1.27
query24 2.11 0.23 0.22
query25 0.16 0.09 0.08
query26 0.27 0.18 0.18
query27 0.09 0.08 0.07
query28 13.26 1.01 0.99
query29 12.57 3.30 3.33
query30 0.26 0.06 0.07
query31 2.89 0.38 0.37
query32 3.28 0.47 0.48
query33 2.92 2.98 2.91
query34 17.16 4.40 4.45
query35 4.50 4.47 4.56
query36 0.65 0.47 0.47
query37 0.18 0.16 0.16
query38 0.16 0.15 0.14
query39 0.04 0.03 0.03
query40 0.17 0.14 0.13
query41 0.09 0.05 0.04
query42 0.06 0.05 0.04
query43 0.05 0.04 0.04
Total cold run time: 109.83 s
Total hot run time: 30.3 s
run buildall
TPC-H: Total hot run time: 40014 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 113504dcd6e7ec68c7b71c17e227b88c1723809e, data reload: false
------ Round 1 ----------------------------------
q1 17898 4455 4397 4397
q2 2521 200 197 197
q3 11454 1250 1164 1164
q4 10863 810 756 756
q5 7679 2695 2659 2659
q6 221 138 140 138
q7 964 619 614 614
q8 9424 2078 2047 2047
q9 9017 6544 6499 6499
q10 8956 3696 3684 3684
q11 448 243 238 238
q12 400 228 224 224
q13 17777 2991 2986 2986
q14 267 232 224 224
q15 530 482 485 482
q16 507 386 369 369
q17 961 609 710 609
q18 8099 7492 7551 7492
q19 1654 1447 1507 1447
q20 656 338 326 326
q21 5010 3123 3232 3123
q22 392 341 339 339
Total cold run time: 115698 ms
Total hot run time: 40014 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4321 4237 4190 4190
q2 374 262 254 254
q3 2898 2706 2707 2706
q4 1874 1606 1614 1606
q5 5241 5268 5237 5237
q6 219 129 128 128
q7 2105 1741 1739 1739
q8 3178 3346 3281 3281
q9 8368 8309 8304 8304
q10 3896 3713 3661 3661
q11 593 484 476 476
q12 802 617 601 601
q13 17344 2994 3004 2994
q14 280 274 268 268
q15 516 468 474 468
q16 466 405 413 405
q17 1758 1472 1477 1472
q18 7662 7602 7381 7381
q19 5020 1533 1572 1533
q20 2000 1762 1788 1762
q21 4977 4695 4745 4695
q22 625 548 544 544
Total cold run time: 74517 ms
Total hot run time: 53705 ms
TPC-DS: Total hot run time: 172550 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 113504dcd6e7ec68c7b71c17e227b88c1723809e, data reload: false
query1 944 374 366 366
query2 6456 2431 2335 2335
query3 6649 204 214 204
query4 28253 17423 17378 17378
query5 4211 480 489 480
query6 269 188 165 165
query7 4601 309 306 306
query8 330 281 287 281
query9 8372 2392 2354 2354
query10 627 310 312 310
query11 10462 9977 9919 9919
query12 129 81 82 81
query13 1653 373 378 373
query14 10037 7764 7483 7483
query15 228 186 187 186
query16 7712 311 314 311
query17 1797 576 530 530
query18 1683 272 274 272
query19 191 152 147 147
query20 90 82 81 81
query21 207 132 127 127
query22 4205 3996 3958 3958
query23 33760 33080 32976 32976
query24 11927 2829 2824 2824
query25 652 364 374 364
query26 1774 161 158 158
query27 2955 314 314 314
query28 7542 2040 2043 2040
query29 1053 636 629 629
query30 285 150 147 147
query31 934 736 725 725
query32 91 56 52 52
query33 769 294 323 294
query34 935 495 486 486
query35 740 641 641 641
query36 1131 900 947 900
query37 200 84 72 72
query38 2841 2746 2735 2735
query39 861 827 821 821
query40 280 126 124 124
query41 54 50 51 50
query42 110 97 102 97
query43 561 534 543 534
query44 1219 742 745 742
query45 186 158 156 156
query46 1063 754 705 705
query47 1847 1766 1800 1766
query48 372 301 305 301
query49 1190 410 417 410
query50 767 398 401 398
query51 6882 6826 6713 6713
query52 99 90 91 90
query53 360 288 282 282
query54 1006 445 448 445
query55 75 77 72 72
query56 287 265 276 265
query57 1178 1070 1043 1043
query58 260 276 248 248
query59 3220 3216 3141 3141
query60 319 281 288 281
query61 98 98 95 95
query62 639 462 475 462
query63 318 289 289 289
query64 10484 2179 1653 1653
query65 3197 3085 3109 3085
query66 1341 333 337 333
query67 15415 14985 14861 14861
query68 4589 524 525 524
query69 472 322 321 321
query70 1176 1140 1127 1127
query71 384 275 295 275
query72 7084 5317 5462 5317
query73 738 326 327 326
query74 5892 5542 5445 5445
query75 3388 2677 2673 2673
query76 2503 939 969 939
query77 444 312 299 299
query78 9303 9327 8918 8918
query79 3317 515 523 515
query80 1843 468 470 468
query81 581 218 217 217
query82 1034 109 105 105
query83 280 171 170 170
query84 256 92 88 88
query85 2141 365 368 365
query86 483 322 339 322
query87 3263 3080 3132 3080
query88 4631 2494 2467 2467
query89 479 378 391 378
query90 1852 196 198 196
query91 150 119 120 119
query92 63 52 54 52
query93 3846 505 514 505
query94 1289 223 227 223
query95 418 329 339 329
query96 606 277 270 270
query97 3174 3045 3031 3031
query98 225 215 197 197
query99 1178 823 871 823
Total cold run time: 287465 ms
Total hot run time: 172550 ms
ClickBench: Total hot run time: 30.52 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 113504dcd6e7ec68c7b71c17e227b88c1723809e, data reload: false
query1 0.04 0.03 0.03
query2 0.08 0.04 0.05
query3 0.24 0.05 0.05
query4 1.67 0.07 0.07
query5 0.49 0.50 0.48
query6 1.14 0.73 0.73
query7 0.02 0.02 0.01
query8 0.05 0.04 0.04
query9 0.55 0.49 0.48
query10 0.55 0.54 0.55
query11 0.16 0.11 0.12
query12 0.14 0.12 0.12
query13 0.60 0.59 0.58
query14 0.79 0.77 0.77
query15 0.85 0.82 0.82
query16 0.37 0.35 0.34
query17 0.96 0.97 0.96
query18 0.23 0.23 0.28
query19 1.76 1.75 1.65
query20 0.02 0.01 0.00
query21 15.40 0.79 0.65
query22 3.67 8.01 1.77
query23 18.22 1.38 1.38
query24 2.14 0.22 0.22
query25 0.16 0.08 0.10
query26 0.29 0.22 0.22
query27 0.45 0.24 0.23
query28 13.24 1.02 0.99
query29 12.58 3.37 3.30
query30 0.25 0.06 0.05
query31 2.88 0.39 0.37
query32 3.27 0.49 0.48
query33 2.93 2.97 2.96
query34 16.87 4.38 4.35
query35 4.49 4.42 4.46
query36 0.65 0.45 0.48
query37 0.18 0.14 0.15
query38 0.15 0.14 0.14
query39 0.05 0.03 0.04
query40 0.15 0.13 0.12
query41 0.09 0.04 0.05
query42 0.05 0.05 0.04
query43 0.05 0.04 0.04
Total cold run time: 108.92 s
Total hot run time: 30.52 s
run buildall
clang-tidy review says "All clean, LGTM! :+1:"