doris
doris copied to clipboard
apache
[Fix]add set thread num config for wg flush pool
Proposed changes
calculate workload group's mem table flush pool 's thread num by cpu and disk num, other wise it may cause mem table flush cost more memory than not enable workload group.
Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR
Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.
TPC-H: Total hot run time: 40079 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 05b668263f8d05902f195a857f24cda530807dc8, data reload: false
------ Round 1 ----------------------------------
q1 17610 4411 4314 4314
q2 2017 191 196 191
q3 10483 1201 1145 1145
q4 10195 863 827 827
q5 7555 2655 2700 2655
q6 215 133 134 133
q7 952 595 604 595
q8 9227 2118 2078 2078
q9 8954 6476 6502 6476
q10 9028 3717 3758 3717
q11 460 233 233 233
q12 455 237 231 231
q13 17774 2981 2976 2976
q14 268 239 232 232
q15 524 468 483 468
q16 531 378 382 378
q17 973 750 663 663
q18 8037 7497 7400 7400
q19 5592 1430 1537 1430
q20 661 325 336 325
q21 4958 3266 3899 3266
q22 409 350 346 346
Total cold run time: 116878 ms
Total hot run time: 40079 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4404 4251 4254 4251
q2 380 289 265 265
q3 2999 3006 2879 2879
q4 1945 1694 1772 1694
q5 5640 5479 5460 5460
q6 224 127 135 127
q7 2187 1907 1851 1851
q8 3253 3406 3440 3406
q9 8752 8711 8827 8711
q10 4131 3805 3723 3723
q11 598 498 514 498
q12 826 638 651 638
q13 17192 3170 3171 3170
q14 300 310 279 279
q15 519 490 470 470
q16 531 426 439 426
q17 1852 1523 1520 1520
q18 8146 8017 7853 7853
q19 2236 1655 1768 1655
q20 2881 1869 1850 1850
q21 5118 4982 4858 4858
q22 645 581 580 580
Total cold run time: 74759 ms
Total hot run time: 56164 ms
TPC-DS: Total hot run time: 174362 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 05b668263f8d05902f195a857f24cda530807dc8, data reload: false
query1 929 387 371 371
query2 6460 2492 2385 2385
query3 6637 207 209 207
query4 19381 17672 17189 17189
query5 3682 460 462 460
query6 277 156 156 156
query7 4593 319 295 295
query8 315 295 302 295
query9 8640 2454 2414 2414
query10 551 302 271 271
query11 10588 10064 9827 9827
query12 110 83 81 81
query13 1633 364 370 364
query14 8791 7814 7788 7788
query15 243 190 190 190
query16 7640 264 266 264
query17 1917 559 535 535
query18 1706 273 276 273
query19 197 144 156 144
query20 93 80 86 80
query21 218 127 127 127
query22 4488 4194 4052 4052
query23 34087 33611 33752 33611
query24 10794 2916 2791 2791
query25 587 371 367 367
query26 724 156 158 156
query27 2293 325 338 325
query28 6044 2185 2186 2185
query29 902 615 628 615
query30 257 159 158 158
query31 980 751 758 751
query32 93 54 54 54
query33 735 317 332 317
query34 890 501 496 496
query35 731 621 604 604
query36 1167 991 981 981
query37 142 74 73 73
query38 2976 2794 2810 2794
query39 863 817 819 817
query40 223 128 136 128
query41 55 78 54 54
query42 105 99 109 99
query43 618 539 544 539
query44 1188 748 729 729
query45 193 168 169 168
query46 1072 714 701 701
query47 1875 1779 1765 1765
query48 371 296 295 295
query49 817 413 417 413
query50 758 376 375 375
query51 6826 6713 6744 6713
query52 108 90 94 90
query53 359 292 284 284
query54 937 454 483 454
query55 76 75 75 75
query56 276 264 254 254
query57 1122 1031 1045 1031
query58 235 228 235 228
query59 3579 3424 3323 3323
query60 298 271 285 271
query61 94 94 94 94
query62 619 439 426 426
query63 317 291 286 286
query64 8545 2229 1794 1794
query65 3158 3094 3100 3094
query66 722 322 323 322
query67 15333 14981 14794 14794
query68 6060 552 536 536
query69 564 510 408 408
query70 1197 1142 1138 1138
query71 467 291 278 278
query72 7634 5632 5293 5293
query73 778 325 317 317
query74 5869 5607 5446 5446
query75 3792 2657 2635 2635
query76 3738 974 974 974
query77 624 300 300 300
query78 10791 9766 9712 9712
query79 2569 515 520 515
query80 1509 470 462 462
query81 555 218 220 218
query82 1422 109 105 105
query83 190 168 171 168
query84 271 87 90 87
query85 1277 290 274 274
query86 458 327 309 309
query87 3279 3099 3046 3046
query88 3938 2374 2381 2374
query89 479 391 372 372
query90 1793 197 197 197
query91 142 113 113 113
query92 61 50 51 50
query93 3065 525 518 518
query94 1078 201 200 200
query95 417 330 332 330
query96 602 272 271 271
query97 3249 3018 3023 3018
query98 226 200 197 197
query99 1284 839 846 839
Total cold run time: 272611 ms
Total hot run time: 174362 ms
ClickBench: Total hot run time: 30.91 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 05b668263f8d05902f195a857f24cda530807dc8, data reload: false
query1 0.04 0.03 0.03
query2 0.08 0.04 0.04
query3 0.23 0.05 0.05
query4 1.68 0.07 0.07
query5 0.52 0.49 0.50
query6 1.16 0.72 0.72
query7 0.02 0.01 0.02
query8 0.05 0.04 0.05
query9 0.56 0.50 0.49
query10 0.53 0.54 0.54
query11 0.16 0.11 0.11
query12 0.15 0.12 0.12
query13 0.58 0.59 0.60
query14 0.78 0.77 0.78
query15 0.83 0.81 0.82
query16 0.37 0.36 0.38
query17 1.05 1.03 1.06
query18 0.22 0.27 0.23
query19 1.82 1.80 1.75
query20 0.01 0.01 0.01
query21 15.44 0.75 0.66
query22 4.99 6.77 2.14
query23 18.24 1.31 1.20
query24 2.10 0.23 0.22
query25 0.15 0.09 0.09
query26 0.27 0.18 0.16
query27 0.08 0.07 0.08
query28 13.18 1.02 0.99
query29 12.64 3.27 3.26
query30 0.25 0.06 0.06
query31 2.87 0.39 0.38
query32 3.28 0.48 0.49
query33 2.91 2.92 2.92
query34 16.96 4.41 4.41
query35 4.56 4.53 4.53
query36 0.65 0.48 0.48
query37 0.19 0.15 0.15
query38 0.15 0.14 0.15
query39 0.05 0.03 0.04
query40 0.18 0.15 0.16
query41 0.09 0.05 0.04
query42 0.05 0.05 0.05
query43 0.05 0.04 0.04
Total cold run time: 110.17 s
Total hot run time: 30.91 s
TPC-H: Total hot run time: 41367 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 3828097539251540210f87f1d75d42f3dc4eecba, data reload: false
------ Round 1 ----------------------------------
q1 17621 4942 4414 4414
q2 2032 197 194 194
q3 10441 1262 1120 1120
q4 10187 787 845 787
q5 7496 2732 2703 2703
q6 221 138 140 138
q7 951 602 615 602
q8 9231 2129 2107 2107
q9 9116 6588 6599 6588
q10 9031 3791 3814 3791
q11 464 253 247 247
q12 410 240 232 232
q13 18997 3014 3032 3014
q14 268 231 231 231
q15 542 496 492 492
q16 533 384 392 384
q17 1016 640 671 640
q18 8389 7696 7663 7663
q19 7567 1398 1471 1398
q20 651 320 342 320
q21 5101 3960 3999 3960
q22 399 346 342 342
Total cold run time: 120664 ms
Total hot run time: 41367 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4478 4281 4277 4277
q2 370 258 270 258
q3 3031 2749 2748 2748
q4 1884 1607 1619 1607
q5 5272 5347 5323 5323
q6 223 132 134 132
q7 2165 1779 1767 1767
q8 3246 3357 3347 3347
q9 8505 8496 8404 8404
q10 3884 3710 3658 3658
q11 584 497 493 493
q12 779 642 587 587
q13 17644 3038 2984 2984
q14 302 272 268 268
q15 531 497 491 491
q16 482 417 417 417
q17 1840 1494 1478 1478
q18 7891 7615 7557 7557
q19 1690 1471 1558 1471
q20 2036 1810 1794 1794
q21 5095 4945 4882 4882
q22 647 567 581 567
Total cold run time: 72579 ms
Total hot run time: 54510 ms
TPC-DS: Total hot run time: 173154 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 3828097539251540210f87f1d75d42f3dc4eecba, data reload: false
query1 916 390 385 385
query2 6461 2457 2510 2457
query3 6653 207 213 207
query4 19043 17630 17196 17196
query5 4212 513 495 495
query6 267 166 168 166
query7 4591 287 299 287
query8 301 279 288 279
query9 8690 2428 2395 2395
query10 622 308 283 283
query11 10474 10004 10011 10004
query12 133 82 79 79
query13 1634 379 362 362
query14 9476 6961 7274 6961
query15 230 187 192 187
query16 7807 265 265 265
query17 1490 529 527 527
query18 1956 267 276 267
query19 195 166 156 156
query20 92 84 88 84
query21 222 141 130 130
query22 4359 4035 4033 4033
query23 33959 33023 33063 33023
query24 12430 2799 2871 2799
query25 675 365 369 365
query26 1846 157 156 156
query27 3062 309 310 309
query28 7355 2065 2057 2057
query29 1196 622 614 614
query30 287 157 152 152
query31 975 747 769 747
query32 98 54 53 53
query33 766 289 287 287
query34 983 475 474 474
query35 737 620 618 618
query36 1114 944 941 941
query37 293 78 75 75
query38 2890 2720 2781 2720
query39 862 826 817 817
query40 282 124 126 124
query41 54 53 52 52
query42 120 102 106 102
query43 611 579 571 571
query44 1261 733 739 733
query45 192 158 164 158
query46 1080 743 748 743
query47 1842 1760 1745 1745
query48 391 289 295 289
query49 1206 421 411 411
query50 773 390 403 390
query51 6900 6821 6772 6772
query52 104 94 99 94
query53 370 301 308 301
query54 946 440 441 440
query55 78 71 74 71
query56 285 260 295 260
query57 1136 1092 1077 1077
query58 271 273 255 255
query59 3653 3332 3099 3099
query60 314 277 276 276
query61 93 91 93 91
query62 646 447 456 447
query63 324 300 294 294
query64 9858 2237 1822 1822
query65 3164 3109 3135 3109
query66 1396 353 341 341
query67 15583 14883 15060 14883
query68 6125 546 541 541
query69 655 430 393 393
query70 1240 1176 1171 1171
query71 490 285 275 275
query72 7086 5332 5903 5332
query73 793 326 324 324
query74 5820 5449 5487 5449
query75 4001 2675 2625 2625
query76 4394 996 937 937
query77 657 312 321 312
query78 10385 10073 9791 9791
query79 2201 510 534 510
query80 1702 484 473 473
query81 580 220 221 220
query82 875 112 113 112
query83 263 171 174 171
query84 266 86 88 86
query85 1429 282 270 270
query86 467 308 316 308
query87 3281 3082 3057 3057
query88 3550 2375 2387 2375
query89 474 390 410 390
query90 1866 189 191 189
query91 127 100 100 100
query92 63 50 51 50
query93 2056 509 498 498
query94 1158 193 191 191
query95 408 319 329 319
query96 592 274 268 268
query97 3215 3019 3025 3019
query98 221 208 195 195
query99 1197 841 852 841
Total cold run time: 279922 ms
Total hot run time: 173154 ms
ClickBench: Total hot run time: 31.92 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 3828097539251540210f87f1d75d42f3dc4eecba, data reload: false
query1 0.04 0.04 0.04
query2 0.08 0.04 0.04
query3 0.22 0.05 0.05
query4 1.67 0.09 0.08
query5 0.50 0.48 0.49
query6 1.13 0.73 0.72
query7 0.03 0.02 0.02
query8 0.05 0.04 0.04
query9 0.57 0.50 0.49
query10 0.55 0.56 0.53
query11 0.15 0.12 0.11
query12 0.14 0.12 0.12
query13 0.60 0.60 0.60
query14 0.78 0.78 0.78
query15 0.85 0.81 0.82
query16 0.35 0.38 0.36
query17 0.98 0.98 0.97
query18 0.21 0.26 0.26
query19 1.79 1.69 1.79
query20 0.01 0.01 0.02
query21 15.46 0.75 0.66
query22 4.71 5.39 3.27
query23 18.27 1.36 1.25
query24 2.03 0.25 0.22
query25 0.16 0.08 0.09
query26 0.27 0.18 0.18
query27 0.08 0.08 0.07
query28 13.25 1.02 1.00
query29 12.64 3.26 3.31
query30 0.25 0.06 0.05
query31 2.87 0.40 0.38
query32 3.25 0.48 0.48
query33 2.93 2.91 2.87
query34 16.91 4.44 4.43
query35 4.48 4.50 4.46
query36 0.64 0.48 0.47
query37 0.18 0.15 0.15
query38 0.16 0.14 0.15
query39 0.04 0.03 0.04
query40 0.18 0.15 0.14
query41 0.10 0.05 0.05
query42 0.06 0.05 0.04
query43 0.05 0.04 0.04
Total cold run time: 109.67 s
Total hot run time: 31.92 s
TPC-H: Total hot run time: 40404 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 0803305d59dbf9342ce57cb9f68d5b93feca0bb5, data reload: false
------ Round 1 ----------------------------------
q1 18057 4543 4413 4413
q2 2848 191 202 191
q3 11435 1238 1238 1238
q4 10360 870 792 792
q5 7516 2764 2802 2764
q6 225 141 143 141
q7 977 627 614 614
q8 9353 2111 2086 2086
q9 9058 6511 6493 6493
q10 8802 3768 3729 3729
q11 453 243 238 238
q12 400 241 234 234
q13 17768 2984 3004 2984
q14 274 224 215 215
q15 529 477 491 477
q16 527 376 378 376
q17 978 668 709 668
q18 8185 7549 7486 7486
q19 4244 1445 1501 1445
q20 665 322 334 322
q21 4996 3803 3158 3158
q22 395 340 345 340
Total cold run time: 118045 ms
Total hot run time: 40404 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4355 4280 4259 4259
q2 379 267 269 267
q3 2958 2696 2658 2658
q4 1884 1610 1656 1610
q5 5265 5289 5310 5289
q6 221 132 131 131
q7 2153 1748 1714 1714
q8 3183 3371 3307 3307
q9 8447 8431 8405 8405
q10 3950 3637 3683 3637
q11 578 489 482 482
q12 804 598 608 598
q13 16625 2976 3020 2976
q14 289 268 264 264
q15 523 479 489 479
q16 467 408 426 408
q17 1787 1459 1478 1459
q18 7634 7591 7398 7398
q19 1685 1732 1530 1530
q20 2003 1779 1764 1764
q21 4858 4758 4744 4744
q22 615 537 556 537
Total cold run time: 70663 ms
Total hot run time: 53916 ms
PR approved by at least one committer and no changes requested.
![github-actions[bot] avatar](https://avatars.githubusercontent.com/in/15368?v=4 "Published by a pub.dev verified publisher"){kind=small}
TPC-H: Total hot run time: 40207 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 97f7c6a443589fca80c434bbc141b776d2ade2dc, data reload: false
------ Round 1 ----------------------------------
q1 17605 4646 4313 4313
q2 2018 195 195 195
q3 10434 1290 1048 1048
q4 10200 865 722 722
q5 7522 2694 2674 2674
q6 225 143 141 141
q7 966 611 612 611
q8 9234 2106 2102 2102
q9 9022 6552 6538 6538
q10 9089 3773 3704 3704
q11 460 248 250 248
q12 524 242 244 242
q13 17761 3039 3023 3023
q14 273 221 226 221
q15 529 478 478 478
q16 495 389 378 378
q17 1045 728 753 728
q18 8008 7492 7445 7445
q19 7361 1413 1480 1413
q20 674 328 333 328
q21 5168 3959 3316 3316
q22 407 342 339 339
Total cold run time: 119020 ms
Total hot run time: 40207 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4423 4345 4307 4307
q2 380 266 273 266
q3 3135 2862 2892 2862
q4 2042 1807 1746 1746
q5 5544 5527 5511 5511
q6 260 142 137 137
q7 2299 1859 1893 1859
q8 3368 3492 3491 3491
q9 8774 8819 8802 8802
q10 4196 3711 3865 3711
q11 601 485 506 485
q12 815 669 668 668
q13 16421 3179 3170 3170
q14 317 280 291 280
q15 544 487 482 482
q16 487 466 444 444
q17 1841 1561 1543 1543
q18 8257 8065 7901 7901
q19 1774 1525 1488 1488
q20 2614 1872 1851 1851
q21 5258 5074 4847 4847
q22 658 538 585 538
Total cold run time: 74008 ms
Total hot run time: 56389 ms
TPC-DS: Total hot run time: 173694 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 97f7c6a443589fca80c434bbc141b776d2ade2dc, data reload: false
query1 905 389 376 376
query2 6479 2355 2277 2277
query3 6620 214 224 214
query4 19303 17511 17431 17431
query5 3714 472 482 472
query6 263 177 162 162
query7 4596 297 288 288
query8 332 298 295 295
query9 8509 2394 2368 2368
query10 579 303 276 276
query11 10623 10185 10225 10185
query12 117 90 82 82
query13 1644 367 357 357
query14 9563 6181 6262 6181
query15 223 184 187 184
query16 7494 271 278 271
query17 1397 565 532 532
query18 1890 289 281 281
query19 209 159 155 155
query20 92 84 86 84
query21 210 135 129 129
query22 4340 4428 4090 4090
query23 33894 33797 33812 33797
query24 11170 2868 2887 2868
query25 671 398 408 398
query26 973 161 158 158
query27 2404 335 335 335
query28 5882 2162 2151 2151
query29 921 648 685 648
query30 238 157 153 153
query31 1008 781 785 781
query32 99 54 57 54
query33 785 302 307 302
query34 994 484 487 484
query35 775 648 635 635
query36 1127 991 979 979
query37 151 83 82 82
query38 2989 2830 2896 2830
query39 887 863 853 853
query40 227 150 128 128
query41 56 55 53 53
query42 124 106 110 106
query43 662 553 543 543
query44 1194 724 739 724
query45 202 166 163 163
query46 1079 729 727 727
query47 1876 1799 1807 1799
query48 355 297 290 290
query49 851 399 427 399
query50 770 381 390 381
query51 6854 6752 6741 6741
query52 103 92 90 90
query53 357 284 292 284
query54 921 439 439 439
query55 74 72 73 72
query56 284 268 256 256
query57 1116 1051 1063 1051
query58 240 256 250 250
query59 3435 3137 3113 3113
query60 324 267 280 267
query61 88 96 90 90
query62 605 432 446 432
query63 317 293 284 284
query64 8675 2194 1714 1714
query65 3179 3297 3122 3122
query66 769 327 322 322
query67 15835 15183 15185 15183
query68 7733 543 546 543
query69 658 484 351 351
query70 1222 1165 1170 1165
query71 511 286 265 265
query72 8489 5818 4947 4947
query73 799 326 322 322
query74 5914 5607 5609 5607
query75 4697 2682 2702 2682
query76 4687 980 937 937
query77 733 304 303 303
query78 10424 9736 9721 9721
query79 7864 525 515 515
query80 1163 492 466 466
query81 583 219 229 219
query82 764 103 106 103
query83 279 168 169 168
query84 278 82 86 82
query85 1314 275 313 275
query86 420 285 324 285
query87 3333 3133 3135 3133
query88 4787 2376 2352 2352
query89 491 392 385 385
query90 1888 190 187 187
query91 130 98 99 98
query92 59 52 49 49
query93 5784 501 509 501
query94 1102 186 184 184
query95 403 305 322 305
query96 606 271 265 265
query97 3332 3004 3047 3004
query98 229 209 199 199
query99 1144 855 860 855
Total cold run time: 286462 ms
Total hot run time: 173694 ms
ClickBench: Total hot run time: 31.1 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 97f7c6a443589fca80c434bbc141b776d2ade2dc, data reload: false
query1 0.04 0.04 0.03
query2 0.08 0.04 0.04
query3 0.22 0.05 0.06
query4 1.68 0.08 0.08
query5 0.49 0.48 0.49
query6 1.15 0.74 0.73
query7 0.02 0.01 0.02
query8 0.05 0.04 0.05
query9 0.56 0.49 0.49
query10 0.55 0.55 0.54
query11 0.15 0.12 0.11
query12 0.16 0.12 0.13
query13 0.59 0.58 0.61
query14 0.78 0.78 0.78
query15 0.83 0.80 0.82
query16 0.37 0.37 0.35
query17 0.97 0.98 1.01
query18 0.24 0.25 0.26
query19 1.88 1.75 1.73
query20 0.01 0.01 0.02
query21 15.45 0.74 0.66
query22 4.62 5.84 2.28
query23 18.25 1.38 1.22
query24 2.16 0.22 0.23
query25 0.16 0.09 0.08
query26 0.27 0.17 0.18
query27 0.08 0.08 0.08
query28 13.17 1.03 1.02
query29 12.64 3.33 3.30
query30 0.25 0.06 0.06
query31 2.85 0.38 0.38
query32 3.27 0.47 0.48
query33 2.83 2.92 2.93
query34 17.07 4.47 4.47
query35 4.53 4.51 4.58
query36 0.65 0.46 0.48
query37 0.18 0.16 0.16
query38 0.16 0.15 0.16
query39 0.04 0.03 0.04
query40 0.19 0.14 0.16
query41 0.09 0.05 0.04
query42 0.05 0.05 0.04
query43 0.04 0.05 0.04
Total cold run time: 109.82 s
Total hot run time: 31.1 s