doris
doris copied to clipboard
apache
[fix](multi table) restrict the multi tables load memory under high concurrency with a large number of tables
BE node was killed by OOM-killer when use multi table load under high concurrency with a large number of tables(128 concurrency and every concurrency load 200 tables).
This pr restricts the multi tables load memory under this issue. If memory reaches hard limit, new task will be rejected and return directly.
Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR
Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.
![github-actions[bot] avatar](https://avatars.githubusercontent.com/in/15368?v=4 "Published by a pub.dev verified publisher"){kind=small}
TPC-H: Total hot run time: 37495 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit ed5498af4b4b84d55c3c4da18ec960e831cbf57f, data reload: false
------ Round 1 ----------------------------------
q1 17611 4443 4262 4262
q2 2013 190 171 171
q3 11854 957 1193 957
q4 10501 758 786 758
q5 7733 2842 2772 2772
q6 220 136 135 135
q7 947 606 593 593
q8 9325 2098 2037 2037
q9 7279 6476 6556 6476
q10 7008 2199 2234 2199
q11 455 241 243 241
q12 392 225 225 225
q13 18731 3010 3056 3010
q14 272 238 235 235
q15 515 477 498 477
q16 492 391 392 391
q17 972 677 712 677
q18 7247 6871 6701 6701
q19 1384 1000 1004 1000
q20 685 342 332 332
q21 3863 2831 3102 2831
q22 1121 1036 1015 1015
Total cold run time: 110620 ms
Total hot run time: 37495 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4327 4257 4248 4248
q2 372 272 279 272
q3 2879 2659 2677 2659
q4 1936 1679 1647 1647
q5 5565 5688 5640 5640
q6 225 136 139 136
q7 2259 1865 1820 1820
q8 3294 3409 3416 3409
q9 8973 8864 8860 8860
q10 3589 3363 3378 3363
q11 620 501 534 501
q12 819 665 650 650
q13 14474 3216 3225 3216
q14 316 299 283 283
q15 533 485 513 485
q16 493 440 438 438
q17 1825 1542 1527 1527
q18 8107 7748 8079 7748
q19 1761 1423 1472 1423
q20 2128 1916 1886 1886
q21 5839 5484 5436 5436
q22 1145 1037 1045 1037
Total cold run time: 71479 ms
Total hot run time: 56684 ms
TPC-DS: Total hot run time: 191712 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit ed5498af4b4b84d55c3c4da18ec960e831cbf57f, data reload: false
query1 1258 869 866 866
query2 6274 1920 1912 1912
query3 10725 4093 4048 4048
query4 60110 24821 23077 23077
query5 5445 506 509 506
query6 415 160 188 160
query7 5872 295 291 291
query8 291 205 202 202
query9 8711 2515 2479 2479
query10 484 268 257 257
query11 18195 14952 15293 14952
query12 155 105 105 105
query13 1510 407 371 371
query14 10841 6961 7611 6961
query15 258 183 185 183
query16 7165 485 519 485
query17 1179 556 569 556
query18 1932 310 280 280
query19 291 149 146 146
query20 122 111 111 111
query21 213 105 104 104
query22 4612 4472 4579 4472
query23 34326 33276 33177 33177
query24 5885 2813 2793 2793
query25 526 386 382 382
query26 678 159 159 159
query27 1785 291 280 280
query28 3635 2060 2036 2036
query29 691 427 427 427
query30 241 154 155 154
query31 925 764 765 764
query32 83 57 57 57
query33 418 318 304 304
query34 848 480 477 477
query35 854 728 724 724
query36 1084 956 917 917
query37 144 89 83 83
query38 4020 3924 3855 3855
query39 1476 1392 1424 1392
query40 191 117 115 115
query41 48 45 43 43
query42 118 94 94 94
query43 508 467 477 467
query44 1101 737 749 737
query45 194 165 163 163
query46 1074 740 763 740
query47 1915 1792 1817 1792
query48 365 286 288 286
query49 750 418 425 418
query50 811 416 417 416
query51 7194 7064 6960 6960
query52 100 89 85 85
query53 252 175 181 175
query54 557 438 447 438
query55 76 77 78 77
query56 278 245 254 245
query57 1205 1085 1056 1056
query58 220 236 223 223
query59 2928 2742 2628 2628
query60 293 262 293 262
query61 101 94 97 94
query62 742 660 668 660
query63 215 181 184 181
query64 2810 680 688 680
query65 3204 3097 3128 3097
query66 619 338 351 338
query67 15169 15333 15162 15162
query68 2875 565 567 565
query69 407 267 279 267
query70 1101 1131 1051 1051
query71 341 275 274 274
query72 5285 4016 4060 4016
query73 753 338 340 338
query74 9279 8877 8826 8826
query75 3340 2638 2703 2638
query76 1314 931 978 931
query77 528 310 318 310
query78 9703 9651 9069 9069
query79 1062 536 527 527
query80 672 509 529 509
query81 453 229 225 225
query82 237 138 133 133
query83 171 147 148 147
query84 257 79 75 75
query85 725 285 282 282
query86 297 303 293 293
query87 4531 4306 4445 4306
query88 3097 2348 2350 2348
query89 384 285 283 283
query90 1760 193 194 193
query91 121 100 95 95
query92 57 49 48 48
query93 1055 526 523 523
query94 529 290 298 290
query95 337 265 254 254
query96 602 268 268 268
query97 3210 3017 3068 3017
query98 215 204 193 193
query99 1519 1281 1294 1281
Total cold run time: 302932 ms
Total hot run time: 191712 ms
ClickBench: Total hot run time: 31.06 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit ed5498af4b4b84d55c3c4da18ec960e831cbf57f, data reload: false
query1 0.05 0.05 0.04
query2 0.08 0.04 0.04
query3 0.22 0.05 0.05
query4 1.68 0.08 0.08
query5 0.49 0.49 0.50
query6 1.12 0.72 0.72
query7 0.02 0.02 0.01
query8 0.06 0.05 0.05
query9 0.56 0.50 0.49
query10 0.54 0.54 0.55
query11 0.16 0.12 0.12
query12 0.15 0.12 0.12
query13 0.60 0.59 0.58
query14 0.76 0.79 0.78
query15 0.84 0.81 0.80
query16 0.35 0.38 0.36
query17 1.00 0.97 0.98
query18 0.20 0.19 0.20
query19 1.84 1.82 1.73
query20 0.01 0.01 0.01
query21 15.39 0.69 0.67
query22 4.44 6.68 2.34
query23 18.32 1.36 1.27
query24 2.10 0.22 0.24
query25 0.14 0.07 0.08
query26 0.27 0.18 0.17
query27 0.07 0.08 0.08
query28 13.27 1.02 0.99
query29 12.64 3.34 3.34
query30 0.24 0.05 0.05
query31 2.88 0.42 0.39
query32 3.28 0.47 0.47
query33 2.98 2.95 2.98
query34 16.98 4.40 4.48
query35 4.48 4.48 4.43
query36 0.66 0.50 0.47
query37 0.19 0.16 0.16
query38 0.16 0.14 0.15
query39 0.04 0.03 0.04
query40 0.15 0.12 0.12
query41 0.09 0.04 0.04
query42 0.05 0.05 0.05
query43 0.04 0.05 0.04
Total cold run time: 109.59 s
Total hot run time: 31.06 s
TPC-H: Total hot run time: 38004 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit a1a1bfcfa95759051cf11a75a9d0d5787efd8969, data reload: false
------ Round 1 ----------------------------------
q1 18099 4735 4391 4391
q2 2080 181 176 176
q3 10475 1243 1136 1136
q4 10152 692 736 692
q5 7740 2898 2848 2848
q6 222 136 135 135
q7 967 617 597 597
q8 9322 2094 2077 2077
q9 7287 6559 6545 6545
q10 7013 2227 2258 2227
q11 444 249 241 241
q12 397 217 219 217
q13 17793 3008 3032 3008
q14 279 222 235 222
q15 509 492 490 490
q16 493 399 386 386
q17 984 692 731 692
q18 7449 6861 6834 6834
q19 1396 1052 1023 1023
q20 708 337 333 333
q21 4221 2941 2713 2713
q22 1132 1021 1024 1021
Total cold run time: 109162 ms
Total hot run time: 38004 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4384 4273 4324 4273
q2 369 286 272 272
q3 2909 2710 2597 2597
q4 1929 1601 1674 1601
q5 5399 5427 5388 5388
q6 216 126 126 126
q7 2137 1713 1752 1713
q8 3194 3363 3336 3336
q9 8415 8449 8469 8449
q10 3441 3196 3161 3161
q11 593 492 487 487
q12 806 578 593 578
q13 13111 3072 3025 3025
q14 295 275 272 272
q15 523 480 487 480
q16 488 422 430 422
q17 1801 1493 1467 1467
q18 7762 7379 7352 7352
q19 1649 1464 1597 1464
q20 2068 1840 1828 1828
q21 5385 5284 5131 5131
q22 1119 1043 1056 1043
Total cold run time: 67993 ms
Total hot run time: 54465 ms
TPC-DS: Total hot run time: 187908 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit a1a1bfcfa95759051cf11a75a9d0d5787efd8969, data reload: false
query1 902 372 374 372
query2 6450 1875 1845 1845
query3 6654 212 221 212
query4 34082 23025 23077 23025
query5 4171 529 504 504
query6 267 165 165 165
query7 4582 297 293 293
query8 259 223 213 213
query9 8440 2526 2521 2521
query10 439 263 268 263
query11 16793 15151 15038 15038
query12 161 104 101 101
query13 1633 389 384 384
query14 8833 7335 7141 7141
query15 260 165 187 165
query16 8083 456 468 456
query17 1578 558 548 548
query18 2120 286 285 285
query19 288 144 144 144
query20 116 110 108 108
query21 212 112 104 104
query22 4630 4319 4090 4090
query23 33996 33279 33474 33279
query24 11134 2847 2858 2847
query25 622 381 393 381
query26 1147 155 154 154
query27 2430 287 282 282
query28 7096 2077 2069 2069
query29 817 419 422 419
query30 307 152 149 149
query31 988 741 765 741
query32 97 54 58 54
query33 747 283 280 280
query34 970 490 515 490
query35 866 703 728 703
query36 1093 925 937 925
query37 159 85 80 80
query38 3946 3839 3884 3839
query39 1426 1384 1375 1375
query40 204 127 112 112
query41 47 45 48 45
query42 121 99 101 99
query43 515 467 472 467
query44 1211 770 746 746
query45 198 175 175 175
query46 1119 770 764 764
query47 1915 1812 1785 1785
query48 375 308 297 297
query49 1109 441 442 441
query50 861 404 411 404
query51 7228 7061 7049 7049
query52 104 91 91 91
query53 249 190 179 179
query54 931 460 452 452
query55 83 76 77 76
query56 267 261 259 259
query57 1197 1108 1067 1067
query58 243 230 236 230
query59 2887 2742 2656 2656
query60 301 265 265 265
query61 106 102 100 100
query62 829 654 657 654
query63 210 187 186 186
query64 4270 680 640 640
query65 3213 3212 3127 3127
query66 1425 336 338 336
query67 15636 15270 15247 15247
query68 3476 580 569 569
query69 397 276 285 276
query70 1175 1066 1071 1066
query71 330 276 278 276
query72 6400 4028 4053 4028
query73 753 339 338 338
query74 9112 8801 8870 8801
query75 3404 2730 2722 2722
query76 1906 1077 976 976
query77 482 310 323 310
query78 10008 9732 8996 8996
query79 1067 541 542 541
query80 803 530 535 530
query81 555 229 234 229
query82 701 142 138 138
query83 239 160 157 157
query84 241 84 84 84
query85 1008 346 341 341
query86 300 297 293 293
query87 4350 4189 4290 4189
query88 3024 2427 2422 2422
query89 382 293 291 291
query90 1669 202 195 195
query91 133 113 136 113
query92 60 53 55 53
query93 1046 545 543 543
query94 530 311 305 305
query95 357 274 271 271
query96 593 271 277 271
query97 3195 3089 3100 3089
query98 225 207 200 200
query99 1497 1302 1313 1302
Total cold run time: 285066 ms
Total hot run time: 187908 ms
ClickBench: Total hot run time: 30.75 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit a1a1bfcfa95759051cf11a75a9d0d5787efd8969, data reload: false
query1 0.04 0.04 0.04
query2 0.08 0.04 0.04
query3 0.23 0.07 0.06
query4 1.65 0.08 0.09
query5 0.50 0.49 0.51
query6 1.12 0.72 0.72
query7 0.03 0.01 0.01
query8 0.06 0.04 0.05
query9 0.53 0.49 0.50
query10 0.54 0.53 0.55
query11 0.15 0.12 0.12
query12 0.14 0.11 0.11
query13 0.60 0.58 0.59
query14 0.77 0.79 0.77
query15 0.88 0.81 0.80
query16 0.39 0.38 0.36
query17 1.07 1.04 0.99
query18 0.21 0.20 0.20
query19 1.92 1.86 1.83
query20 0.02 0.01 0.01
query21 15.41 0.67 0.66
query22 4.53 6.22 2.10
query23 18.31 1.47 1.22
query24 2.14 0.24 0.22
query25 0.15 0.09 0.08
query26 0.26 0.17 0.18
query27 0.07 0.07 0.08
query28 13.16 1.02 0.98
query29 12.62 3.32 3.23
query30 0.24 0.07 0.06
query31 2.86 0.39 0.39
query32 3.28 0.47 0.47
query33 2.98 2.98 3.01
query34 16.97 4.36 4.40
query35 4.50 4.43 4.48
query36 0.66 0.46 0.46
query37 0.18 0.15 0.16
query38 0.17 0.14 0.15
query39 0.04 0.04 0.03
query40 0.15 0.13 0.13
query41 0.09 0.06 0.06
query42 0.07 0.05 0.05
query43 0.05 0.05 0.04
Total cold run time: 109.82 s
Total hot run time: 30.75 s
TPC-H: Total hot run time: 37646 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit a6053661e1e7d0ea76eeac9d2a728d8f2daf8c2c, data reload: false
------ Round 1 ----------------------------------
q1 17604 4371 4326 4326
q2 2028 184 179 179
q3 11793 929 1139 929
q4 10532 814 741 741
q5 7790 2817 2808 2808
q6 223 137 135 135
q7 969 611 620 611
q8 9325 2074 2095 2074
q9 7156 6524 6559 6524
q10 7005 2147 2212 2147
q11 455 245 249 245
q12 399 223 220 220
q13 17757 3046 3024 3024
q14 272 233 231 231
q15 534 497 488 488
q16 513 420 396 396
q17 985 765 711 711
q18 7290 6755 6948 6755
q19 1384 1018 990 990
q20 665 346 341 341
q21 3917 3051 2770 2770
q22 1104 1003 1001 1001
Total cold run time: 109700 ms
Total hot run time: 37646 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4428 4359 4287 4287
q2 380 289 274 274
q3 2884 2670 2684 2670
q4 1954 1717 1697 1697
q5 5571 5683 5756 5683
q6 233 136 141 136
q7 2297 1839 1843 1839
q8 3282 3468 3518 3468
q9 8850 8802 8768 8768
q10 3606 3419 3357 3357
q11 626 512 505 505
q12 828 681 650 650
q13 13947 3192 3287 3192
q14 330 299 290 290
q15 534 491 478 478
q16 514 457 468 457
q17 1847 1580 1536 1536
q18 8248 7919 8057 7919
q19 1731 1571 1571 1571
q20 2171 1887 1912 1887
q21 5789 5594 5521 5521
q22 1122 1046 1005 1005
Total cold run time: 71172 ms
Total hot run time: 57190 ms
TPC-DS: Total hot run time: 192429 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit a6053661e1e7d0ea76eeac9d2a728d8f2daf8c2c, data reload: false
query1 1248 910 881 881
query2 6194 1936 1928 1928
query3 10630 4041 3973 3973
query4 59671 23872 23199 23199
query5 5413 528 505 505
query6 404 164 171 164
query7 5776 300 302 300
query8 287 215 209 209
query9 9187 2492 2479 2479
query10 508 279 268 268
query11 18154 15163 15125 15125
query12 169 118 111 111
query13 1578 422 396 396
query14 11068 7051 6603 6603
query15 252 191 183 183
query16 7706 496 540 496
query17 1127 572 559 559
query18 1875 319 313 313
query19 292 151 155 151
query20 119 110 112 110
query21 203 115 109 109
query22 4618 4352 4301 4301
query23 34393 33759 33565 33565
query24 6007 2879 2925 2879
query25 525 383 380 380
query26 690 184 162 162
query27 1770 291 294 291
query28 3761 2082 2059 2059
query29 679 413 409 409
query30 227 152 156 152
query31 907 774 751 751
query32 86 55 56 55
query33 482 312 287 287
query34 860 488 496 488
query35 869 715 707 707
query36 1058 954 914 914
query37 141 82 82 82
query38 4083 3812 3913 3812
query39 1424 1413 1404 1404
query40 199 117 115 115
query41 45 47 45 45
query42 122 101 100 100
query43 519 464 457 457
query44 1105 766 750 750
query45 202 176 167 167
query46 1106 762 763 762
query47 1866 1807 1783 1783
query48 425 319 311 311
query49 781 446 484 446
query50 822 425 417 417
query51 7225 6946 6948 6946
query52 105 90 86 86
query53 255 183 187 183
query54 590 477 472 472
query55 79 80 81 80
query56 285 252 264 252
query57 1182 1081 1089 1081
query58 235 235 227 227
query59 3055 2832 2814 2814
query60 299 260 278 260
query61 103 98 99 98
query62 724 640 648 640
query63 223 188 192 188
query64 2878 677 671 671
query65 3256 3142 3154 3142
query66 684 337 340 337
query67 15408 15296 15174 15174
query68 2952 603 591 591
query69 401 284 285 284
query70 1135 1161 1046 1046
query71 344 280 292 280
query72 5406 4109 3966 3966
query73 760 345 346 345
query74 9043 8773 8850 8773
query75 3380 2704 2735 2704
query76 1458 994 1012 994
query77 592 343 353 343
query78 9992 8888 9126 8888
query79 1059 554 544 544
query80 694 524 510 510
query81 467 231 227 227
query82 232 141 142 141
query83 175 152 152 152
query84 255 79 77 77
query85 683 295 291 291
query86 307 311 301 301
query87 4399 4174 4211 4174
query88 3326 2411 2394 2394
query89 388 295 292 292
query90 1962 208 217 208
query91 127 103 104 103
query92 61 52 54 52
query93 1076 539 541 539
query94 714 307 305 305
query95 349 263 265 263
query96 595 273 280 273
query97 3154 3106 3124 3106
query98 213 201 193 193
query99 1516 1313 1306 1306
Total cold run time: 305434 ms
Total hot run time: 192429 ms
ClickBench: Total hot run time: 31.28 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit a6053661e1e7d0ea76eeac9d2a728d8f2daf8c2c, data reload: false
query1 0.05 0.04 0.04
query2 0.08 0.04 0.04
query3 0.23 0.05 0.05
query4 1.67 0.08 0.08
query5 0.50 0.48 0.49
query6 1.12 0.73 0.73
query7 0.02 0.01 0.01
query8 0.05 0.04 0.05
query9 0.55 0.49 0.48
query10 0.54 0.55 0.54
query11 0.16 0.11 0.11
query12 0.15 0.12 0.12
query13 0.61 0.58 0.59
query14 0.78 0.79 0.77
query15 0.85 0.83 0.83
query16 0.38 0.38 0.39
query17 1.02 1.06 1.08
query18 0.21 0.21 0.21
query19 1.95 1.85 1.81
query20 0.01 0.01 0.01
query21 15.39 0.66 0.65
query22 4.53 6.56 2.36
query23 18.25 1.33 1.22
query24 2.12 0.22 0.22
query25 0.16 0.08 0.07
query26 0.26 0.18 0.17
query27 0.08 0.08 0.08
query28 13.27 1.02 1.01
query29 12.65 3.42 3.39
query30 0.24 0.06 0.05
query31 2.87 0.41 0.39
query32 3.26 0.48 0.48
query33 2.98 2.98 2.98
query34 17.20 4.35 4.34
query35 4.50 4.47 4.44
query36 0.66 0.47 0.46
query37 0.18 0.15 0.16
query38 0.15 0.15 0.16
query39 0.04 0.03 0.04
query40 0.16 0.13 0.12
query41 0.10 0.06 0.06
query42 0.06 0.05 0.05
query43 0.04 0.04 0.04
Total cold run time: 110.08 s
Total hot run time: 31.28 s
TPC-H: Total hot run time: 38321 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit fb4b977ebbe61826d26f5a7e369d7445884cd618, data reload: false
------ Round 1 ----------------------------------
q1 18111 4535 4315 4315
q2 2032 188 178 178
q3 11686 991 1183 991
q4 10367 734 748 734
q5 7748 2878 2842 2842
q6 232 137 139 137
q7 977 620 635 620
q8 9359 2129 2122 2122
q9 7083 6549 6514 6514
q10 7004 2245 2181 2181
q11 446 256 251 251
q12 398 230 227 227
q13 18567 3043 3069 3043
q14 274 229 238 229
q15 526 479 503 479
q16 620 517 533 517
q17 995 739 784 739
q18 7509 7087 6873 6873
q19 1386 996 1012 996
q20 686 349 350 349
q21 3989 3264 2971 2971
q22 1118 1013 1031 1013
Total cold run time: 111113 ms
Total hot run time: 38321 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4385 4354 4296 4296
q2 380 282 280 280
q3 2902 2742 2668 2668
q4 1947 1666 1675 1666
q5 5761 5715 5803 5715
q6 235 138 141 138
q7 2264 1900 1795 1795
q8 3291 3470 3518 3470
q9 8933 8851 8902 8851
q10 3571 3426 3390 3390
q11 633 525 502 502
q12 860 716 675 675
q13 14294 3188 3249 3188
q14 327 293 295 293
q15 541 497 501 497
q16 638 577 579 577
q17 1853 1566 1539 1539
q18 8187 7751 7829 7751
q19 1761 1692 1661 1661
q20 2159 1938 1913 1913
q21 5857 5477 5585 5477
q22 1114 1030 1053 1030
Total cold run time: 71893 ms
Total hot run time: 57372 ms
TPC-DS: Total hot run time: 193238 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit fb4b977ebbe61826d26f5a7e369d7445884cd618, data reload: false
query1 1259 898 882 882
query2 6312 2061 1940 1940
query3 10630 3913 4021 3913
query4 59225 23802 23297 23297
query5 5571 514 522 514
query6 418 182 163 163
query7 5757 305 302 302
query8 285 225 216 216
query9 8874 2495 2494 2494
query10 509 292 280 280
query11 17729 15116 15113 15113
query12 166 108 105 105
query13 1545 392 378 378
query14 11327 7405 6573 6573
query15 240 179 185 179
query16 7625 469 442 442
query17 1262 595 578 578
query18 1982 292 296 292
query19 279 154 156 154
query20 121 113 118 113
query21 224 114 111 111
query22 4576 4589 4503 4503
query23 34535 33807 33445 33445
query24 5994 2936 2888 2888
query25 524 383 370 370
query26 694 161 162 161
query27 1796 287 285 285
query28 3866 2145 2124 2124
query29 688 408 413 408
query30 239 156 160 156
query31 945 770 775 770
query32 80 53 63 53
query33 464 290 304 290
query34 870 500 488 488
query35 850 757 718 718
query36 1103 935 931 931
query37 147 100 94 94
query38 4027 3904 4053 3904
query39 1454 1399 1404 1399
query40 204 126 120 120
query41 48 47 48 47
query42 126 104 99 99
query43 522 491 480 480
query44 1124 765 762 762
query45 201 175 169 169
query46 1114 792 805 792
query47 1914 1820 1835 1820
query48 380 291 297 291
query49 776 455 460 455
query50 826 429 442 429
query51 7145 6998 7064 6998
query52 102 93 89 89
query53 272 187 189 187
query54 594 472 484 472
query55 81 82 88 82
query56 301 272 271 271
query57 1173 1103 1098 1098
query58 237 243 234 234
query59 3125 2856 2817 2817
query60 312 298 295 295
query61 125 119 121 119
query62 751 635 646 635
query63 230 197 194 194
query64 3060 681 669 669
query65 3257 3170 3180 3170
query66 678 331 343 331
query67 15393 15211 15212 15211
query68 2964 573 582 573
query69 429 276 284 276
query70 1208 1128 1137 1128
query71 355 285 331 285
query72 6243 4080 4040 4040
query73 778 336 334 334
query74 9042 8847 8882 8847
query75 3385 2633 2744 2633
query76 1487 1015 983 983
query77 524 333 341 333
query78 9557 9067 9757 9067
query79 1110 542 536 536
query80 704 526 525 525
query81 473 235 229 229
query82 244 159 155 155
query83 181 148 146 146
query84 253 75 77 75
query85 731 283 338 283
query86 311 292 303 292
query87 4487 4292 4275 4275
query88 3314 2322 2341 2322
query89 396 289 297 289
query90 2032 206 202 202
query91 126 102 114 102
query92 62 52 58 52
query93 1110 549 555 549
query94 727 281 302 281
query95 356 274 273 273
query96 589 273 274 273
query97 3196 3097 3095 3095
query98 223 200 193 193
query99 1529 1282 1230 1230
Total cold run time: 306389 ms
Total hot run time: 193238 ms
ClickBench: Total hot run time: 32.3 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit fb4b977ebbe61826d26f5a7e369d7445884cd618, data reload: false
query1 0.05 0.05 0.04
query2 0.09 0.04 0.04
query3 0.23 0.05 0.05
query4 1.68 0.08 0.08
query5 0.49 0.50 0.49
query6 1.13 0.73 0.74
query7 0.02 0.01 0.01
query8 0.06 0.04 0.05
query9 0.56 0.48 0.48
query10 0.55 0.54 0.54
query11 0.15 0.12 0.11
query12 0.15 0.12 0.13
query13 0.61 0.59 0.59
query14 2.07 2.04 2.02
query15 0.90 0.82 0.82
query16 0.35 0.35 0.37
query17 1.04 0.99 1.04
query18 0.21 0.20 0.22
query19 1.87 1.76 1.76
query20 0.01 0.02 0.01
query21 15.39 0.66 0.66
query22 4.70 6.59 2.13
query23 18.28 1.43 1.32
query24 2.06 0.22 0.23
query25 0.16 0.08 0.09
query26 0.27 0.18 0.18
query27 0.09 0.08 0.08
query28 13.26 1.02 1.00
query29 12.63 3.42 3.42
query30 0.25 0.06 0.05
query31 2.87 0.41 0.40
query32 3.25 0.47 0.47
query33 2.98 2.99 2.94
query34 16.97 4.38 4.34
query35 4.40 4.45 4.46
query36 0.66 0.48 0.48
query37 0.19 0.16 0.16
query38 0.16 0.16 0.15
query39 0.04 0.04 0.04
query40 0.16 0.13 0.12
query41 0.10 0.06 0.05
query42 0.07 0.05 0.05
query43 0.05 0.04 0.04
Total cold run time: 111.21 s
Total hot run time: 32.3 s
TPC-H: Total hot run time: 37931 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 4e62c5d87048ec8b425ec0158d73620ad89b047c, data reload: false
------ Round 1 ----------------------------------
q1 17651 4425 4312 4312
q2 2017 194 196 194
q3 11652 960 1138 960
q4 10521 700 683 683
q5 7760 2849 2817 2817
q6 231 140 139 139
q7 960 623 600 600
q8 9301 2068 2092 2068
q9 7042 6526 6593 6526
q10 7001 2148 2250 2148
q11 457 244 240 240
q12 399 225 228 225
q13 17763 3017 3029 3017
q14 281 239 245 239
q15 525 489 481 481
q16 574 504 513 504
q17 976 708 776 708
q18 7149 6857 6669 6669
q19 1393 1099 1038 1038
q20 680 324 333 324
q21 4254 3098 3010 3010
q22 1104 1036 1029 1029
Total cold run time: 109691 ms
Total hot run time: 37931 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4466 4357 4307 4307
q2 373 272 273 272
q3 2902 2699 2658 2658
q4 1906 1660 1666 1660
q5 5530 5646 5659 5646
q6 225 136 138 136
q7 2246 1787 1855 1787
q8 3314 3402 3756 3402
q9 8787 8813 8834 8813
q10 3555 3348 3392 3348
q11 604 520 499 499
q12 830 633 652 633
q13 14902 3261 3164 3164
q14 325 283 293 283
q15 544 496 490 490
q16 643 570 561 561
q17 1840 1532 1558 1532
q18 8166 7626 7926 7626
q19 1772 1544 1683 1544
q20 2156 1900 1893 1893
q21 5773 5540 5466 5466
q22 1196 1046 1055 1046
Total cold run time: 72055 ms
Total hot run time: 56766 ms