doris
doris copied to clipboard
apache
[fix](fe) Add check editlog size mechanism for backupJob
- When creating a backupJob with huge of tables in a database, it can cause backupJob editlog size over 2GB and bdbje will throw exception because of ByteBuffer overflow
Proposed changes
Issue Number: close #xxx
Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR
Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.
TPC-H: Total hot run time: 41182 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 7a66e225c2292107ac18c167907e2e2f602ff4b7, data reload: false
------ Round 1 ----------------------------------
q1 17611 4395 4274 4274
q2 2030 198 195 195
q3 10447 1345 1172 1172
q4 10200 848 800 800
q5 7481 2677 2745 2677
q6 223 135 131 131
q7 969 628 631 628
q8 9246 2141 2106 2106
q9 9165 6663 6728 6663
q10 9038 3905 3883 3883
q11 481 248 230 230
q12 436 225 233 225
q13 17534 3313 3185 3185
q14 264 222 228 222
q15 536 472 480 472
q16 501 411 398 398
q17 1033 620 713 620
q18 8467 7881 7829 7829
q19 5544 1627 1616 1616
q20 640 325 328 325
q21 5129 3295 3203 3203
q22 375 328 330 328
Total cold run time: 117350 ms
Total hot run time: 41182 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4532 4515 4459 4459
q2 392 282 273 273
q3 3153 2907 2904 2904
q4 1988 1725 1718 1718
q5 5322 5491 5536 5491
q6 227 119 124 119
q7 2175 1781 1758 1758
q8 3237 3425 3449 3425
q9 8613 8593 8727 8593
q10 4083 3876 3719 3719
q11 577 482 477 477
q12 770 610 619 610
q13 15864 3131 3149 3131
q14 313 279 274 274
q15 524 482 481 481
q16 488 457 426 426
q17 1838 1574 1508 1508
q18 8141 7539 7566 7539
q19 1692 1591 1574 1574
q20 1984 1772 1783 1772
q21 9452 4707 4631 4631
q22 607 530 513 513
Total cold run time: 75972 ms
Total hot run time: 55395 ms
TPC-DS: Total hot run time: 168366 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 7a66e225c2292107ac18c167907e2e2f602ff4b7, data reload: false
query1 950 386 379 379
query2 6454 2310 2228 2228
query3 6648 223 214 214
query4 19197 17425 17324 17324
query5 4168 428 436 428
query6 262 160 157 157
query7 4588 295 294 294
query8 311 266 276 266
query9 8536 2420 2405 2405
query10 456 279 262 262
query11 10327 10012 9977 9977
query12 136 88 91 88
query13 1640 386 365 365
query14 9302 7523 6248 6248
query15 218 182 182 182
query16 7763 263 261 261
query17 1717 523 534 523
query18 1949 272 268 268
query19 203 153 149 149
query20 94 86 85 85
query21 196 146 135 135
query22 4044 4055 3854 3854
query23 33368 33081 32849 32849
query24 11901 2876 2901 2876
query25 633 357 366 357
query26 1719 157 158 157
query27 3099 327 327 327
query28 7675 2073 2098 2073
query29 1069 618 593 593
query30 261 150 153 150
query31 918 780 754 754
query32 95 53 53 53
query33 753 269 265 265
query34 1006 486 472 472
query35 715 609 594 594
query36 1086 915 903 903
query37 264 65 79 65
query38 2901 2733 2752 2733
query39 858 794 810 794
query40 250 133 130 130
query41 55 53 54 53
query42 109 101 99 99
query43 578 544 554 544
query44 1243 748 768 748
query45 185 164 169 164
query46 1069 727 694 694
query47 1847 1722 1760 1722
query48 404 310 296 296
query49 951 382 394 382
query50 776 383 393 383
query51 6694 6619 6632 6619
query52 97 93 94 93
query53 355 297 288 288
query54 864 433 429 429
query55 74 76 72 72
query56 263 238 242 238
query57 1136 1023 1023 1023
query58 227 213 221 213
query59 3225 3106 3057 3057
query60 299 261 260 260
query61 87 87 87 87
query62 637 460 444 444
query63 311 298 291 291
query64 9631 2228 1743 1743
query65 3175 3129 3136 3129
query66 1308 328 324 324
query67 15353 15010 14783 14783
query68 4490 550 553 550
query69 434 272 271 271
query70 1156 1132 1133 1132
query71 401 273 277 273
query72 7716 5511 2684 2684
query73 726 331 325 325
query74 5926 5529 5560 5529
query75 3329 2614 2613 2613
query76 2340 983 962 962
query77 432 267 273 267
query78 10240 9768 9733 9733
query79 2112 536 534 534
query80 1639 467 525 467
query81 520 221 219 219
query82 718 93 95 93
query83 298 178 172 172
query84 267 85 87 85
query85 1601 261 255 255
query86 471 300 319 300
query87 3244 3071 3102 3071
query88 4131 2344 2338 2338
query89 478 395 390 390
query90 2030 195 188 188
query91 127 95 101 95
query92 62 49 54 49
query93 2308 521 508 508
query94 1279 193 184 184
query95 411 319 311 311
query96 593 268 265 265
query97 3228 3015 3059 3015
query98 242 226 213 213
query99 1185 886 860 860
Total cold run time: 272817 ms
Total hot run time: 168366 ms
ClickBench: Total hot run time: 30.3 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 7a66e225c2292107ac18c167907e2e2f602ff4b7, data reload: false
query1 0.04 0.03 0.03
query2 0.09 0.04 0.05
query3 0.23 0.06 0.06
query4 1.65 0.10 0.10
query5 0.51 0.48 0.52
query6 1.13 0.72 0.71
query7 0.02 0.02 0.01
query8 0.05 0.04 0.04
query9 0.53 0.50 0.49
query10 0.54 0.54 0.54
query11 0.16 0.11 0.11
query12 0.14 0.12 0.11
query13 0.60 0.58 0.60
query14 0.76 0.79 0.78
query15 0.83 0.79 0.82
query16 0.36 0.37 0.36
query17 0.99 0.99 0.96
query18 0.23 0.24 0.24
query19 1.77 1.72 1.65
query20 0.02 0.01 0.02
query21 15.47 0.70 0.68
query22 4.53 6.32 1.79
query23 18.26 1.25 1.22
query24 1.88 0.23 0.22
query25 0.14 0.08 0.07
query26 0.26 0.16 0.17
query27 0.08 0.08 0.08
query28 13.32 1.02 0.99
query29 12.65 3.32 3.23
query30 0.24 0.06 0.06
query31 2.86 0.39 0.37
query32 3.29 0.46 0.46
query33 2.90 2.90 2.86
query34 17.21 4.46 4.45
query35 4.46 4.53 4.51
query36 0.74 0.48 0.45
query37 0.18 0.16 0.16
query38 0.15 0.14 0.15
query39 0.04 0.03 0.03
query40 0.15 0.14 0.14
query41 0.08 0.05 0.05
query42 0.06 0.05 0.05
query43 0.04 0.04 0.04
Total cold run time: 109.64 s
Total hot run time: 30.3 s
PR approved by at least one committer and no changes requested.
![github-actions[bot] avatar](https://avatars.githubusercontent.com/in/15368?v=4 "Published by a pub.dev verified publisher"){kind=small}
TPC-H: Total hot run time: 40871 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 7a66e225c2292107ac18c167907e2e2f602ff4b7, data reload: false
------ Round 1 ----------------------------------
q1 17609 4382 4317 4317
q2 2041 196 195 195
q3 10449 1170 1134 1134
q4 10207 781 715 715
q5 7577 2731 2819 2731
q6 217 141 145 141
q7 962 633 599 599
q8 9237 2146 2081 2081
q9 9304 6688 6636 6636
q10 9502 3863 3884 3863
q11 464 250 251 250
q12 534 242 227 227
q13 17546 3258 3188 3188
q14 259 217 221 217
q15 513 473 481 473
q16 491 416 390 390
q17 970 666 661 661
q18 8425 7850 7748 7748
q19 2105 1385 1466 1385
q20 644 317 333 317
q21 5254 3262 4117 3262
q22 404 343 341 341
Total cold run time: 114714 ms
Total hot run time: 40871 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4568 4462 4472 4462
q2 379 288 286 286
q3 3166 2952 3014 2952
q4 1932 1638 1605 1605
q5 5427 5519 5452 5452
q6 221 133 131 131
q7 2214 1844 1819 1819
q8 3217 3448 3360 3360
q9 8601 8590 8626 8590
q10 4063 3889 3756 3756
q11 584 493 486 486
q12 778 593 602 593
q13 15937 3145 3120 3120
q14 330 290 265 265
q15 537 492 475 475
q16 487 444 435 435
q17 1832 1480 1483 1480
q18 8015 7509 7452 7452
q19 1777 1663 1492 1492
q20 3025 1810 1813 1810
q21 4999 4897 4818 4818
q22 892 527 566 527
Total cold run time: 72981 ms
Total hot run time: 55366 ms
TPC-DS: Total hot run time: 170773 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 7a66e225c2292107ac18c167907e2e2f602ff4b7, data reload: false
query1 924 379 367 367
query2 6495 2309 2304 2304
query3 6637 210 202 202
query4 19262 17272 17401 17272
query5 4163 479 483 479
query6 264 163 154 154
query7 4601 313 296 296
query8 308 292 289 289
query9 8390 2381 2362 2362
query10 456 299 294 294
query11 10461 10108 9927 9927
query12 133 91 96 91
query13 1680 406 362 362
query14 10422 7503 7750 7503
query15 234 189 190 189
query16 7245 270 265 265
query17 1295 557 536 536
query18 1906 280 275 275
query19 213 154 157 154
query20 95 86 85 85
query21 214 133 133 133
query22 4258 4040 3985 3985
query23 33913 33139 32793 32793
query24 11050 2863 2919 2863
query25 630 365 373 365
query26 1382 158 166 158
query27 2965 327 322 322
query28 7490 2051 2076 2051
query29 942 651 613 613
query30 259 148 152 148
query31 950 748 728 728
query32 90 53 56 53
query33 755 295 295 295
query34 941 516 477 477
query35 738 631 601 601
query36 1081 926 937 926
query37 148 71 72 71
query38 2910 2749 2720 2720
query39 859 800 804 800
query40 213 130 127 127
query41 56 52 51 51
query42 116 96 102 96
query43 604 552 551 551
query44 1225 750 761 750
query45 199 173 177 173
query46 1105 790 724 724
query47 1838 1788 1741 1741
query48 386 296 306 296
query49 1006 420 426 420
query50 786 386 405 386
query51 6859 6789 6785 6785
query52 106 97 92 92
query53 356 291 294 291
query54 855 452 453 452
query55 74 73 77 73
query56 284 272 264 264
query57 1144 1056 1060 1056
query58 254 256 247 247
query59 3368 3160 3470 3160
query60 319 286 280 280
query61 90 89 91 89
query62 633 434 451 434
query63 325 297 304 297
query64 9025 2224 1852 1852
query65 3193 3104 3124 3104
query66 1002 380 332 332
query67 15196 15002 15055 15002
query68 4533 558 536 536
query69 488 377 340 340
query70 1195 1108 1153 1108
query71 391 288 291 288
query72 7500 5670 2739 2739
query73 752 329 327 327
query74 5921 5582 5593 5582
query75 3330 2659 2679 2659
query76 2495 908 987 908
query77 497 295 305 295
query78 10234 9636 9669 9636
query79 2156 526 519 519
query80 906 478 475 475
query81 635 220 215 215
query82 731 113 104 104
query83 248 174 173 173
query84 251 87 86 86
query85 1521 279 271 271
query86 482 312 338 312
query87 3268 3093 3057 3057
query88 4101 2431 2418 2418
query89 495 405 383 383
query90 1826 190 192 190
query91 131 101 102 101
query92 57 49 49 49
query93 2077 529 509 509
query94 1222 192 193 192
query95 409 323 316 316
query96 606 270 271 270
query97 3170 3062 3033 3033
query98 237 225 218 218
query99 1399 831 839 831
Total cold run time: 270640 ms
Total hot run time: 170773 ms
ClickBench: Total hot run time: 30.32 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 7a66e225c2292107ac18c167907e2e2f602ff4b7, data reload: false
query1 0.04 0.04 0.03
query2 0.08 0.04 0.04
query3 0.23 0.05 0.06
query4 1.67 0.08 0.07
query5 0.51 0.49 0.50
query6 1.12 0.72 0.72
query7 0.01 0.01 0.01
query8 0.06 0.04 0.05
query9 0.54 0.48 0.49
query10 0.54 0.54 0.54
query11 0.15 0.12 0.11
query12 0.15 0.12 0.12
query13 0.60 0.59 0.60
query14 0.78 0.78 0.75
query15 0.84 0.81 0.82
query16 0.38 0.37 0.37
query17 0.99 1.01 1.04
query18 0.22 0.24 0.23
query19 1.92 1.82 1.70
query20 0.02 0.01 0.00
query21 15.59 0.66 0.64
query22 4.46 7.75 1.68
query23 18.27 1.36 1.26
query24 1.78 0.26 0.23
query25 0.13 0.08 0.09
query26 0.27 0.17 0.17
query27 0.08 0.08 0.08
query28 13.27 1.01 1.01
query29 13.78 3.34 3.24
query30 0.24 0.06 0.06
query31 2.89 0.39 0.38
query32 3.26 0.48 0.47
query33 2.88 2.96 2.86
query34 16.90 4.40 4.42
query35 4.49 4.56 4.61
query36 0.66 0.49 0.45
query37 0.17 0.16 0.16
query38 0.15 0.16 0.14
query39 0.04 0.04 0.04
query40 0.17 0.14 0.16
query41 0.09 0.04 0.04
query42 0.05 0.05 0.04
query43 0.04 0.03 0.03
Total cold run time: 110.51 s
Total hot run time: 30.32 s
TPC-H: Total hot run time: 41136 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 581c50f0e003b355ecf07771e748cdaf76490eda, data reload: false
------ Round 1 ----------------------------------
q1 17618 4301 4286 4286
q2 2035 202 201 201
q3 10440 1218 1195 1195
q4 10196 832 769 769
q5 7515 2739 2735 2735
q6 229 135 141 135
q7 979 608 609 608
q8 9231 2157 2130 2130
q9 9429 6740 6822 6740
q10 9598 3911 3870 3870
q11 449 255 247 247
q12 498 233 248 233
q13 18796 3262 3064 3064
q14 274 227 231 227
q15 531 490 473 473
q16 538 393 391 391
q17 999 625 670 625
q18 8442 7889 7994 7889
q19 7543 1602 1369 1369
q20 666 329 319 319
q21 5272 3288 3938 3288
q22 407 342 361 342
Total cold run time: 121685 ms
Total hot run time: 41136 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4612 4444 4417 4417
q2 375 275 275 275
q3 3219 2896 2703 2703
q4 1888 1689 1718 1689
q5 5559 5540 5510 5510
q6 225 129 128 128
q7 2150 1815 1873 1815
q8 3257 3399 3408 3399
q9 8595 8652 8731 8652
q10 4108 3704 3725 3704
q11 578 486 483 483
q12 809 603 631 603
q13 17019 3128 3190 3128
q14 315 280 267 267
q15 520 472 474 472
q16 515 429 453 429
q17 1885 1493 1498 1493
q18 7834 7610 7364 7364
q19 1699 1560 1595 1560
q20 2091 1794 1759 1759
q21 9426 4660 4788 4660
q22 650 518 550 518
Total cold run time: 77329 ms
Total hot run time: 55028 ms
TPC-DS: Total hot run time: 169986 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 581c50f0e003b355ecf07771e748cdaf76490eda, data reload: false
query1 912 393 367 367
query2 6448 2429 2359 2359
query3 6648 202 206 202
query4 20801 17407 17437 17407
query5 4113 451 438 438
query6 245 161 160 160
query7 4584 309 294 294
query8 316 279 280 279
query9 8559 2413 2395 2395
query10 454 303 275 275
query11 10742 10058 10027 10027
query12 132 87 88 87
query13 1635 354 357 354
query14 10058 7582 6908 6908
query15 228 191 183 183
query16 7929 273 261 261
query17 1821 524 531 524
query18 1996 274 274 274
query19 204 154 156 154
query20 94 86 94 86
query21 209 138 130 130
query22 4318 3896 3974 3896
query23 33572 32999 33170 32999
query24 11071 2807 2891 2807
query25 667 376 398 376
query26 1336 159 159 159
query27 2978 322 322 322
query28 7524 2072 2065 2065
query29 927 612 595 595
query30 290 147 149 147
query31 920 755 752 752
query32 94 57 64 57
query33 771 287 267 267
query34 973 484 474 474
query35 737 628 652 628
query36 1115 950 930 930
query37 159 65 67 65
query38 2884 2762 2751 2751
query39 866 785 781 781
query40 210 123 121 121
query41 52 50 52 50
query42 117 101 96 96
query43 572 569 574 569
query44 1241 723 745 723
query45 193 169 171 169
query46 1062 723 701 701
query47 1843 1771 1785 1771
query48 365 301 300 300
query49 1082 411 401 401
query50 778 382 391 382
query51 6985 6784 6753 6753
query52 106 89 91 89
query53 353 290 283 283
query54 865 456 446 446
query55 75 69 74 69
query56 272 253 279 253
query57 1126 1057 1077 1057
query58 246 239 254 239
query59 3643 3311 3245 3245
query60 288 269 281 269
query61 96 92 91 91
query62 633 434 453 434
query63 316 285 285 285
query64 8883 2331 1723 1723
query65 3183 3079 3130 3079
query66 920 347 319 319
query67 15495 15068 14916 14916
query68 4582 553 533 533
query69 530 409 338 338
query70 1189 1085 1105 1085
query71 416 283 274 274
query72 7707 4934 2706 2706
query73 746 323 322 322
query74 5955 5594 5476 5476
query75 3383 2645 2657 2645
query76 2690 987 841 841
query77 460 292 287 287
query78 10602 9913 9715 9715
query79 2189 514 507 507
query80 978 451 454 451
query81 600 219 221 219
query82 676 101 102 101
query83 236 170 169 169
query84 249 93 84 84
query85 1932 273 265 265
query86 514 317 310 310
query87 3298 3095 3093 3093
query88 4177 2370 2372 2370
query89 475 396 383 383
query90 1822 192 190 190
query91 138 107 109 107
query92 67 54 50 50
query93 2161 511 502 502
query94 1238 197 198 197
query95 417 324 322 322
query96 587 279 268 268
query97 3275 3074 3046 3046
query98 240 216 218 216
query99 1193 846 860 846
Total cold run time: 275052 ms
Total hot run time: 169986 ms
ClickBench: Total hot run time: 30.92 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 581c50f0e003b355ecf07771e748cdaf76490eda, data reload: false
query1 0.04 0.03 0.04
query2 0.08 0.04 0.04
query3 0.23 0.04 0.05
query4 1.68 0.07 0.07
query5 0.49 0.49 0.52
query6 1.12 0.72 0.72
query7 0.02 0.02 0.01
query8 0.05 0.04 0.05
query9 0.53 0.48 0.49
query10 0.56 0.54 0.54
query11 0.15 0.12 0.11
query12 0.15 0.12 0.13
query13 0.60 0.59 0.60
query14 0.80 0.78 0.77
query15 0.83 0.80 0.82
query16 0.36 0.36 0.37
query17 1.06 0.99 0.99
query18 0.22 0.24 0.26
query19 1.80 1.68 1.67
query20 0.02 0.01 0.01
query21 15.74 0.65 0.65
query22 4.12 6.57 2.33
query23 18.27 1.37 1.30
query24 1.33 0.35 0.25
query25 0.15 0.08 0.09
query26 0.26 0.19 0.17
query27 0.08 0.07 0.08
query28 13.39 1.02 1.00
query29 13.27 3.35 3.28
query30 0.24 0.05 0.05
query31 2.87 0.38 0.40
query32 3.28 0.47 0.47
query33 2.90 2.89 2.90
query34 16.96 4.38 4.46
query35 4.53 4.45 4.51
query36 0.76 0.49 0.47
query37 0.18 0.16 0.15
query38 0.15 0.14 0.15
query39 0.05 0.04 0.04
query40 0.16 0.14 0.14
query41 0.08 0.05 0.04
query42 0.05 0.04 0.04
query43 0.04 0.03 0.03
Total cold run time: 109.65 s
Total hot run time: 30.92 s