doris
doris copied to clipboard
apache
[fix](broker) fix no error url when broker data quality error
Proposed changes
Issue Number: close #xxx
becase #30581, broker load can not get error url when DATA_QUALITY_ERROR
before
after
Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR
Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.
TPC-H: Total hot run time: 39981 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit adc217f5b45003696754f802d71140d65e7fb24b, data reload: false
------ Round 1 ----------------------------------
q1 17655 4400 4265 4265
q2 2043 189 191 189
q3 10524 1224 1168 1168
q4 10170 731 785 731
q5 7464 2673 2627 2627
q6 216 133 134 133
q7 952 592 588 588
q8 9212 2095 2107 2095
q9 8777 6531 6490 6490
q10 8881 3669 3708 3669
q11 438 244 232 232
q12 472 218 218 218
q13 17761 3010 3042 3010
q14 253 221 220 220
q15 527 489 478 478
q16 545 402 379 379
q17 973 644 692 644
q18 8134 7451 7432 7432
q19 4785 1610 1570 1570
q20 652 316 320 316
q21 4913 3199 3810 3199
q22 380 328 332 328
Total cold run time: 115727 ms
Total hot run time: 39981 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4437 4220 4184 4184
q2 374 275 265 265
q3 2970 2742 2800 2742
q4 1849 1581 1567 1567
q5 5287 5306 5302 5302
q6 216 124 125 124
q7 2114 1749 1765 1749
q8 3278 3336 3314 3314
q9 8393 8351 8430 8351
q10 3904 3663 3697 3663
q11 579 480 490 480
q12 732 569 606 569
q13 17324 2961 3013 2961
q14 296 269 256 256
q15 522 465 482 465
q16 456 412 434 412
q17 1743 1471 1463 1463
q18 7639 7635 7474 7474
q19 1720 1606 1551 1551
q20 2034 1770 1784 1770
q21 4815 4696 4631 4631
q22 587 533 529 529
Total cold run time: 71269 ms
Total hot run time: 53822 ms
TPC-DS: Total hot run time: 170115 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit adc217f5b45003696754f802d71140d65e7fb24b, data reload: false
query1 945 390 369 369
query2 6452 2528 2342 2342
query3 6650 216 215 215
query4 20012 17276 17350 17276
query5 4152 416 430 416
query6 248 154 149 149
query7 4575 297 302 297
query8 304 289 303 289
query9 8587 2406 2378 2378
query10 456 280 263 263
query11 10588 10078 10167 10078
query12 133 94 112 94
query13 1632 362 358 358
query14 10110 7586 7489 7489
query15 251 193 188 188
query16 8053 267 265 265
query17 1823 533 528 528
query18 2059 267 272 267
query19 200 150 151 150
query20 95 86 87 86
query21 201 127 135 127
query22 4194 3850 3935 3850
query23 33556 33041 32993 32993
query24 11928 2846 2870 2846
query25 641 355 352 352
query26 1763 152 155 152
query27 2952 314 319 314
query28 7643 2122 2101 2101
query29 1028 612 582 582
query30 296 150 152 150
query31 988 761 751 751
query32 94 50 53 50
query33 766 265 286 265
query34 1000 475 473 473
query35 754 595 586 586
query36 1082 929 939 929
query37 189 71 76 71
query38 2865 2800 2755 2755
query39 851 784 771 771
query40 282 127 128 127
query41 54 54 55 54
query42 103 98 97 97
query43 581 580 585 580
query44 1232 743 782 743
query45 189 174 165 165
query46 1072 708 715 708
query47 1864 1776 1757 1757
query48 371 283 290 283
query49 1191 377 379 377
query50 757 391 392 391
query51 6862 6608 6741 6608
query52 102 92 95 92
query53 348 287 288 287
query54 984 425 439 425
query55 74 75 75 75
query56 266 251 249 249
query57 1130 1054 1024 1024
query58 240 221 211 211
query59 3547 3471 3258 3258
query60 274 260 253 253
query61 89 88 87 87
query62 668 454 452 452
query63 307 291 284 284
query64 9752 2252 1751 1751
query65 3177 3097 3116 3097
query66 1364 343 325 325
query67 15390 14847 15033 14847
query68 4897 546 542 542
query69 489 264 269 264
query70 1189 1136 1152 1136
query71 424 259 273 259
query72 7145 5792 2690 2690
query73 764 321 316 316
query74 6021 5753 5580 5580
query75 3602 2646 2636 2636
query76 3337 952 934 934
query77 636 269 268 268
query78 10208 9735 9706 9706
query79 2737 523 518 518
query80 2056 433 430 430
query81 519 233 224 224
query82 1236 92 100 92
query83 347 176 174 174
query84 270 84 88 84
query85 1562 269 269 269
query86 479 321 303 303
query87 3302 3090 3110 3090
query88 4051 2336 2350 2336
query89 488 404 382 382
query90 1957 193 193 193
query91 136 105 164 105
query92 58 50 49 49
query93 2536 520 500 500
query94 1229 185 182 182
query95 400 307 310 307
query96 586 266 262 262
query97 3252 3006 3027 3006
query98 245 222 217 217
query99 1228 856 839 839
Total cold run time: 279772 ms
Total hot run time: 170115 ms
ClickBench: Total hot run time: 30.72 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit adc217f5b45003696754f802d71140d65e7fb24b, data reload: false
query1 0.04 0.03 0.03
query2 0.08 0.04 0.04
query3 0.23 0.05 0.04
query4 1.68 0.06 0.07
query5 0.51 0.48 0.50
query6 1.12 0.72 0.73
query7 0.02 0.01 0.01
query8 0.05 0.04 0.05
query9 0.54 0.49 0.50
query10 0.55 0.55 0.55
query11 0.16 0.11 0.11
query12 0.15 0.12 0.11
query13 0.59 0.59 0.60
query14 0.77 0.77 0.79
query15 0.81 0.80 0.82
query16 0.37 0.34 0.37
query17 1.02 1.02 1.03
query18 0.22 0.24 0.23
query19 1.85 1.72 1.69
query20 0.01 0.01 0.01
query21 15.71 0.68 0.67
query22 4.49 6.90 2.01
query23 18.29 1.38 1.30
query24 1.50 0.29 0.23
query25 0.15 0.08 0.09
query26 0.26 0.17 0.17
query27 0.08 0.08 0.08
query28 13.57 1.10 1.05
query29 12.61 3.27 3.30
query30 0.24 0.06 0.05
query31 2.88 0.39 0.39
query32 3.26 0.47 0.46
query33 2.85 2.96 2.88
query34 17.26 4.40 4.44
query35 4.52 4.50 4.47
query36 0.65 0.46 0.47
query37 0.18 0.16 0.16
query38 0.16 0.15 0.15
query39 0.04 0.05 0.04
query40 0.17 0.16 0.14
query41 0.09 0.04 0.05
query42 0.06 0.05 0.06
query43 0.04 0.04 0.04
Total cold run time: 109.83 s
Total hot run time: 30.72 s
TPC-H: Total hot run time: 40945 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit adc217f5b45003696754f802d71140d65e7fb24b, data reload: false
------ Round 1 ----------------------------------
q1 17608 4389 4282 4282
q2 2020 211 185 185
q3 10430 1220 1148 1148
q4 10183 785 794 785
q5 7525 2694 2718 2694
q6 226 133 135 133
q7 952 623 616 616
q8 9210 2144 2085 2085
q9 10873 6674 6823 6674
q10 9295 3925 3914 3914
q11 441 248 261 248
q12 473 230 223 223
q13 17305 3217 3274 3217
q14 275 229 226 226
q15 513 463 479 463
q16 473 380 379 379
q17 982 635 639 635
q18 8343 7852 7700 7700
q19 4141 1345 1357 1345
q20 627 314 311 311
q21 5102 3357 4069 3357
q22 393 332 325 325
Total cold run time: 117390 ms
Total hot run time: 40945 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4593 4426 4534 4426
q2 379 274 263 263
q3 3119 2938 3024 2938
q4 1916 1593 1593 1593
q5 5440 5485 5459 5459
q6 223 127 131 127
q7 2158 1746 1800 1746
q8 3240 3341 3376 3341
q9 8586 8552 8738 8552
q10 3999 3853 3783 3783
q11 588 484 490 484
q12 779 608 578 578
q13 16988 3100 3132 3100
q14 314 267 284 267
q15 515 480 501 480
q16 479 422 444 422
q17 1778 1519 1456 1456
q18 8040 7481 7443 7443
q19 1738 1465 1624 1465
q20 3021 1768 1787 1768
q21 8655 4713 4687 4687
q22 782 537 517 517
Total cold run time: 77330 ms
Total hot run time: 54895 ms
TPC-DS: Total hot run time: 169384 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit adc217f5b45003696754f802d71140d65e7fb24b, data reload: false
query1 917 380 371 371
query2 6432 2370 2257 2257
query3 6645 202 210 202
query4 19219 17408 17417 17408
query5 4121 462 470 462
query6 248 152 152 152
query7 4587 300 284 284
query8 301 264 261 261
query9 8552 2332 2331 2331
query10 445 291 302 291
query11 10518 10017 9974 9974
query12 137 91 107 91
query13 1629 360 358 358
query14 10061 7617 6914 6914
query15 226 183 179 179
query16 7803 280 261 261
query17 1579 515 515 515
query18 1951 260 267 260
query19 191 150 151 150
query20 90 86 83 83
query21 205 132 126 126
query22 4558 4268 4343 4268
query23 33586 32848 32850 32848
query24 11113 2777 2818 2777
query25 607 365 359 359
query26 1195 153 152 152
query27 3038 323 330 323
query28 7435 2018 2042 2018
query29 899 609 596 596
query30 266 146 148 146
query31 945 740 750 740
query32 97 53 53 53
query33 757 277 287 277
query34 944 471 475 471
query35 769 623 597 597
query36 1098 933 906 906
query37 156 68 68 68
query38 2840 2771 2716 2716
query39 875 782 783 782
query40 205 123 122 122
query41 52 49 48 48
query42 112 93 94 93
query43 578 539 511 511
query44 1297 734 764 734
query45 194 160 165 160
query46 1071 728 723 723
query47 1896 1770 1768 1768
query48 379 308 308 308
query49 979 397 405 397
query50 780 379 375 375
query51 6902 6640 6653 6640
query52 101 88 116 88
query53 356 284 286 284
query54 862 442 439 439
query55 71 70 70 70
query56 269 251 275 251
query57 1133 1047 1040 1040
query58 250 231 244 231
query59 3298 3014 3088 3014
query60 295 270 266 266
query61 91 90 91 90
query62 621 433 454 433
query63 317 290 285 285
query64 8924 2196 1716 1716
query65 3156 3057 3122 3057
query66 921 315 341 315
query67 15309 15297 15020 15020
query68 4513 550 533 533
query69 560 340 302 302
query70 1178 1149 1090 1090
query71 419 290 274 274
query72 6908 5484 2723 2723
query73 769 323 317 317
query74 5919 5455 5525 5455
query75 3484 2669 2672 2669
query76 2796 883 920 883
query77 641 289 284 284
query78 10159 9676 9697 9676
query79 2209 508 504 504
query80 861 443 444 443
query81 576 225 217 217
query82 769 100 100 100
query83 234 164 163 163
query84 255 87 80 80
query85 1532 341 341 341
query86 464 313 311 311
query87 3319 3109 3087 3087
query88 3993 2438 2417 2417
query89 476 389 370 370
query90 1835 188 186 186
query91 118 96 94 94
query92 63 48 50 48
query93 2141 507 494 494
query94 1196 195 183 183
query95 398 313 308 308
query96 584 272 265 265
query97 3227 3037 3016 3016
query98 243 216 210 210
query99 1213 848 836 836
Total cold run time: 270506 ms
Total hot run time: 169384 ms
ClickBench: Total hot run time: 30.41 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit adc217f5b45003696754f802d71140d65e7fb24b, data reload: false
query1 0.04 0.04 0.04
query2 0.08 0.04 0.04
query3 0.22 0.05 0.05
query4 1.68 0.08 0.08
query5 0.50 0.53 0.50
query6 1.12 0.72 0.71
query7 0.02 0.01 0.02
query8 0.05 0.04 0.05
query9 0.54 0.49 0.48
query10 0.55 0.55 0.54
query11 0.15 0.12 0.11
query12 0.15 0.11 0.12
query13 0.59 0.58 0.59
query14 0.78 0.77 0.79
query15 0.83 0.80 0.80
query16 0.37 0.38 0.37
query17 1.02 1.00 1.02
query18 0.21 0.23 0.25
query19 1.87 1.78 1.82
query20 0.01 0.01 0.01
query21 15.62 0.67 0.66
query22 3.96 7.62 1.72
query23 18.28 1.41 1.21
query24 1.38 0.31 0.24
query25 0.13 0.10 0.08
query26 0.27 0.17 0.16
query27 0.07 0.07 0.07
query28 13.44 1.01 0.99
query29 12.91 3.35 3.25
query30 0.24 0.06 0.06
query31 2.88 0.38 0.38
query32 3.29 0.46 0.46
query33 2.86 2.88 2.90
query34 16.90 4.45 4.46
query35 4.47 4.50 4.48
query36 0.66 0.48 0.50
query37 0.18 0.16 0.16
query38 0.15 0.15 0.14
query39 0.04 0.03 0.03
query40 0.17 0.14 0.15
query41 0.10 0.05 0.05
query42 0.05 0.04 0.04
query43 0.04 0.03 0.04
Total cold run time: 108.87 s
Total hot run time: 30.41 s
Please add a test which check error url.
have added ' result[0][13].contains("_load_error_log") '
PR approved by at least one committer and no changes requested.
![github-actions[bot] avatar](https://avatars.githubusercontent.com/in/15368?v=4 "Published by a pub.dev verified publisher"){kind=small}
TPC-H: Total hot run time: 41091 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit c24f42b57f5f7d9799c77e8ea7ecbc92bc3de361, data reload: false
------ Round 1 ----------------------------------
q1 17613 4609 4256 4256
q2 2035 212 205 205
q3 10417 1229 1147 1147
q4 10188 823 862 823
q5 7486 2746 2819 2746
q6 227 138 137 137
q7 974 618 620 618
q8 9247 2158 2133 2133
q9 9486 6678 6717 6678
q10 9442 3939 3924 3924
q11 471 255 255 255
q12 493 253 258 253
q13 17391 3195 3280 3195
q14 282 222 227 222
q15 505 464 479 464
q16 506 413 388 388
q17 980 580 622 580
q18 8454 7832 7873 7832
q19 3677 1303 1374 1303
q20 646 315 325 315
q21 5217 3286 4032 3286
q22 403 344 331 331
Total cold run time: 116140 ms
Total hot run time: 41091 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4556 4540 4410 4410
q2 371 289 269 269
q3 3136 3017 3022 3017
q4 1957 1641 1604 1604
q5 5464 5498 5493 5493
q6 219 131 129 129
q7 2174 1831 1780 1780
q8 3229 3434 3404 3404
q9 8687 8705 8799 8705
q10 4088 3919 3749 3749
q11 595 494 485 485
q12 781 618 624 618
q13 17421 3152 3190 3152
q14 302 289 270 270
q15 539 498 477 477
q16 485 460 452 452
q17 1822 1543 1511 1511
q18 7860 7604 7453 7453
q19 1747 1402 1577 1402
q20 2072 1778 1809 1778
q21 9629 4799 4665 4665
q22 596 534 540 534
Total cold run time: 77730 ms
Total hot run time: 55357 ms
TPC-DS: Total hot run time: 173337 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit c24f42b57f5f7d9799c77e8ea7ecbc92bc3de361, data reload: false
query1 926 381 369 369
query2 6643 2410 2369 2369
query3 6635 204 205 204
query4 20278 17449 17152 17152
query5 4116 450 464 450
query6 268 161 155 155
query7 4590 305 299 299
query8 301 280 278 278
query9 8575 2393 2371 2371
query10 454 307 279 279
query11 10441 9930 10120 9930
query12 146 93 96 93
query13 1650 370 367 367
query14 9431 7855 7680 7680
query15 228 193 184 184
query16 7795 264 279 264
query17 1771 547 523 523
query18 1938 269 276 269
query19 220 154 151 151
query20 91 85 83 83
query21 205 136 124 124
query22 4183 4123 4033 4033
query23 33592 32827 32875 32827
query24 11044 2878 2797 2797
query25 623 357 362 357
query26 1167 156 161 156
query27 2896 337 322 322
query28 7569 2053 2082 2053
query29 876 599 595 595
query30 263 154 151 151
query31 962 749 733 733
query32 97 54 54 54
query33 761 283 278 278
query34 982 502 483 483
query35 735 612 612 612
query36 1101 954 921 921
query37 153 67 69 67
query38 2828 2695 2722 2695
query39 884 794 781 781
query40 213 129 126 126
query41 53 54 51 51
query42 145 98 100 98
query43 604 567 547 547
query44 1266 733 744 733
query45 195 169 170 169
query46 1068 732 721 721
query47 1846 1784 1785 1784
query48 377 296 291 291
query49 1067 452 416 416
query50 780 383 401 383
query51 6940 6746 6713 6713
query52 102 91 99 91
query53 358 294 291 291
query54 885 453 444 444
query55 74 76 72 72
query56 281 261 266 261
query57 1103 1061 1072 1061
query58 243 288 253 253
query59 3445 3243 3206 3206
query60 290 274 273 273
query61 91 86 91 86
query62 664 467 456 456
query63 323 290 295 290
query64 8831 2241 1812 1812
query65 3157 3121 3114 3114
query66 823 331 327 327
query67 15485 15087 15132 15087
query68 4533 550 547 547
query69 484 336 314 314
query70 1192 1102 1090 1090
query71 384 294 280 280
query72 6769 5401 5488 5401
query73 727 324 321 321
query74 6039 5445 5360 5360
query75 3331 2661 2653 2653
query76 2380 897 866 866
query77 493 295 294 294
query78 10268 9945 9993 9945
query79 2060 532 523 523
query80 971 468 513 468
query81 560 219 223 219
query82 641 103 103 103
query83 240 167 164 164
query84 236 86 84 84
query85 1759 267 264 264
query86 543 298 323 298
query87 3218 3084 3067 3067
query88 3926 2345 2329 2329
query89 467 410 396 396
query90 1825 189 187 187
query91 124 96 97 96
query92 65 50 48 48
query93 1912 512 500 500
query94 1164 192 193 192
query95 406 313 314 313
query96 591 276 265 265
query97 3171 3053 3035 3035
query98 236 216 223 216
query99 1247 837 834 834
Total cold run time: 270089 ms
Total hot run time: 173337 ms
ClickBench: Total hot run time: 30.75 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit c24f42b57f5f7d9799c77e8ea7ecbc92bc3de361, data reload: false
query1 0.04 0.03 0.03
query2 0.08 0.04 0.04
query3 0.23 0.04 0.05
query4 1.67 0.07 0.07
query5 0.51 0.49 0.50
query6 1.13 0.73 0.72
query7 0.02 0.01 0.01
query8 0.05 0.04 0.04
query9 0.54 0.49 0.48
query10 0.53 0.55 0.54
query11 0.16 0.11 0.11
query12 0.15 0.12 0.12
query13 0.60 0.59 0.59
query14 0.79 0.80 0.77
query15 0.84 0.83 0.82
query16 0.37 0.36 0.37
query17 1.06 1.04 0.99
query18 0.25 0.20 0.25
query19 1.85 1.75 1.76
query20 0.02 0.01 0.01
query21 15.58 0.67 0.65
query22 4.70 7.10 1.97
query23 18.28 1.34 1.27
query24 1.70 0.32 0.22
query25 0.15 0.08 0.09
query26 0.27 0.17 0.17
query27 0.07 0.07 0.08
query28 13.27 1.02 1.01
query29 12.91 3.40 3.38
query30 0.25 0.06 0.06
query31 2.85 0.38 0.38
query32 3.30 0.47 0.47
query33 2.88 2.89 2.88
query34 17.35 4.45 4.41
query35 4.52 4.54 4.50
query36 0.70 0.49 0.49
query37 0.18 0.15 0.15
query38 0.15 0.16 0.14
query39 0.04 0.03 0.04
query40 0.15 0.13 0.15
query41 0.08 0.04 0.04
query42 0.06 0.04 0.04
query43 0.04 0.04 0.03
Total cold run time: 110.37 s
Total hot run time: 30.75 s