doris
doris copied to clipboard
Published
20 hours ago •
apache
apache
[fix](catalog)Make sure external table initialized before call getRowCount.
Call external table makeSureInitialized before get row count cache. Otherwise, the dbId value could be 0 which will fail to load row count cache.
Further comments
If this is a relatively large or complex change, kick off the discussion at [email protected] by explaining why you chose the solution you did and what alternatives you considered, etc...
Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR
TPC-H: Total hot run time: 40802 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit cf700338100d09833461ac48502b2813eb8ec1e9, data reload: false
------ Round 1 ----------------------------------
q1 17625 4973 4823 4823
q2 2043 141 132 132
q3 10578 991 981 981
q4 4658 953 964 953
q5 7602 3126 3159 3126
q6 192 130 132 130
q7 1254 776 761 761
q8 9243 2023 2025 2023
q9 7431 6533 6544 6533
q10 8308 2626 2637 2626
q11 424 213 200 200
q12 777 329 326 326
q13 17914 3600 3590 3590
q14 291 263 263 263
q15 624 540 503 503
q16 478 409 416 409
q17 916 845 825 825
q18 7523 6673 6701 6673
q19 1537 1480 1486 1480
q20 537 278 268 268
q21 6511 3849 3932 3849
q22 860 341 328 328
Total cold run time: 107326 ms
Total hot run time: 40802 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4836 4800 4781 4781
q2 294 184 187 184
q3 3560 3570 3530 3530
q4 2512 2520 2523 2520
q5 5738 5710 5743 5710
q6 210 126 127 126
q7 2230 1635 1640 1635
q8 2955 3062 3069 3062
q9 8673 8681 8649 8649
q10 6763 4220 4231 4220
q11 529 392 370 370
q12 763 546 543 543
q13 4366 3386 3396 3386
q14 262 239 239 239
q15 604 501 501 501
q16 481 446 450 446
q17 1670 1595 1600 1595
q18 8366 7649 7554 7554
q19 1624 1619 1620 1619
q20 2133 1823 1837 1823
q21 6489 6135 6100 6100
q22 627 496 511 496
Total cold run time: 65685 ms
Total hot run time: 59089 ms
TPC-DS: Total hot run time: 176347 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit cf700338100d09833461ac48502b2813eb8ec1e9, data reload: false
query1 920 358 349 349
query2 6499 1807 1667 1667
query3 6706 207 203 203
query4 23169 21232 21068 21068
query5 4302 372 376 372
query6 262 169 161 161
query7 4609 299 294 294
query8 245 192 196 192
query9 8425 2771 2757 2757
query10 408 226 207 207
query11 14969 14548 14538 14538
query12 148 82 82 82
query13 1715 412 423 412
query14 9211 7502 7573 7502
query15 217 185 188 185
query16 7474 253 247 247
query17 1402 545 515 515
query18 1941 268 256 256
query19 185 150 144 144
query20 86 79 84 79
query21 186 121 114 114
query22 4982 4831 4779 4779
query23 32381 31562 31528 31528
query24 12822 3387 3432 3387
query25 636 362 356 356
query26 1891 152 160 152
query27 3064 315 316 315
query28 6590 1813 1816 1813
query29 1165 618 603 603
query30 276 138 150 138
query31 922 753 753 753
query32 99 61 56 56
query33 713 232 239 232
query34 1064 486 507 486
query35 931 823 843 823
query36 1005 934 878 878
query37 188 58 57 57
query38 3313 3157 3182 3157
query39 1359 1320 1300 1300
query40 287 106 108 106
query41 36 36 34 34
query42 105 98 98 98
query43 460 437 440 437
query44 1058 689 694 689
query45 196 177 176 176
query46 1049 786 776 776
query47 1618 1516 1576 1516
query48 413 356 353 353
query49 1220 304 302 302
query50 776 377 373 373
query51 4460 4348 4338 4338
query52 106 92 93 92
query53 387 298 300 298
query54 287 225 231 225
query55 85 82 78 78
query56 226 197 199 197
query57 1064 975 972 972
query58 212 195 195 195
query59 2212 2125 2164 2125
query60 253 218 209 209
query61 85 84 82 82
query62 583 352 371 352
query63 323 284 284 284
query64 6307 3057 3096 3057
query65 3301 3249 3228 3228
query66 1340 338 327 327
query67 14349 14422 14278 14278
query68 5076 543 567 543
query69 519 355 352 352
query70 1284 1243 1252 1243
query71 400 252 248 248
query72 6310 2751 2600 2600
query73 705 323 306 306
query74 6993 6498 6437 6437
query75 3203 2575 2550 2550
query76 3273 1076 1185 1076
query77 357 237 244 237
query78 9365 8820 8769 8769
query79 963 523 504 504
query80 511 360 343 343
query81 443 206 208 206
query82 169 85 86 85
query83 139 126 121 121
query84 224 77 79 77
query85 1039 344 341 341
query86 297 293 306 293
query87 3446 3282 3273 3273
query88 2726 2294 2286 2286
query89 444 354 350 350
query90 1929 165 161 161
query91 150 126 127 126
query92 54 47 48 47
query93 997 517 502 502
query94 1112 181 177 177
query95 437 334 343 334
query96 575 262 262 262
query97 4456 4281 4241 4241
query98 216 218 197 197
query99 1079 706 729 706
Total cold run time: 268169 ms
Total hot run time: 176347 ms
ClickBench: Total hot run time: 30.86 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit cf700338100d09833461ac48502b2813eb8ec1e9, data reload: false
query1 0.03 0.03 0.02
query2 0.06 0.03 0.03
query3 0.23 0.08 0.08
query4 1.65 0.09 0.09
query5 0.49 0.49 0.48
query6 1.38 0.62 0.63
query7 0.02 0.02 0.01
query8 0.03 0.02 0.03
query9 0.51 0.45 0.45
query10 0.49 0.48 0.48
query11 0.13 0.10 0.10
query12 0.12 0.10 0.11
query13 0.59 0.59 0.58
query14 0.77 0.78 0.81
query15 0.82 0.80 0.78
query16 0.33 0.32 0.32
query17 0.90 0.89 0.90
query18 0.18 0.19 0.17
query19 1.77 1.65 1.68
query20 0.01 0.01 0.01
query21 15.39 0.66 0.56
query22 3.27 3.97 2.56
query23 17.35 1.08 0.96
query24 1.98 0.97 0.20
query25 0.57 0.11 0.05
query26 0.16 0.14 0.13
query27 0.05 0.05 0.05
query28 11.82 0.84 0.82
query29 12.54 3.32 3.32
query30 0.54 0.47 0.50
query31 2.78 0.35 0.36
query32 3.36 0.47 0.47
query33 3.17 3.10 3.18
query34 15.38 4.49 4.50
query35 4.51 4.51 4.46
query36 1.08 0.93 0.94
query37 0.07 0.06 0.06
query38 0.04 0.03 0.03
query39 0.01 0.01 0.02
query40 0.18 0.15 0.14
query41 0.07 0.02 0.01
query42 0.02 0.02 0.01
query43 0.02 0.02 0.02
Total cold run time: 104.87 s
Total hot run time: 30.86 s
Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
Load test result on commit cf700338100d09833461ac48502b2813eb8ec1e9 with default session variables
Stream load json: 19 seconds loaded 2358488459 Bytes, about 118 MB/s
Stream load orc: 60 seconds loaded 1101869774 Bytes, about 17 MB/s
Stream load parquet: 31 seconds loaded 861443392 Bytes, about 26 MB/s
Insert into select: 16.1 seconds inserted 10000000 Rows, about 621K ops/s
TPC-H: Total hot run time: 40992 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 2f8cd79c43c75e507afdaf7124a5712d5ccd5c0e, data reload: false
------ Round 1 ----------------------------------
q1 17685 4898 4900 4898
q2 2038 138 134 134
q3 10580 1018 968 968
q4 4650 959 971 959
q5 7608 3095 3182 3095
q6 194 136 131 131
q7 1245 788 762 762
q8 9250 2034 2034 2034
q9 7420 6570 6566 6566
q10 8306 2642 2635 2635
q11 422 225 207 207
q12 748 320 326 320
q13 17922 3617 3589 3589
q14 296 254 262 254
q15 597 511 530 511
q16 468 407 412 407
q17 921 868 835 835
q18 7349 6630 6841 6630
q19 1594 1498 1525 1498
q20 543 267 264 264
q21 6453 4078 3954 3954
q22 881 341 343 341
Total cold run time: 107170 ms
Total hot run time: 40992 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4876 4827 4829 4827
q2 295 177 189 177
q3 3589 3548 3737 3548
q4 2545 2511 2552 2511
q5 6038 5966 5744 5744
q6 209 126 127 126
q7 2230 1654 1669 1654
q8 2990 3062 3109 3062
q9 8703 8692 8671 8671
q10 6934 4227 4238 4227
q11 512 368 412 368
q12 766 542 538 538
q13 4802 3589 3558 3558
q14 263 239 239 239
q15 615 505 522 505
q16 510 454 429 429
q17 1639 1580 1596 1580
q18 8328 7920 7699 7699
q19 1627 1633 1627 1627
q20 2104 1970 1919 1919
q21 6665 6133 6233 6133
q22 575 480 521 480
Total cold run time: 66815 ms
Total hot run time: 59622 ms
TPC-DS: Total hot run time: 176454 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 2f8cd79c43c75e507afdaf7124a5712d5ccd5c0e, data reload: false
query1 939 343 342 342
query2 6544 1762 1758 1758
query3 6702 203 204 203
query4 23093 21149 21052 21052
query5 4274 373 374 373
query6 262 172 171 171
query7 4609 296 306 296
query8 240 192 198 192
query9 8433 2869 2842 2842
query10 417 242 222 222
query11 14946 14371 14393 14371
query12 132 84 84 84
query13 1684 424 423 423
query14 8996 7720 7734 7720
query15 214 184 188 184
query16 7117 263 250 250
query17 1261 559 528 528
query18 2102 268 276 268
query19 189 149 146 146
query20 83 80 80 80
query21 188 121 120 120
query22 4990 4757 4801 4757
query23 32407 31436 31407 31407
query24 12749 3413 3338 3338
query25 652 357 356 356
query26 1862 162 163 162
query27 3037 319 322 319
query28 6703 1797 1797 1797
query29 1178 623 621 621
query30 279 141 147 141
query31 947 743 756 743
query32 92 60 57 57
query33 722 235 240 235
query34 1061 494 502 494
query35 927 814 797 797
query36 992 933 860 860
query37 146 63 64 63
query38 3240 3172 3248 3172
query39 1362 1328 1319 1319
query40 287 109 107 107
query41 38 35 36 35
query42 100 104 100 100
query43 466 451 451 451
query44 1098 697 704 697
query45 198 182 176 176
query46 1045 791 763 763
query47 1662 1536 1551 1536
query48 409 348 355 348
query49 1184 310 315 310
query50 770 371 379 371
query51 4364 4323 4272 4272
query52 103 92 98 92
query53 389 304 301 301
query54 298 230 226 226
query55 83 89 80 80
query56 231 199 203 199
query57 1029 893 966 893
query58 217 203 196 196
query59 2246 2221 2166 2166
query60 243 228 234 228
query61 97 88 89 88
query62 594 387 372 372
query63 327 295 288 288
query64 6458 3073 3142 3073
query65 3277 3264 3231 3231
query66 1396 335 329 329
query67 14379 14226 14318 14226
query68 5041 536 541 536
query69 521 360 352 352
query70 1296 1198 1252 1198
query71 396 270 256 256
query72 6327 2767 2640 2640
query73 702 308 311 308
query74 6845 6478 6420 6420
query75 3207 2568 2564 2564
query76 3265 1109 1186 1109
query77 353 238 248 238
query78 9393 8757 8753 8753
query79 957 500 508 500
query80 529 359 360 359
query81 438 200 206 200
query82 163 86 91 86
query83 147 121 120 120
query84 244 79 82 79
query85 1055 357 350 350
query86 296 274 294 274
query87 3418 3263 3295 3263
query88 2781 2304 2307 2304
query89 447 358 351 351
query90 1968 165 167 165
query91 155 126 127 126
query92 56 49 51 49
query93 1008 507 487 487
query94 1144 181 180 180
query95 436 338 344 338
query96 577 264 261 261
query97 4409 4277 4279 4277
query98 219 203 193 193
query99 1059 721 701 701
Total cold run time: 267611 ms
Total hot run time: 176454 ms
ClickBench: Total hot run time: 30.64 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 2f8cd79c43c75e507afdaf7124a5712d5ccd5c0e, data reload: false
query1 0.03 0.02 0.02
query2 0.06 0.02 0.02
query3 0.22 0.07 0.07
query4 1.67 0.08 0.09
query5 0.48 0.49 0.48
query6 1.36 0.59 0.60
query7 0.02 0.01 0.01
query8 0.04 0.02 0.02
query9 0.52 0.45 0.43
query10 0.49 0.49 0.51
query11 0.13 0.09 0.09
query12 0.12 0.10 0.10
query13 0.59 0.59 0.59
query14 0.75 0.79 0.79
query15 0.82 0.80 0.80
query16 0.33 0.33 0.32
query17 0.91 0.90 0.89
query18 0.17 0.19 0.16
query19 1.79 1.67 1.63
query20 0.01 0.01 0.02
query21 15.40 0.62 0.59
query22 3.15 3.34 2.39
query23 17.65 1.13 0.95
query24 1.99 0.59 0.21
query25 0.62 0.06 0.06
query26 0.14 0.13 0.13
query27 0.05 0.06 0.04
query28 12.22 0.81 0.82
query29 12.54 3.32 3.26
query30 0.51 0.50 0.47
query31 2.77 0.36 0.36
query32 3.41 0.48 0.47
query33 3.12 3.11 3.15
query34 15.36 4.50 4.53
query35 4.54 4.49 4.52
query36 1.07 0.95 0.94
query37 0.07 0.06 0.05
query38 0.04 0.03 0.03
query39 0.02 0.02 0.01
query40 0.17 0.14 0.15
query41 0.08 0.01 0.01
query42 0.02 0.01 0.01
query43 0.02 0.02 0.02
Total cold run time: 105.47 s
Total hot run time: 30.64 s
Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
Load test result on commit 2f8cd79c43c75e507afdaf7124a5712d5ccd5c0e with default session variables
Stream load json: 19 seconds loaded 2358488459 Bytes, about 118 MB/s
Stream load orc: 60 seconds loaded 1101869774 Bytes, about 17 MB/s
Stream load parquet: 31 seconds loaded 861443392 Bytes, about 26 MB/s
Insert into select: 16.4 seconds inserted 10000000 Rows, about 609K ops/s
![github-actions[bot] avatar](https://avatars.githubusercontent.com/in/15368?v=4 "Published by a pub.dev verified publisher"){kind=small}
TPC-H: Total hot run time: 37773 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 2365d4ee26a5115b29f9c6b830bfadf92511624a, data reload: false
------ Round 1 ----------------------------------
q1 17742 4037 4028 4028
q2 2044 143 130 130
q3 10673 942 924 924
q4 4668 923 922 922
q5 7635 2880 2974 2880
q6 178 121 121 121
q7 1244 763 729 729
q8 9332 1995 1998 1995
q9 7121 6219 6220 6219
q10 8163 2470 2482 2470
q11 413 192 207 192
q12 736 305 305 305
q13 17992 3209 3168 3168
q14 268 256 248 248
q15 523 494 492 492
q16 454 407 421 407
q17 921 871 887 871
q18 6564 6061 6060 6060
q19 1569 1515 1503 1503
q20 549 265 267 265
q21 6851 3561 3555 3555
q22 792 290 289 289
Total cold run time: 106432 ms
Total hot run time: 37773 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4011 4019 4028 4019
q2 306 212 225 212
q3 2929 2926 2889 2889
q4 1856 1820 1804 1804
q5 5056 5068 5068 5068
q6 196 113 114 113
q7 2105 1746 1750 1746
q8 3093 3177 3179 3177
q9 8171 8216 8198 8198
q10 6063 3641 3661 3641
q11 507 420 433 420
q12 674 501 531 501
q13 8472 3058 3046 3046
q14 269 251 245 245
q15 533 486 489 486
q16 502 458 462 458
q17 1696 1669 1685 1669
q18 7848 7335 7411 7335
q19 1660 1633 1613 1613
q20 2084 1910 1903 1903
q21 4840 4603 4605 4603
q22 528 426 440 426
Total cold run time: 63399 ms
Total hot run time: 53572 ms
TPC-DS: Total hot run time: 169382 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 2365d4ee26a5115b29f9c6b830bfadf92511624a, data reload: false
query1 922 346 326 326
query2 6560 1764 1827 1764
query3 7965 225 208 208
query4 24115 20735 20873 20735
query5 4366 388 369 369
query6 267 186 190 186
query7 5355 328 327 327
query8 258 196 222 196
query9 9024 2288 2292 2288
query10 413 220 217 217
query11 14762 14348 14212 14212
query12 134 82 81 81
query13 1649 417 430 417
query14 8893 6550 6517 6517
query15 200 171 172 171
query16 7667 256 248 248
query17 1660 528 487 487
query18 1937 270 254 254
query19 187 144 144 144
query20 84 79 82 79
query21 197 129 117 117
query22 4748 4559 4492 4492
query23 30464 29934 30188 29934
query24 10866 3088 3098 3088
query25 608 352 342 342
query26 876 148 158 148
query27 2264 313 313 313
query28 6256 1831 1823 1823
query29 1023 549 555 549
query30 280 133 137 133
query31 860 669 684 669
query32 93 63 54 54
query33 715 225 212 212
query34 1041 471 488 471
query35 862 756 735 735
query36 914 841 892 841
query37 97 61 66 61
query38 3126 3015 2966 2966
query39 1329 1237 1237 1237
query40 184 101 95 95
query41 38 35 34 34
query42 105 95 96 95
query43 484 433 433 433
query44 1071 703 718 703
query45 190 177 169 169
query46 1043 792 767 767
query47 1468 1459 1447 1447
query48 414 345 356 345
query49 1106 298 294 294
query50 779 375 374 374
query51 4430 4275 4335 4275
query52 94 88 87 87
query53 331 261 260 260
query54 269 222 219 219
query55 85 83 82 82
query56 219 201 192 192
query57 942 901 877 877
query58 202 193 191 191
query59 2185 2113 2112 2112
query60 234 218 222 218
query61 83 84 80 80
query62 602 355 332 332
query63 280 255 256 255
query64 5137 3076 3017 3017
query65 3249 3207 3207 3207
query66 981 311 328 311
query67 14260 14134 14006 14006
query68 5006 541 566 541
query69 542 379 378 378
query70 1213 1217 1228 1217
query71 353 246 246 246
query72 6310 2781 2626 2626
query73 712 323 319 319
query74 6361 5962 5962 5962
query75 3067 2388 2384 2384
query76 3156 991 1137 991
query77 349 227 227 227
query78 8962 8480 8419 8419
query79 2141 514 533 514
query80 944 363 340 340
query81 508 198 195 195
query82 934 85 83 83
query83 239 120 114 114
query84 229 82 82 82
query85 1307 346 334 334
query86 431 300 298 298
query87 3245 3036 3086 3036
query88 3298 2341 2331 2331
query89 396 316 363 316
query90 2010 168 163 163
query91 146 121 118 118
query92 58 49 47 47
query93 1560 513 509 509
query94 1329 176 177 176
query95 440 330 337 330
query96 585 267 267 267
query97 4249 4108 4165 4108
query98 228 201 193 193
query99 1052 663 630 630
Total cold run time: 264862 ms
Total hot run time: 169382 ms
ClickBench: Total hot run time: 31.75 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 2365d4ee26a5115b29f9c6b830bfadf92511624a, data reload: false
query1 0.04 0.03 0.03
query2 0.06 0.02 0.03
query3 0.23 0.06 0.07
query4 1.68 0.10 0.09
query5 0.52 0.52 0.52
query6 1.41 0.67 0.66
query7 0.02 0.02 0.01
query8 0.03 0.03 0.03
query9 0.57 0.54 0.52
query10 0.56 0.56 0.56
query11 0.13 0.10 0.10
query12 0.12 0.10 0.11
query13 0.62 0.61 0.60
query14 0.79 0.81 0.81
query15 0.84 0.82 0.82
query16 0.37 0.37 0.40
query17 0.96 0.94 1.00
query18 0.26 0.26 0.25
query19 1.83 1.70 1.75
query20 0.02 0.01 0.01
query21 15.40 0.65 0.64
query22 3.19 3.85 1.99
query23 17.52 1.10 1.03
query24 2.01 0.75 0.22
query25 0.42 0.22 0.05
query26 0.17 0.15 0.15
query27 0.06 0.05 0.05
query28 12.01 0.85 0.83
query29 12.67 3.24 3.22
query30 0.63 0.59 0.52
query31 2.78 0.36 0.35
query32 3.36 0.48 0.48
query33 3.20 3.21 3.21
query34 15.36 4.77 4.74
query35 4.73 4.75 4.76
query36 1.14 1.07 1.08
query37 0.06 0.05 0.05
query38 0.04 0.02 0.03
query39 0.02 0.02 0.01
query40 0.18 0.16 0.13
query41 0.07 0.02 0.01
query42 0.03 0.02 0.01
query43 0.03 0.02 0.02
Total cold run time: 106.14 s
Total hot run time: 31.75 s
Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
Load test result on commit 2365d4ee26a5115b29f9c6b830bfadf92511624a with default session variables
Stream load json: 19 seconds loaded 2358488459 Bytes, about 118 MB/s
Stream load orc: 59 seconds loaded 1101869774 Bytes, about 17 MB/s
Stream load parquet: 31 seconds loaded 861443392 Bytes, about 26 MB/s
Insert into select: 16.9 seconds inserted 10000000 Rows, about 591K ops/s
PR approved by at least one committer and no changes requested.