doris
doris copied to clipboard
apache
[chore](show partitions) show partitions print commit version
Proposed changes
Issue Number: close #xxx
Further comments
If this is a relatively large or complex change, kick off the discussion at [email protected] by explaining why you chose the solution you did and what alternatives you considered, etc...
(From new machine)TeamCity pipeline, clickbench performance test result: the sum of best hot time: 44.08 seconds stream load tsv: 578 seconds loaded 74807831229 Bytes, about 123 MB/s stream load json: 19 seconds loaded 2358488459 Bytes, about 118 MB/s stream load orc: 66 seconds loaded 1101869774 Bytes, about 15 MB/s stream load parquet: 32 seconds loaded 861443392 Bytes, about 25 MB/s insert into select: 28.8 seconds inserted 10000000 Rows, about 347K ops/s storage size: 17219690254 Bytes
TPC-H test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
Tpch sf100 test result on commit 5ec94cb307c2d231bf50b1973a10139d0c7a9be5, data reload: false
run tpch-sf100 query with default conf and session variables
q1 4668 4419 4469 4419
q2 368 147 158 147
q3 1446 1269 1224 1224
q4 1122 902 907 902
q5 3102 3106 3144 3106
q6 247 128 124 124
q7 995 486 467 467
q8 2178 2203 2149 2149
q9 6654 6673 6707 6673
q10 3199 3265 3252 3252
q11 315 200 193 193
q12 350 205 203 203
q13 4557 3833 3797 3797
q14 247 216 207 207
q15 565 521 536 521
q16 449 382 383 382
q17 996 558 607 558
q18 7461 7102 7276 7102
q19 1515 1286 1449 1286
q20 520 324 292 292
q21 3115 2655 2656 2655
q22 347 277 285 277
Total cold run time: 44416 ms
Total hot run time: 39936 ms
run tpch-sf100 query with default conf and set session variable runtime_filter_mode=off
q1 4420 4401 4386 4386
q2 270 161 172 161
q3 3556 3528 3533 3528
q4 2374 2367 2368 2367
q5 5739 5732 5901 5732
q6 240 120 121 120
q7 2372 1927 1883 1883
q8 3510 3507 3511 3507
q9 9027 8938 8955 8938
q10 3903 4000 3977 3977
q11 499 388 378 378
q12 758 595 604 595
q13 4276 3588 3523 3523
q14 278 251 258 251
q15 566 511 517 511
q16 510 461 455 455
q17 1863 1836 1845 1836
q18 8659 8416 8294 8294
q19 1734 1747 1751 1747
q20 2256 1942 1932 1932
q21 6511 6136 6191 6136
q22 504 419 428 419
Total cold run time: 63825 ms
Total hot run time: 60676 ms
TPC-H test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
Tpch sf100 test result on commit b8611aa829fb0ad09923c34223f0beee2cbc4e0b, data reload: false
run tpch-sf100 query with default conf and session variables
q1 4703 4460 4474 4460
q2 359 148 163 148
q3 1462 1253 1259 1253
q4 1103 961 920 920
q5 3183 3179 3164 3164
q6 246 131 126 126
q7 988 495 475 475
q8 2299 2211 2181 2181
q9 6667 6672 6662 6662
q10 3321 3287 3254 3254
q11 327 206 195 195
q12 351 205 205 205
q13 4758 4052 3795 3795
q14 249 206 211 206
q15 576 540 522 522
q16 436 383 398 383
q17 1009 595 530 530
q18 7387 7638 6969 6969
q19 1535 1486 1358 1358
q20 577 311 322 311
q21 3040 2652 2648 2648
q22 349 284 294 284
Total cold run time: 44925 ms
Total hot run time: 40049 ms
run tpch-sf100 query with default conf and set session variable runtime_filter_mode=off
q1 4412 4402 4411 4402
q2 271 162 181 162
q3 3515 3499 3490 3490
q4 2374 2376 2369 2369
q5 5723 5733 5765 5733
q6 234 121 121 121
q7 2366 1902 1837 1837
q8 3510 3531 3525 3525
q9 9055 9009 9041 9009
q10 3923 4010 3987 3987
q11 503 386 366 366
q12 765 606 607 606
q13 4284 3569 3563 3563
q14 295 261 265 261
q15 572 523 518 518
q16 507 464 511 464
q17 1885 1855 1837 1837
q18 8533 8086 8182 8086
q19 1719 1778 1735 1735
q20 2259 1945 1937 1937
q21 6485 6133 6106 6106
q22 494 414 414 414
Total cold run time: 63684 ms
Total hot run time: 60528 ms
(From new machine)TeamCity pipeline, clickbench performance test result: the sum of best hot time: 44.48 seconds stream load tsv: 578 seconds loaded 74807831229 Bytes, about 123 MB/s stream load json: 19 seconds loaded 2358488459 Bytes, about 118 MB/s stream load orc: 67 seconds loaded 1101869774 Bytes, about 15 MB/s stream load parquet: 32 seconds loaded 861443392 Bytes, about 25 MB/s insert into select: 28.7 seconds inserted 10000000 Rows, about 348K ops/s storage size: 17222978854 Bytes
TPC-H test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
Tpch sf100 test result on commit 8e5d78c12c5da890d5eb508762bba04a93e78556, data reload: false
run tpch-sf100 query with default conf and session variables
q1 51513 31818 31859 31818
q2 396 147 144 144
q3 1591 1296 1256 1256
q4 1119 908 887 887
q5 3214 3233 3226 3226
q6 275 143 143 143
q7 978 539 546 539
q8 2190 2219 2205 2205
q9 6985 6912 6855 6855
q10 3252 3301 3305 3301
q11 346 220 215 215
q12 349 207 208 207
q13 4579 3848 3815 3815
q14 429 319 322 319
q15 779 1303 1324 1303
q16 449 395 389 389
q17 1025 592 527 527
q18 7560 7475 7751 7475
q19 1529 1324 1431 1324
q20 954 311 283 283
q21 3111 2676 2696 2676
q22 356 289 283 283
Total cold run time: 92979 ms
Total hot run time: 69190 ms
run tpch-sf100 query with default conf and set session variable runtime_filter_mode=off
q1 30818 31845 31813 31813
q2 284 169 178 169
q3 3706 3695 3621 3621
q4 2413 2395 2399 2395
q5 5845 5822 5824 5822
q6 240 138 134 134
q7 3071 3410 3365 3365
q8 3552 3556 3537 3537
q9 9274 9226 9222 9222
q10 3980 4071 4080 4071
q11 820 923 1345 923
q12 772 597 603 597
q13 4323 3581 3602 3581
q14 501 440 434 434
q15 1141 1330 1335 1330
q16 505 480 468 468
q17 1889 1873 1866 1866
q18 8805 8349 8259 8259
q19 1773 1781 1832 1781
q20 2942 2603 2774 2603
q21 6609 6253 6196 6196
q22 526 420 419 419
Total cold run time: 93789 ms
Total hot run time: 92606 ms
(From new machine)TeamCity pipeline, clickbench performance test result: the sum of best hot time: 44.62 seconds stream load tsv: 592 seconds loaded 74807831229 Bytes, about 120 MB/s stream load json: 19 seconds loaded 2358488459 Bytes, about 118 MB/s stream load orc: 66 seconds loaded 1101869774 Bytes, about 15 MB/s stream load parquet: 32 seconds loaded 861443392 Bytes, about 25 MB/s insert into select: 29.2 seconds inserted 10000000 Rows, about 342K ops/s storage size: 17219589686 Bytes
(From new machine)TeamCity pipeline, clickbench performance test result: the sum of best hot time: 43.55 seconds stream load tsv: 590 seconds loaded 74807831229 Bytes, about 120 MB/s stream load json: 19 seconds loaded 2358488459 Bytes, about 118 MB/s stream load orc: 67 seconds loaded 1101869774 Bytes, about 15 MB/s stream load parquet: 32 seconds loaded 861443392 Bytes, about 25 MB/s insert into select: 28.9 seconds inserted 10000000 Rows, about 346K ops/s storage size: 17219570702 Bytes
TPC-H test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
Tpch sf100 test result on commit e3a09a8e3aadb333612548f0d0dad278b62885bd, data reload: false
run tpch-sf100 query with default conf and session variables
q1 50885 31847 31869 31847
q2 374 137 141 137
q3 1496 1224 1242 1224
q4 1113 917 903 903
q5 3175 3222 3184 3184
q6 264 137 153 137
q7 1026 503 477 477
q8 2137 2189 2198 2189
q9 6888 6872 6863 6863
q10 3222 3302 3287 3287
q11 337 213 215 213
q12 364 208 209 208
q13 4561 3774 3827 3774
q14 427 314 317 314
q15 792 1318 1343 1318
q16 442 392 381 381
q17 1013 581 540 540
q18 7370 7267 6820 6820
q19 1534 1487 1365 1365
q20 603 306 298 298
q21 3059 2657 2689 2657
q22 348 281 293 281
Total cold run time: 91430 ms
Total hot run time: 68417 ms
run tpch-sf100 query with default conf and set session variable runtime_filter_mode=off
q1 30812 31888 31841 31841
q2 282 163 177 163
q3 3645 3604 3584 3584
q4 2419 2378 2366 2366
q5 5772 5751 5764 5751
q6 243 135 135 135
q7 3041 3415 3363 3363
q8 3551 3534 3556 3534
q9 9184 9217 9136 9136
q10 4015 4053 4058 4053
q11 831 885 1381 885
q12 770 591 598 591
q13 4315 3563 3600 3563
q14 469 456 458 456
q15 1152 1349 1341 1341
q16 508 472 449 449
q17 1875 1873 1847 1847
q18 8768 8621 8853 8621
q19 1774 1763 1773 1763
q20 2916 2601 2665 2601
q21 6519 6093 6122 6093
q22 507 426 421 421
Total cold run time: 93368 ms
Total hot run time: 92557 ms
TPC-H test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
Tpch sf100 test result on commit f6d1847675a67d33c06ef0947f69bcac40ca93b5, data reload: false
run tpch-sf100 query with default conf and session variables
q1 4689 4433 4478 4433
q2 379 176 157 157
q3 1452 1225 1268 1225
q4 1108 924 920 920
q5 3166 3142 3158 3142
q6 247 129 128 128
q7 999 482 482 482
q8 2195 2225 2176 2176
q9 6685 6650 6656 6650
q10 3192 3269 3272 3269
q11 311 206 204 204
q12 348 217 206 206
q13 4534 3833 3781 3781
q14 246 213 210 210
q15 571 519 527 519
q16 446 383 391 383
q17 1002 632 503 503
q18 7270 6981 7030 6981
q19 1544 1406 1366 1366
q20 569 309 288 288
q21 3086 2652 2670 2652
q22 344 281 288 281
Total cold run time: 44383 ms
Total hot run time: 39956 ms
run tpch-sf100 query with default conf and set session variable runtime_filter_mode=off
q1 4357 4380 4392 4380
q2 264 163 171 163
q3 3541 3535 3521 3521
q4 2382 2373 2375 2373
q5 5721 5721 5748 5721
q6 240 119 122 119
q7 2369 1879 1891 1879
q8 3524 3517 3531 3517
q9 9025 8999 8986 8986
q10 3896 3979 3978 3978
q11 495 385 379 379
q12 767 598 599 598
q13 4281 3591 3585 3585
q14 285 262 243 243
q15 575 523 518 518
q16 535 455 462 455
q17 1891 1842 1850 1842
q18 8653 8097 8288 8097
q19 1739 1748 1759 1748
q20 2258 1955 1943 1943
q21 6539 6187 6160 6160
q22 507 419 419 419
Total cold run time: 63844 ms
Total hot run time: 60624 ms
(From new machine)TeamCity pipeline, clickbench performance test result: the sum of best hot time: 44.09 seconds stream load tsv: 582 seconds loaded 74807831229 Bytes, about 122 MB/s stream load json: 19 seconds loaded 2358488459 Bytes, about 118 MB/s stream load orc: 67 seconds loaded 1101869774 Bytes, about 15 MB/s stream load parquet: 32 seconds loaded 861443392 Bytes, about 25 MB/s insert into select: 28.9 seconds inserted 10000000 Rows, about 346K ops/s storage size: 17219602950 Bytes
(From new machine)TeamCity pipeline, clickbench performance test result: the sum of best hot time: 44.39 seconds stream load tsv: 569 seconds loaded 74807831229 Bytes, about 125 MB/s stream load json: 19 seconds loaded 2358488459 Bytes, about 118 MB/s stream load orc: 66 seconds loaded 1101869774 Bytes, about 15 MB/s stream load parquet: 32 seconds loaded 861443392 Bytes, about 25 MB/s insert into select: 28.7 seconds inserted 10000000 Rows, about 348K ops/s storage size: 17183650104 Bytes
TPC-H test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
Tpch sf100 test result on commit f6d1847675a67d33c06ef0947f69bcac40ca93b5, data reload: false
run tpch-sf100 query with default conf and session variables
q1 4659 4425 4470 4425
q2 365 148 160 148
q3 1482 1267 1234 1234
q4 1123 894 903 894
q5 3158 3142 3167 3142
q6 255 128 131 128
q7 989 486 491 486
q8 2208 2203 2196 2196
q9 6719 6666 6640 6640
q10 3229 3281 3282 3281
q11 308 184 184 184
q12 349 206 209 206
q13 4586 3799 3784 3784
q14 241 210 209 209
q15 561 519 523 519
q16 435 397 388 388
q17 1005 585 574 574
q18 7155 6862 6882 6862
q19 1525 1368 1409 1368
q20 541 324 292 292
q21 3109 2630 2659 2630
q22 349 271 277 271
Total cold run time: 44351 ms
Total hot run time: 39861 ms
run tpch-sf100 query with default conf and set session variable runtime_filter_mode=off
q1 4353 4321 4320 4320
q2 267 164 174 164
q3 3531 3526 3517 3517
q4 2370 2358 2368 2358
q5 5731 5712 5725 5712
q6 243 124 123 123
q7 2379 1880 1893 1880
q8 3514 3520 3516 3516
q9 9058 9057 9018 9018
q10 3907 3992 3992 3992
q11 486 360 378 360
q12 780 601 608 601
q13 4283 3545 3568 3545
q14 276 247 257 247
q15 577 521 526 521
q16 512 436 462 436
q17 1866 1842 1831 1831
q18 8617 8238 8308 8238
q19 1723 1731 1758 1731
q20 2251 1944 1932 1932
q21 6606 6191 6166 6166
q22 506 411 415 411
Total cold run time: 63836 ms
Total hot run time: 60619 ms
PR approved by at least one committer and no changes requested.
![github-actions[bot] avatar](https://avatars.githubusercontent.com/in/15368?v=4 "Published by a pub.dev verified publisher"){kind=small}
(From new machine)TeamCity pipeline, clickbench performance test result: the sum of best hot time: 44.41 seconds stream load tsv: 570 seconds loaded 74807831229 Bytes, about 125 MB/s stream load json: 19 seconds loaded 2358488459 Bytes, about 118 MB/s stream load orc: 66 seconds loaded 1101869774 Bytes, about 15 MB/s stream load parquet: 32 seconds loaded 861443392 Bytes, about 25 MB/s insert into select: 28.9 seconds inserted 10000000 Rows, about 346K ops/s storage size: 17189082696 Bytes
TPC-H test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
Tpch sf100 test result on commit d365bc01d2159b7f60a24acebda8135d7c19a796, data reload: false
run tpch-sf100 query with default conf and session variables
q1 4676 4408 4388 4388
q2 364 152 157 152
q3 1459 1298 1248 1248
q4 1119 935 874 874
q5 3136 3159 3202 3159
q6 247 130 129 129
q7 1002 486 491 486
q8 2188 2213 2152 2152
q9 6699 6709 6639 6639
q10 3219 3274 3267 3267
q11 305 184 183 183
q12 348 202 208 202
q13 4593 3811 3807 3807
q14 239 212 213 212
q15 567 520 524 520
q16 443 398 385 385
q17 1003 601 502 502
q18 7178 6875 6934 6875
q19 1515 1362 1424 1362
q20 538 289 290 289
q21 3087 2666 2690 2666
q22 349 284 287 284
Total cold run time: 44274 ms
Total hot run time: 39781 ms
run tpch-sf100 query with default conf and set session variable runtime_filter_mode=off
q1 4324 4297 4341 4297
q2 267 166 167 166
q3 3518 3517 3523 3517
q4 2379 2367 2365 2365
q5 5739 5782 5739 5739
q6 242 123 122 122
q7 2382 1861 1871 1861
q8 3516 3518 3508 3508
q9 9034 9027 9021 9021
q10 3922 3992 4014 3992
q11 484 385 373 373
q12 768 583 595 583
q13 4316 3546 3575 3546
q14 289 270 252 252
q15 571 514 524 514
q16 513 463 476 463
q17 1876 1862 1865 1862
q18 8669 8153 8260 8153
q19 1707 1751 1747 1747
q20 2275 1957 1942 1942
q21 6544 6190 6173 6173
q22 508 425 411 411
Total cold run time: 63843 ms
Total hot run time: 60607 ms
TPC-H test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
Tpch sf100 test result on commit 162e28464ffd095b645acf836b6024a8ddaeba9b, data reload: false
run tpch-sf100 query with default conf and session variables
q1 4675 4393 4418 4393
q2 363 161 159 159
q3 1472 1245 1195 1195
q4 1131 934 881 881
q5 3144 3143 3145 3143
q6 251 126 127 126
q7 1003 478 502 478
q8 2209 2240 2189 2189
q9 6685 6645 6649 6645
q10 3226 3251 3254 3251
q11 309 193 184 184
q12 347 215 210 210
q13 4540 3841 3816 3816
q14 242 208 208 208
q15 578 514 524 514
q16 438 386 384 384
q17 999 566 537 537
q18 7346 6931 6949 6931
q19 1522 1293 1474 1293
q20 501 307 305 305
q21 3105 2653 2677 2653
q22 348 284 286 284
Total cold run time: 44434 ms
Total hot run time: 39779 ms
run tpch-sf100 query with default conf and set session variable runtime_filter_mode=off
q1 4389 4353 4331 4331
q2 266 168 176 168
q3 3546 3537 3536 3536
q4 2377 2385 2373 2373
q5 5729 5750 5767 5750
q6 242 120 121 120
q7 2387 1854 1877 1854
q8 3519 3516 3534 3516
q9 9042 8970 8990 8970
q10 3899 3976 4004 3976
q11 476 360 368 360
q12 772 625 599 599
q13 4266 3570 3592 3570
q14 295 254 267 254
q15 568 521 524 521
q16 495 456 466 456
q17 1904 1854 1858 1854
q18 8706 8286 8383 8286
q19 1729 1751 1750 1750
q20 2265 1949 1931 1931
q21 6539 6188 6170 6170
q22 510 423 428 423
Total cold run time: 63921 ms
Total hot run time: 60768 ms
(From new machine)TeamCity pipeline, clickbench performance test result: the sum of best hot time: 43.99 seconds stream load tsv: 582 seconds loaded 74807831229 Bytes, about 122 MB/s stream load json: 19 seconds loaded 2358488459 Bytes, about 118 MB/s stream load orc: 66 seconds loaded 1101869774 Bytes, about 15 MB/s stream load parquet: 32 seconds loaded 861443392 Bytes, about 25 MB/s insert into select: 28.8 seconds inserted 10000000 Rows, about 347K ops/s storage size: 17183678287 Bytes