doris
doris copied to clipboard
apache
[improvement](DDL)Automatically convert string type partition into varchar(65533)
Proposed changes
problem
The current partition type of doris does not support string, If you use the string type as a partition field, an error will be reported. like:
- CREATE TABLE :
mysql> create table tb2 (id int, val string) DUPLICATE KEY(`id`) auto partition by list (val)() DISTRIBUTED BY HASH(`id`) BUCKETS 1 properties("replication_num" = "1");
ERROR 1105 (HY000): errCode = 2, detailMessage = String Type should not be used in partition column[val].
- CTAS :
mysql> use hive_emr.mmc_hive;
mysql> create table tb11 (id int, val string, val2 string);
Query OK, 0 rows affected (0.04 sec)
mysql> insert into tb11 values (1, 'a', 'a');
Query OK, 1 row affected (0.13 sec)
{'status':'COMMITTED', 'txnId':'55029'}
mysql> use internal.doris;
mysql> create table tb3 auto partition by list (val)() properties("replication_num" = "1") as select * from hive_emr.mmc_hive.tb11;
ERROR 1105 (HY000): errCode = 2, detailMessage = String Type should not be used in partition column[val].
solution
This PR supports automatic conversion of string to varchar(65533), so, when using a CTAS table and using string for partitioning, it can still be successful. like:
- create table:
mysql> create table tb2 (id int, val string) DUPLICATE KEY(`id`) auto partition by list (val)() DISTRIBUTED BY HASH(`id`) BUCKETS 1 properties("replication_num" = "1");
Query OK, 0 rows affected (0.01 sec)
mysql> desc tb2;
+-------+----------------+------+-------+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+-------+----------------+------+-------+---------+-------+
| id | INT | Yes | true | NULL | |
| val | VARCHAR(65533) | Yes | false | NULL | NONE |
+-------+----------------+------+-------+---------+-------+
2 rows in set (0.00 sec)
- CTAS
mysql> create table tb3 auto partition by list (val)() properties("replication_num" = "1") as select * from hive_emr.mmc_hive.tb11;
Query OK, 1 row affected (0.25 sec)
{'label':'label_e6a6e62b4ee543d2_8fb42e7b1c829f6f', 'status':'VISIBLE', 'txnId':'11013'}
mysql> desc tb3;
+-------+----------------+------+-------+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+-------+----------------+------+-------+---------+-------+
| id | INT | Yes | true | NULL | |
| val | VARCHAR(65533) | Yes | true | NULL | |
| val2 | TEXT | Yes | false | NULL | NONE |
+-------+----------------+------+-------+---------+-------+
3 rows in set (0.01 sec)
mysql> select * from tb3;
+------+------+------+
| id | val | val2 |
+------+------+------+
| 1 | a | a |
+------+------+------+
1 row in set (0.05 sec)
Further comments
If this is a relatively large or complex change, kick off the discussion at [email protected] by explaining why you chose the solution you did and what alternatives you considered, etc...
Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR
Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.
TPC-H: Total hot run time: 40179 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit a971445a514b6c401de4446ee2b08fed2a2c5bff, data reload: false
------ Round 1 ----------------------------------
q1 17613 4320 4200 4200
q2 2016 187 193 187
q3 10851 1315 1305 1305
q4 10541 868 799 799
q5 9037 2707 2706 2706
q6 219 136 140 136
q7 979 604 606 604
q8 9359 2111 2103 2103
q9 9453 6645 6610 6610
q10 9369 3713 3745 3713
q11 446 235 241 235
q12 455 227 228 227
q13 17923 2964 2977 2964
q14 254 213 221 213
q15 505 468 454 454
q16 525 380 375 375
q17 951 614 738 614
q18 8084 7406 7391 7391
q19 3149 1531 1531 1531
q20 646 310 301 301
q21 4916 3236 3920 3236
q22 347 276 275 275
Total cold run time: 117638 ms
Total hot run time: 40179 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4290 4167 4186 4167
q2 379 277 271 271
q3 3022 2716 2778 2716
q4 1887 1606 1595 1595
q5 5238 5290 5262 5262
q6 213 124 128 124
q7 2086 1765 1768 1765
q8 3194 3325 3335 3325
q9 8362 8296 8349 8296
q10 3878 3656 3650 3650
q11 582 490 487 487
q12 754 626 595 595
q13 17419 2983 2997 2983
q14 301 270 272 270
q15 510 492 474 474
q16 462 411 426 411
q17 1750 1466 1462 1462
q18 7686 7589 7518 7518
q19 2839 1622 1559 1559
q20 1993 1825 1803 1803
q21 4833 4820 4890 4820
q22 580 508 499 499
Total cold run time: 72258 ms
Total hot run time: 54052 ms
TPC-DS: Total hot run time: 168642 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit a971445a514b6c401de4446ee2b08fed2a2c5bff, data reload: false
query1 930 380 368 368
query2 6454 2507 2423 2423
query3 6652 211 208 208
query4 19563 17250 17267 17250
query5 4212 412 417 412
query6 239 163 155 155
query7 4576 305 289 289
query8 234 184 188 184
query9 8413 2377 2365 2365
query10 450 266 251 251
query11 10647 10193 10146 10146
query12 137 91 88 88
query13 1632 361 364 361
query14 9831 7490 6311 6311
query15 208 165 169 165
query16 7829 262 257 257
query17 1855 517 513 513
query18 1946 260 259 259
query19 197 159 180 159
query20 100 93 92 92
query21 204 128 130 128
query22 4301 3981 4059 3981
query23 33729 32920 33059 32920
query24 11959 2845 2814 2814
query25 673 372 355 355
query26 1796 157 151 151
query27 3018 324 322 322
query28 7234 2040 2055 2040
query29 1110 609 594 594
query30 306 171 174 171
query31 963 775 752 752
query32 88 52 54 52
query33 779 274 273 273
query34 990 484 478 478
query35 769 595 601 595
query36 1062 913 944 913
query37 164 67 68 67
query38 2893 2782 2769 2769
query39 825 776 797 776
query40 272 122 124 122
query41 45 45 43 43
query42 102 96 101 96
query43 596 536 543 536
query44 1181 719 739 719
query45 190 163 160 160
query46 1073 711 713 711
query47 1893 1776 1767 1767
query48 376 303 298 298
query49 1173 373 380 373
query50 764 385 390 385
query51 6898 6872 6745 6745
query52 107 88 87 87
query53 372 293 279 279
query54 948 419 422 419
query55 81 75 74 74
query56 252 242 248 242
query57 1139 1036 1037 1036
query58 236 210 204 204
query59 3524 3210 3075 3075
query60 273 249 271 249
query61 86 88 84 84
query62 640 463 466 463
query63 316 287 291 287
query64 9914 2315 1734 1734
query65 3207 3145 3099 3099
query66 1370 320 321 320
query67 15547 14863 14898 14863
query68 4614 525 531 525
query69 447 274 274 274
query70 1154 1123 1165 1123
query71 402 267 290 267
query72 7578 2724 2585 2585
query73 713 322 324 322
query74 5969 5572 5683 5572
query75 3301 2640 2616 2616
query76 2610 1017 982 982
query77 421 273 271 271
query78 10569 9812 9673 9673
query79 2060 510 512 510
query80 929 440 428 428
query81 522 244 247 244
query82 616 95 94 94
query83 241 165 166 165
query84 232 84 82 82
query85 1848 262 263 262
query86 528 303 305 303
query87 3326 3142 3094 3094
query88 3955 2335 2332 2332
query89 479 399 373 373
query90 1971 256 184 184
query91 125 97 97 97
query92 56 47 49 47
query93 2172 510 495 495
query94 1251 188 187 187
query95 410 309 311 309
query96 584 266 263 263
query97 3225 3061 3019 3019
query98 236 219 213 213
query99 1102 854 876 854
Total cold run time: 275189 ms
Total hot run time: 168642 ms
ClickBench: Total hot run time: 31.15 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit a971445a514b6c401de4446ee2b08fed2a2c5bff, data reload: false
query1 0.04 0.03 0.03
query2 0.08 0.04 0.04
query3 0.23 0.05 0.05
query4 1.67 0.08 0.07
query5 0.49 0.48 0.50
query6 1.13 0.73 0.72
query7 0.03 0.01 0.01
query8 0.05 0.04 0.05
query9 0.55 0.48 0.48
query10 0.53 0.54 0.54
query11 0.16 0.11 0.11
query12 0.14 0.12 0.12
query13 0.59 0.58 0.60
query14 0.77 0.80 0.77
query15 0.84 0.83 0.81
query16 0.35 0.35 0.38
query17 0.99 1.01 0.95
query18 0.22 0.25 0.25
query19 1.86 1.74 1.68
query20 0.01 0.01 0.01
query21 15.71 0.67 0.66
query22 3.93 6.67 2.59
query23 18.28 1.39 1.25
query24 1.35 0.30 0.33
query25 0.15 0.08 0.07
query26 0.26 0.17 0.17
query27 0.07 0.07 0.08
query28 13.35 1.01 1.00
query29 13.17 3.25 3.23
query30 0.24 0.06 0.05
query31 2.87 0.39 0.38
query32 3.30 0.47 0.47
query33 2.92 2.90 2.92
query34 17.30 4.42 4.38
query35 4.50 4.57 4.52
query36 0.63 0.44 0.45
query37 0.17 0.16 0.15
query38 0.15 0.14 0.14
query39 0.04 0.04 0.03
query40 0.16 0.14 0.14
query41 0.09 0.05 0.04
query42 0.05 0.04 0.05
query43 0.04 0.04 0.04
Total cold run time: 109.46 s
Total hot run time: 31.15 s
How can ensure that the length of string-type fields meets the requirements of varchar?
TPC-H: Total hot run time: 41183 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 11bf9bfbc1656b054b9c76e37ea89927dc45a63e, data reload: false
------ Round 1 ----------------------------------
q1 17605 4449 4210 4210
q2 2039 193 195 193
q3 10440 1191 1177 1177
q4 10202 878 844 844
q5 7471 2743 2724 2724
q6 223 134 134 134
q7 964 620 620 620
q8 9217 2172 2099 2099
q9 9403 6714 6728 6714
q10 9249 3821 3965 3821
q11 445 244 239 239
q12 433 242 221 221
q13 17201 3115 3226 3115
q14 258 234 230 230
q15 536 469 473 469
q16 484 385 383 383
q17 1005 673 706 673
q18 8504 8009 7854 7854
q19 6238 1629 1566 1566
q20 651 319 323 319
q21 5211 3358 3301 3301
q22 357 277 287 277
Total cold run time: 118136 ms
Total hot run time: 41183 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4545 4365 4358 4358
q2 383 273 264 264
q3 3166 2919 2914 2914
q4 1967 1746 1644 1644
q5 5320 5500 5488 5488
q6 222 125 126 125
q7 2151 1820 1816 1816
q8 3224 3410 3380 3380
q9 8709 8664 8670 8664
q10 4106 3825 3721 3721
q11 579 492 492 492
q12 793 636 615 615
q13 15969 3181 3160 3160
q14 321 266 259 259
q15 523 470 480 470
q16 489 428 436 428
q17 1855 1525 1521 1521
q18 7826 7635 7398 7398
q19 1739 1576 1538 1538
q20 1997 1760 1761 1760
q21 5084 4695 4679 4679
q22 582 491 476 476
Total cold run time: 71550 ms
Total hot run time: 55170 ms
TPC-DS: Total hot run time: 171210 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 11bf9bfbc1656b054b9c76e37ea89927dc45a63e, data reload: false
query1 925 370 371 370
query2 6453 2359 2388 2359
query3 6644 204 202 202
query4 20010 17432 17276 17276
query5 4133 410 452 410
query6 251 155 153 153
query7 4584 290 284 284
query8 239 187 180 180
query9 8519 2356 2348 2348
query10 445 280 264 264
query11 10576 10142 9945 9945
query12 138 91 89 89
query13 1632 367 351 351
query14 9240 7574 6705 6705
query15 229 168 176 168
query16 7792 279 248 248
query17 1697 540 503 503
query18 1984 265 271 265
query19 189 153 154 153
query20 97 84 89 84
query21 196 138 127 127
query22 4320 3810 3942 3810
query23 34041 32968 32984 32968
query24 11742 2797 2754 2754
query25 620 367 353 353
query26 1656 156 155 155
query27 2952 316 312 312
query28 7541 2052 2045 2045
query29 1019 611 598 598
query30 240 147 150 147
query31 973 803 748 748
query32 91 53 55 53
query33 755 257 270 257
query34 1019 474 476 474
query35 730 607 613 607
query36 1105 892 929 892
query37 255 69 72 69
query38 2885 2848 2823 2823
query39 876 803 801 801
query40 246 127 126 126
query41 50 47 47 47
query42 103 95 96 95
query43 596 531 545 531
query44 1184 755 728 728
query45 177 166 162 162
query46 1058 753 698 698
query47 1867 1788 1809 1788
query48 373 300 309 300
query49 933 369 377 369
query50 768 380 384 380
query51 6897 6882 6810 6810
query52 99 87 85 85
query53 357 281 281 281
query54 846 434 438 434
query55 72 70 72 70
query56 252 243 247 243
query57 1146 1052 1093 1052
query58 231 217 221 217
query59 3419 3141 3054 3054
query60 274 249 255 249
query61 94 93 89 89
query62 603 448 449 448
query63 309 283 277 277
query64 9664 2251 1701 1701
query65 3192 3108 3095 3095
query66 1256 332 331 331
query67 15140 14855 14835 14835
query68 4699 544 535 535
query69 445 267 271 267
query70 1150 1102 1137 1102
query71 409 269 264 264
query72 7445 5337 5637 5337
query73 744 320 317 317
query74 5993 5541 5597 5541
query75 3659 2600 2581 2581
query76 3615 957 953 953
query77 554 265 264 264
query78 10240 9721 9630 9630
query79 2594 510 501 501
query80 1157 434 430 430
query81 494 222 220 220
query82 882 92 91 91
query83 191 168 171 168
query84 263 85 87 85
query85 1321 275 283 275
query86 446 281 318 281
query87 3315 3172 3158 3158
query88 4012 2426 2342 2342
query89 491 387 371 371
query90 1910 193 187 187
query91 144 107 172 107
query92 65 48 50 48
query93 3064 505 491 491
query94 1027 185 183 183
query95 408 310 310 310
query96 589 280 263 263
query97 3179 3004 3049 3004
query98 236 220 223 220
query99 1255 855 839 839
Total cold run time: 275995 ms
Total hot run time: 171210 ms
ClickBench: Total hot run time: 30.62 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 11bf9bfbc1656b054b9c76e37ea89927dc45a63e, data reload: false
query1 0.03 0.03 0.03
query2 0.08 0.05 0.04
query3 0.22 0.05 0.04
query4 1.68 0.08 0.08
query5 0.51 0.47 0.52
query6 1.13 0.72 0.71
query7 0.02 0.01 0.01
query8 0.06 0.04 0.05
query9 0.53 0.49 0.48
query10 0.53 0.54 0.55
query11 0.16 0.11 0.12
query12 0.15 0.11 0.12
query13 0.61 0.60 0.59
query14 0.78 0.79 0.78
query15 0.81 0.80 0.80
query16 0.37 0.38 0.37
query17 1.00 1.01 1.02
query18 0.20 0.27 0.24
query19 1.86 1.72 1.72
query20 0.01 0.02 0.02
query21 15.48 0.70 0.69
query22 4.20 7.62 1.78
query23 18.29 1.32 1.29
query24 1.94 0.21 0.22
query25 0.14 0.08 0.08
query26 0.26 0.17 0.17
query27 0.08 0.08 0.08
query28 13.31 1.01 0.99
query29 12.82 3.41 3.35
query30 0.24 0.06 0.07
query31 2.85 0.39 0.39
query32 3.27 0.48 0.46
query33 2.87 2.93 2.89
query34 17.20 4.39 4.41
query35 4.44 4.54 4.57
query36 0.68 0.47 0.45
query37 0.18 0.16 0.16
query38 0.15 0.15 0.14
query39 0.05 0.05 0.04
query40 0.17 0.14 0.15
query41 0.09 0.05 0.05
query42 0.05 0.04 0.05
query43 0.04 0.04 0.04
Total cold run time: 109.54 s
Total hot run time: 30.62 s
TPC-H: Total hot run time: 42243 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit d857b9ba1a5127cf771bf0719392440c334c649c, data reload: false
------ Round 1 ----------------------------------
q1 17774 4558 4309 4309
q2 2030 201 195 195
q3 10527 1255 1194 1194
q4 10228 784 757 757
q5 7540 2732 2732 2732
q6 230 136 139 136
q7 971 619 618 618
q8 9218 2202 2125 2125
q9 9467 6779 6749 6749
q10 9792 3904 3905 3904
q11 443 240 256 240
q12 511 224 221 221
q13 17478 3261 3251 3251
q14 269 205 217 205
q15 506 466 475 466
q16 493 406 397 397
q17 1002 727 792 727
q18 8436 7952 7849 7849
q19 2563 1581 1541 1541
q20 667 306 311 306
q21 5224 4043 4173 4043
q22 360 278 282 278
Total cold run time: 115729 ms
Total hot run time: 42243 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4540 4415 4435 4415
q2 401 271 264 264
q3 3225 3040 2790 2790
q4 1866 1590 1636 1590
q5 5505 5495 5528 5495
q6 219 133 132 132
q7 2214 1816 1829 1816
q8 3263 3418 3389 3389
q9 8678 8688 8677 8677
q10 3972 3834 3870 3834
q11 609 504 497 497
q12 786 628 625 625
q13 17158 3208 3181 3181
q14 290 260 252 252
q15 520 481 460 460
q16 470 425 408 408
q17 1773 1484 1458 1458
q18 7774 7698 7454 7454
q19 3892 1545 1518 1518
q20 2025 1804 1764 1764
q21 7660 4753 4697 4697
q22 595 493 483 483
Total cold run time: 77435 ms
Total hot run time: 55199 ms
TPC-DS: Total hot run time: 172586 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit d857b9ba1a5127cf771bf0719392440c334c649c, data reload: false
query1 931 398 378 378
query2 6439 2291 2286 2286
query3 6644 206 208 206
query4 19549 17413 17365 17365
query5 4090 421 429 421
query6 237 168 152 152
query7 4595 308 290 290
query8 249 184 179 179
query9 8422 2370 2357 2357
query10 446 281 277 277
query11 10669 10273 10022 10022
query12 135 96 91 91
query13 1647 381 383 381
query14 10324 6903 7558 6903
query15 207 171 169 169
query16 7758 259 263 259
query17 1783 530 513 513
query18 1883 275 278 275
query19 198 152 156 152
query20 90 87 89 87
query21 193 137 132 132
query22 4269 4029 3961 3961
query23 33943 33274 33149 33149
query24 11691 2942 2847 2847
query25 632 355 361 355
query26 1727 158 159 158
query27 2933 333 332 332
query28 7471 2075 2078 2075
query29 1035 602 607 602
query30 225 148 149 148
query31 940 775 736 736
query32 88 53 57 53
query33 760 268 265 265
query34 1006 481 495 481
query35 713 631 591 591
query36 1090 914 905 905
query37 259 66 69 66
query38 2922 2787 2810 2787
query39 827 796 782 782
query40 240 131 129 129
query41 46 73 42 42
query42 106 95 102 95
query43 603 564 549 549
query44 1205 757 775 757
query45 182 162 162 162
query46 1069 718 725 718
query47 1851 1740 1792 1740
query48 372 302 312 302
query49 975 383 394 383
query50 777 383 403 383
query51 6923 6699 6697 6697
query52 108 94 97 94
query53 350 292 304 292
query54 919 442 442 442
query55 75 78 78 78
query56 261 245 256 245
query57 1142 1050 1051 1050
query58 234 204 223 204
query59 3546 3094 3273 3094
query60 281 271 261 261
query61 87 85 86 85
query62 617 455 454 454
query63 315 289 296 289
query64 9626 2204 1853 1853
query65 3203 3133 3127 3127
query66 1322 354 390 354
query67 15377 14817 14717 14717
query68 5711 562 545 545
query69 490 267 286 267
query70 1093 1121 1132 1121
query71 461 274 265 265
query72 7858 5524 5367 5367
query73 765 334 329 329
query74 6071 5654 5619 5619
query75 3904 2641 2632 2632
query76 3690 960 1039 960
query77 630 272 270 270
query78 10542 9922 9642 9642
query79 2372 533 523 523
query80 1798 439 436 436
query81 530 225 226 225
query82 1297 96 101 96
query83 301 176 173 173
query84 266 93 84 84
query85 1548 266 265 265
query86 462 310 321 310
query87 3316 3130 3146 3130
query88 4053 2470 2484 2470
query89 469 391 384 384
query90 2021 234 189 189
query91 125 97 98 97
query92 64 49 50 49
query93 2186 533 514 514
query94 1251 185 185 185
query95 403 314 319 314
query96 589 272 274 272
query97 3231 3044 3017 3017
query98 240 238 223 223
query99 1234 861 829 829
Total cold run time: 279803 ms
Total hot run time: 172586 ms
ClickBench: Total hot run time: 30.39 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit d857b9ba1a5127cf771bf0719392440c334c649c, data reload: false
query1 0.04 0.03 0.03
query2 0.07 0.04 0.04
query3 0.22 0.04 0.05
query4 1.68 0.08 0.07
query5 0.52 0.49 0.48
query6 1.13 0.72 0.73
query7 0.02 0.02 0.02
query8 0.05 0.05 0.04
query9 0.52 0.48 0.48
query10 0.54 0.55 0.53
query11 0.16 0.12 0.12
query12 0.16 0.13 0.11
query13 0.60 0.60 0.58
query14 0.78 0.76 0.78
query15 0.82 0.80 0.80
query16 0.35 0.35 0.37
query17 0.95 1.00 0.98
query18 0.23 0.25 0.22
query19 1.77 1.69 1.68
query20 0.01 0.01 0.01
query21 15.77 0.66 0.65
query22 4.21 7.79 1.82
query23 18.32 1.46 1.25
query24 1.52 0.29 0.24
query25 0.14 0.09 0.08
query26 0.27 0.18 0.18
query27 0.08 0.07 0.07
query28 13.42 1.04 1.00
query29 13.83 3.36 3.33
query30 0.24 0.05 0.06
query31 2.87 0.39 0.38
query32 3.29 0.47 0.46
query33 2.85 2.90 2.88
query34 17.10 4.37 4.43
query35 4.50 4.57 4.54
query36 0.66 0.46 0.45
query37 0.18 0.15 0.17
query38 0.15 0.14 0.15
query39 0.04 0.03 0.04
query40 0.16 0.14 0.14
query41 0.09 0.05 0.05
query42 0.06 0.05 0.04
query43 0.04 0.03 0.04
Total cold run time: 110.41 s
Total hot run time: 30.39 s
TPC-H: Total hot run time: 41034 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 3ab43f3767cfa885ef63019e7bf01109cb2c2084, data reload: false
------ Round 1 ----------------------------------
q1 17612 4313 4217 4217
q2 2012 194 199 194
q3 10465 1146 1231 1146
q4 10192 797 733 733
q5 7535 2681 2714 2681
q6 228 129 132 129
q7 954 607 592 592
q8 9202 2108 2087 2087
q9 9437 6623 6714 6623
q10 9092 3911 3916 3911
q11 473 255 257 255
q12 503 244 238 238
q13 17821 3200 3230 3200
q14 275 240 230 230
q15 498 455 456 455
q16 483 372 368 368
q17 980 708 792 708
q18 8317 7873 7754 7754
q19 7181 1606 1631 1606
q20 666 308 312 308
q21 5110 3263 3898 3263
q22 394 336 336 336
Total cold run time: 119430 ms
Total hot run time: 41034 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4558 4424 4430 4424
q2 380 276 273 273
q3 3137 2964 2936 2936
q4 1891 1637 1621 1621
q5 5526 5498 5498 5498
q6 218 124 121 121
q7 2154 1845 1796 1796
q8 3237 3401 3397 3397
q9 8681 8683 8672 8672
q10 3954 3687 3781 3687
q11 618 511 502 502
q12 812 669 614 614
q13 15802 3128 3179 3128
q14 296 295 258 258
q15 552 501 471 471
q16 508 439 452 439
q17 1803 1543 1496 1496
q18 7790 7543 7403 7403
q19 1688 1614 1572 1572
q20 2004 1771 1753 1753
q21 9128 4672 4727 4672
q22 607 539 526 526
Total cold run time: 75344 ms
Total hot run time: 55259 ms
TPC-DS: Total hot run time: 171642 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 3ab43f3767cfa885ef63019e7bf01109cb2c2084, data reload: false
query1 923 379 377 377
query2 6432 2415 2420 2415
query3 6650 213 214 213
query4 19148 17453 17209 17209
query5 4115 432 420 420
query6 252 159 160 159
query7 4576 287 286 286
query8 330 287 296 287
query9 8479 2403 2396 2396
query10 456 289 273 273
query11 10546 10046 10116 10046
query12 142 91 86 86
query13 1677 359 355 355
query14 9979 6887 7517 6887
query15 235 192 187 187
query16 7772 264 254 254
query17 1716 520 513 513
query18 1897 268 267 267
query19 199 152 154 152
query20 91 84 85 84
query21 195 133 133 133
query22 4235 4152 3855 3855
query23 33828 32858 33225 32858
query24 7731 2840 2873 2840
query25 572 354 357 354
query26 712 161 152 152
query27 2197 317 328 317
query28 5380 2040 2043 2040
query29 891 610 616 610
query30 258 150 152 150
query31 981 755 754 754
query32 93 52 57 52
query33 588 267 267 267
query34 883 459 466 459
query35 704 617 609 609
query36 1069 916 882 882
query37 105 65 73 65
query38 2913 2774 2772 2772
query39 868 799 794 794
query40 201 126 129 126
query41 55 54 55 54
query42 103 98 97 97
query43 605 556 547 547
query44 1101 730 775 730
query45 187 172 172 172
query46 1072 698 677 677
query47 1821 1762 1773 1762
query48 372 297 296 296
query49 837 377 386 377
query50 776 380 388 380
query51 6934 6789 6813 6789
query52 100 90 93 90
query53 362 293 292 292
query54 573 446 435 435
query55 75 72 74 72
query56 262 244 249 244
query57 1139 1055 1055 1055
query58 234 213 209 209
query59 3529 3286 3346 3286
query60 278 261 255 255
query61 94 88 93 88
query62 592 466 467 466
query63 321 296 290 290
query64 8523 2270 1678 1678
query65 3128 3098 3104 3098
query66 799 323 329 323
query67 15303 15038 14803 14803
query68 4567 539 529 529
query69 441 271 273 271
query70 1077 1102 1140 1102
query71 373 269 265 265
query72 7546 6090 4709 4709
query73 735 338 322 322
query74 6042 5622 5644 5622
query75 3376 2584 2643 2584
query76 2351 933 919 919
query77 414 274 274 274
query78 10278 9862 9885 9862
query79 1655 516 507 507
query80 1074 437 424 424
query81 521 222 215 215
query82 956 90 93 90
query83 236 176 173 173
query84 248 85 94 85
query85 1229 277 275 275
query86 454 309 302 302
query87 3308 3133 3175 3133
query88 3276 2363 2352 2352
query89 492 420 398 398
query90 1985 199 197 197
query91 144 113 110 110
query92 70 51 52 51
query93 1578 506 496 496
query94 1254 265 186 186
query95 407 317 328 317
query96 589 276 264 264
query97 3141 3026 2999 2999
query98 242 215 216 215
query99 1136 883 874 874
Total cold run time: 260389 ms
Total hot run time: 171642 ms
ClickBench: Total hot run time: 30.48 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 3ab43f3767cfa885ef63019e7bf01109cb2c2084, data reload: false
query1 0.04 0.03 0.03
query2 0.08 0.04 0.03
query3 0.22 0.05 0.04
query4 1.68 0.07 0.07
query5 0.51 0.49 0.51
query6 1.12 0.72 0.72
query7 0.02 0.02 0.02
query8 0.05 0.04 0.04
query9 0.54 0.49 0.48
query10 0.53 0.56 0.54
query11 0.16 0.11 0.11
query12 0.14 0.12 0.11
query13 0.59 0.59 0.63
query14 0.79 0.78 0.77
query15 0.82 0.80 0.82
query16 0.38 0.37 0.37
query17 1.00 0.96 0.95
query18 0.22 0.28 0.24
query19 1.81 1.72 1.74
query20 0.01 0.01 0.01
query21 15.46 0.70 0.69
query22 4.60 7.10 1.98
query23 18.26 1.31 1.24
query24 2.05 0.21 0.20
query25 0.15 0.07 0.08
query26 0.26 0.16 0.17
query27 0.08 0.08 0.08
query28 13.29 1.02 1.01
query29 12.82 3.33 3.29
query30 0.24 0.06 0.06
query31 2.88 0.37 0.38
query32 3.31 0.47 0.46
query33 2.90 2.91 2.85
query34 17.13 4.38 4.39
query35 4.47 4.45 4.56
query36 0.70 0.47 0.48
query37 0.18 0.16 0.16
query38 0.15 0.15 0.15
query39 0.04 0.04 0.03
query40 0.17 0.14 0.14
query41 0.09 0.05 0.04
query42 0.06 0.04 0.05
query43 0.04 0.04 0.03
Total cold run time: 110.04 s
Total hot run time: 30.48 s