[improvement](mtmv) Materialized view partition track supports date_trunc and optimize the fail reason
Proposed changes
this depends on https://github.com/apache/doris/pull/34781
Materialized view partition track supports date_trunc and optimize the fail reason. it supports create partition mv as following: this mv will be partition updated by day
CREATE MATERIALIZED VIEW mv_6
BUILD IMMEDIATE REFRESH AUTO ON MANUAL
partition by(date_trunc(date_alias, 'day'))
DISTRIBUTED BY RANDOM BUCKETS 2
PROPERTIES ('replication_num' = '1')
AS
SELECT date_trunc(t1.L_SHIPDATE, 'hour') as date_alias, t2.O_ORDERDATE, t1.L_QUANTITY, t2.O_ORDERSTATUS,
count(distinct case when t1.L_SUPPKEY > 0 then t2.O_ORDERSTATUS else null end) as cnt_1
from
(select * from
lineitem
where L_SHIPDATE in ('2017-01-30')) t1
left join
(select * from
orders
where O_ORDERDATE in ('2017-01-30')) t2
on t1.L_ORDERKEY = t2.O_ORDERKEY
group by
t1.L_SHIPDATE,
t2.O_ORDERDATE,
t1.L_QUANTITY,
t2.O_ORDERSTATUS;
Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR
Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.
run buildall
run buildall
TPC-H: Total hot run time: 40704 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 5e705fdaaf04fc93304405058c7414c0d1434b15, data reload: false
------ Round 1 ----------------------------------
q1 17624 4736 4202 4202
q2 2025 191 200 191
q3 10466 1174 1203 1174
q4 10190 776 819 776
q5 7472 2707 2708 2707
q6 218 132 131 131
q7 954 590 614 590
q8 9223 2109 2064 2064
q9 9011 6653 6669 6653
q10 10164 3812 3815 3812
q11 442 237 247 237
q12 448 221 233 221
q13 17228 3256 3245 3245
q14 268 225 232 225
q15 502 479 462 462
q16 503 372 389 372
q17 989 643 732 643
q18 8320 7849 7652 7652
q19 5722 1584 1526 1526
q20 628 312 321 312
q21 5180 3944 3236 3236
q22 352 273 274 273
Total cold run time: 117929 ms
Total hot run time: 40704 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4567 4349 4424 4349
q2 373 276 273 273
q3 3164 2933 2934 2933
q4 1964 1636 1542 1542
q5 5426 5508 5486 5486
q6 217 124 126 124
q7 2236 1817 1823 1817
q8 3243 3472 3428 3428
q9 8610 8668 8748 8668
q10 4130 3782 3694 3694
q11 589 506 492 492
q12 782 642 625 625
q13 15981 3170 3178 3170
q14 327 287 280 280
q15 543 488 497 488
q16 492 429 448 429
q17 1870 1515 1522 1515
q18 7959 7788 7778 7778
q19 2163 1602 1561 1561
q20 2097 1887 1875 1875
q21 10852 4931 5058 4931
q22 577 488 499 488
Total cold run time: 78162 ms
Total hot run time: 55946 ms
TPC-DS: Total hot run time: 170257 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 5e705fdaaf04fc93304405058c7414c0d1434b15, data reload: false
query1 1609 400 389 389
query2 7990 2433 2282 2282
query3 6647 204 207 204
query4 19264 17247 17344 17247
query5 4141 442 431 431
query6 258 157 170 157
query7 4582 322 300 300
query8 238 188 188 188
query9 8586 2353 2333 2333
query10 449 299 255 255
query11 10489 10221 10066 10066
query12 136 91 87 87
query13 1637 366 369 366
query14 10386 6834 7559 6834
query15 268 177 170 170
query16 8117 265 259 259
query17 1724 534 503 503
query18 2128 283 276 276
query19 284 150 151 150
query20 91 87 87 87
query21 205 132 130 130
query22 4027 3959 3917 3917
query23 33820 33094 32844 32844
query24 10483 2876 2862 2862
query25 588 358 372 358
query26 1144 154 154 154
query27 2393 323 311 311
query28 6629 2036 2037 2036
query29 861 618 603 603
query30 250 154 152 152
query31 945 770 743 743
query32 97 53 56 53
query33 746 270 261 261
query34 975 468 486 468
query35 747 600 623 600
query36 1064 919 897 897
query37 124 64 70 64
query38 2851 2764 2768 2764
query39 825 803 797 797
query40 197 124 123 123
query41 46 44 47 44
query42 102 98 96 96
query43 595 555 543 543
query44 1184 725 743 725
query45 182 160 159 159
query46 1059 729 710 710
query47 1838 1765 1772 1765
query48 362 302 296 296
query49 872 382 392 382
query50 773 390 390 390
query51 6855 6706 6791 6706
query52 104 90 92 90
query53 352 296 287 287
query54 898 426 431 426
query55 74 71 73 71
query56 329 252 255 252
query57 1160 1041 1029 1029
query58 230 210 224 210
query59 3413 3129 3345 3129
query60 285 264 264 264
query61 90 89 90 89
query62 628 455 479 455
query63 313 288 284 284
query64 8813 2313 1828 1828
query65 3161 3096 3098 3096
query66 796 328 327 327
query67 15062 14771 14748 14748
query68 4746 544 548 544
query69 521 270 277 270
query70 1103 1165 1124 1124
query71 423 274 281 274
query72 7205 5644 3816 3816
query73 712 322 320 320
query74 6107 5623 5535 5535
query75 3356 2640 2623 2623
query76 2805 1049 1024 1024
query77 414 273 261 261
query78 10364 9853 9823 9823
query79 2245 500 512 500
query80 906 476 427 427
query81 537 221 211 211
query82 887 89 92 89
query83 255 168 166 166
query84 254 94 83 83
query85 1556 276 260 260
query86 457 312 290 290
query87 3333 3180 3246 3180
query88 4230 2341 2317 2317
query89 476 377 392 377
query90 2058 186 192 186
query91 123 94 98 94
query92 58 48 51 48
query93 1858 499 489 489
query94 1231 180 183 180
query95 399 302 308 302
query96 579 264 263 263
query97 3200 3067 3000 3000
query98 242 223 210 210
query99 1208 860 849 849
Total cold run time: 271419 ms
Total hot run time: 170257 ms
ClickBench: Total hot run time: 30.02 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 5e705fdaaf04fc93304405058c7414c0d1434b15, data reload: false
query1 0.04 0.04 0.03
query2 0.09 0.04 0.04
query3 0.23 0.06 0.05
query4 1.67 0.07 0.08
query5 0.51 0.49 0.52
query6 1.12 0.73 0.73
query7 0.02 0.01 0.02
query8 0.05 0.04 0.04
query9 0.55 0.49 0.51
query10 0.54 0.54 0.54
query11 0.15 0.12 0.11
query12 0.15 0.12 0.12
query13 0.59 0.58 0.59
query14 0.77 0.78 0.80
query15 0.82 0.81 0.82
query16 0.35 0.37 0.36
query17 0.99 0.94 0.98
query18 0.22 0.23 0.25
query19 1.86 1.75 1.70
query20 0.02 0.01 0.00
query21 15.54 0.69 0.68
query22 5.09 7.13 1.31
query23 18.28 1.41 1.29
query24 2.03 0.25 0.19
query25 0.14 0.08 0.08
query26 0.26 0.16 0.17
query27 0.07 0.08 0.08
query28 13.27 1.03 1.00
query29 13.28 3.30 3.33
query30 0.25 0.06 0.05
query31 2.85 0.39 0.38
query32 3.30 0.47 0.47
query33 3.01 3.00 2.92
query34 17.17 4.39 4.40
query35 4.51 4.60 4.55
query36 0.66 0.50 0.46
query37 0.19 0.16 0.16
query38 0.16 0.15 0.15
query39 0.04 0.04 0.04
query40 0.16 0.13 0.14
query41 0.09 0.04 0.04
query42 0.06 0.05 0.04
query43 0.03 0.03 0.04
Total cold run time: 111.18 s
Total hot run time: 30.02 s
run buildall
TPC-H: Total hot run time: 39956 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit b0f6bf81cd3cf6bceb578465d74b170e8cce9ac2, data reload: false
------ Round 1 ----------------------------------
q1 18153 4475 4350 4350
q2 3013 206 202 202
q3 11124 1281 1215 1215
q4 10696 797 949 797
q5 7551 2725 2709 2709
q6 229 141 138 138
q7 969 604 606 604
q8 9367 2094 2095 2094
q9 8868 6490 6500 6490
q10 8905 3667 3715 3667
q11 455 251 241 241
q12 400 214 213 213
q13 17773 3016 2994 2994
q14 253 224 219 219
q15 529 481 476 476
q16 508 375 375 375
q17 965 657 679 657
q18 8074 7513 7271 7271
q19 6111 1555 1507 1507
q20 656 310 303 303
q21 4912 3832 3149 3149
q22 335 285 286 285
Total cold run time: 119846 ms
Total hot run time: 39956 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4352 4270 4210 4210
q2 360 255 268 255
q3 3031 2782 2782 2782
q4 1873 1572 1592 1572
q5 5217 5271 5272 5271
q6 211 123 126 123
q7 2089 1767 1699 1699
q8 3194 3360 3304 3304
q9 8304 8348 8337 8337
q10 3842 3729 3653 3653
q11 592 492 504 492
q12 777 569 573 569
q13 17033 3012 3011 3011
q14 298 257 263 257
q15 522 468 484 468
q16 496 407 428 407
q17 1746 1483 1458 1458
q18 7604 7532 7594 7532
q19 1659 1598 1527 1527
q20 1958 1780 1786 1780
q21 5025 4620 4703 4620
q22 563 476 512 476
Total cold run time: 70746 ms
Total hot run time: 53803 ms
TPC-DS: Total hot run time: 171459 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit b0f6bf81cd3cf6bceb578465d74b170e8cce9ac2, data reload: false
query1 929 373 376 373
query2 6502 2552 2393 2393
query3 6653 206 207 206
query4 19409 17069 17240 17069
query5 4167 412 421 412
query6 242 160 151 151
query7 4586 298 290 290
query8 239 176 179 176
query9 8676 2473 2454 2454
query10 460 282 267 267
query11 10622 10091 9948 9948
query12 152 87 91 87
query13 1624 361 386 361
query14 10086 7125 6594 6594
query15 209 172 183 172
query16 7842 269 258 258
query17 1811 522 508 508
query18 1953 265 273 265
query19 198 148 144 144
query20 93 81 81 81
query21 196 128 129 128
query22 4457 3972 4002 3972
query23 33673 33043 33029 33029
query24 11884 2910 2808 2808
query25 654 347 358 347
query26 1826 154 153 153
query27 3090 317 319 317
query28 7670 2071 2079 2071
query29 1125 604 605 604
query30 284 145 152 145
query31 953 736 729 729
query32 92 52 56 52
query33 781 280 279 279
query34 999 481 487 481
query35 772 612 617 612
query36 1093 921 890 890
query37 195 72 71 71
query38 2903 2764 2748 2748
query39 870 786 816 786
query40 271 125 123 123
query41 45 43 43 43
query42 105 94 92 92
query43 556 532 541 532
query44 1194 729 754 729
query45 173 160 166 160
query46 1067 698 739 698
query47 1868 1787 1787 1787
query48 369 296 300 296
query49 1216 372 391 372
query50 770 391 382 382
query51 6701 6657 6567 6567
query52 102 88 87 87
query53 353 307 283 283
query54 1005 432 425 425
query55 74 69 71 69
query56 261 239 257 239
query57 1134 1028 1046 1028
query58 246 214 205 205
query59 3497 3458 3116 3116
query60 281 262 252 252
query61 90 89 90 89
query62 653 437 465 437
query63 330 278 278 278
query64 9841 2183 1788 1788
query65 3173 3101 3116 3101
query66 1365 336 334 334
query67 15270 14838 14813 14813
query68 4575 553 556 553
query69 434 274 283 274
query70 1189 1123 1098 1098
query71 399 271 277 271
query72 7769 5506 5436 5436
query73 740 335 327 327
query74 5972 5692 5609 5609
query75 3334 2660 2584 2584
query76 2503 978 916 916
query77 416 260 276 260
query78 10296 9734 9737 9734
query79 2166 519 517 517
query80 918 425 426 425
query81 526 221 216 216
query82 642 95 93 93
query83 237 171 180 171
query84 238 92 88 88
query85 1919 337 261 261
query86 484 304 298 298
query87 3357 3086 3114 3086
query88 4145 2441 2428 2428
query89 471 386 401 386
query90 1996 187 182 182
query91 122 98 105 98
query92 62 48 48 48
query93 2381 530 519 519
query94 1245 192 186 186
query95 402 313 322 313
query96 603 274 262 262
query97 3193 3022 3033 3022
query98 240 221 209 209
query99 1134 837 833 833
Total cold run time: 276088 ms
Total hot run time: 171459 ms
ClickBench: Total hot run time: 30.74 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit b0f6bf81cd3cf6bceb578465d74b170e8cce9ac2, data reload: false
query1 0.04 0.03 0.03
query2 0.08 0.04 0.05
query3 0.23 0.06 0.05
query4 1.67 0.08 0.09
query5 0.49 0.48 0.48
query6 1.13 0.73 0.72
query7 0.02 0.01 0.01
query8 0.06 0.04 0.04
query9 0.54 0.48 0.49
query10 0.54 0.55 0.54
query11 0.16 0.11 0.12
query12 0.14 0.12 0.12
query13 0.59 0.59 0.59
query14 0.77 0.78 0.78
query15 0.84 0.81 0.80
query16 0.38 0.37 0.37
query17 0.96 0.99 0.94
query18 0.20 0.22 0.28
query19 1.75 1.72 1.69
query20 0.01 0.01 0.01
query21 15.47 0.71 0.68
query22 3.59 7.45 2.07
query23 18.31 1.38 1.37
query24 1.94 0.22 0.20
query25 0.15 0.09 0.08
query26 0.27 0.17 0.16
query27 0.08 0.08 0.08
query28 13.41 1.00 0.98
query29 12.67 3.31 3.25
query30 0.24 0.06 0.05
query31 2.87 0.39 0.38
query32 3.26 0.46 0.46
query33 2.83 2.93 2.91
query34 17.32 4.44 4.44
query35 4.52 4.48 4.49
query36 0.64 0.46 0.46
query37 0.17 0.15 0.16
query38 0.16 0.14 0.14
query39 0.04 0.04 0.03
query40 0.16 0.14 0.14
query41 0.09 0.05 0.05
query42 0.06 0.05 0.05
query43 0.04 0.04 0.03
Total cold run time: 108.89 s
Total hot run time: 30.74 s
run buildall
TPC-H: Total hot run time: 39818 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit b8be3d5c0b5c86f6639c010cac61492b77f110e1, data reload: false
------ Round 1 ----------------------------------
q1 17614 4245 4196 4196
q2 2028 196 204 196
q3 10482 1215 1192 1192
q4 10508 866 787 787
q5 7491 2717 2699 2699
q6 223 139 138 138
q7 975 610 604 604
q8 9652 2089 2130 2089
q9 9071 6591 6587 6587
q10 9085 3715 3819 3715
q11 446 246 232 232
q12 449 209 215 209
q13 18433 2957 2975 2957
q14 260 217 224 217
q15 513 457 473 457
q16 498 376 379 376
q17 960 683 690 683
q18 8033 7358 7374 7358
q19 5058 1488 1433 1433
q20 656 305 305 305
q21 4935 3121 3271 3121
q22 346 267 269 267
Total cold run time: 117716 ms
Total hot run time: 39818 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4311 4181 4183 4181
q2 379 259 256 256
q3 2995 2768 2720 2720
q4 1860 1617 1560 1560
q5 5236 5287 5257 5257
q6 213 123 123 123
q7 2106 1773 1751 1751
q8 3157 3307 3334 3307
q9 8269 8312 8336 8312
q10 3911 3716 3644 3644
q11 583 490 475 475
q12 766 593 590 590
q13 16588 2933 3011 2933
q14 288 274 265 265
q15 520 473 472 472
q16 473 401 418 401
q17 1779 1500 1484 1484
q18 7575 7569 7474 7474
q19 1657 1583 1544 1544
q20 1985 1795 1794 1794
q21 4764 4614 4697 4614
q22 580 493 489 489
Total cold run time: 69995 ms
Total hot run time: 53646 ms
TPC-DS: Total hot run time: 169663 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit b8be3d5c0b5c86f6639c010cac61492b77f110e1, data reload: false
query1 930 394 366 366
query2 6451 2272 2274 2272
query3 6644 202 209 202
query4 19317 17268 17291 17268
query5 4180 420 426 420
query6 256 156 153 153
query7 4586 296 293 293
query8 237 178 183 178
query9 8454 2375 2368 2368
query10 456 281 266 266
query11 10633 10119 10054 10054
query12 142 90 87 87
query13 1638 378 377 377
query14 10104 7498 7501 7498
query15 210 172 166 166
query16 7962 264 266 264
query17 1845 514 511 511
query18 2004 272 283 272
query19 203 169 165 165
query20 90 86 81 81
query21 198 128 128 128
query22 4159 4013 3944 3944
query23 33689 33078 33114 33078
query24 11035 2856 2756 2756
query25 640 369 365 365
query26 1521 154 152 152
query27 2966 327 321 321
query28 7621 2083 2064 2064
query29 984 598 596 596
query30 293 147 150 147
query31 969 760 745 745
query32 93 52 53 52
query33 784 265 261 261
query34 1021 494 481 481
query35 740 607 624 607
query36 1084 936 885 885
query37 139 68 67 67
query38 2894 2802 2737 2737
query39 851 798 791 791
query40 284 135 124 124
query41 48 43 46 43
query42 102 92 99 92
query43 550 550 532 532
query44 1191 736 757 736
query45 178 158 159 158
query46 1055 728 723 723
query47 1830 1763 1784 1763
query48 382 298 310 298
query49 1167 383 395 383
query50 766 403 393 393
query51 6858 6783 6700 6700
query52 104 89 96 89
query53 364 280 275 275
query54 1041 430 435 430
query55 72 74 70 70
query56 254 242 238 238
query57 1114 1017 1069 1017
query58 228 205 214 205
query59 3411 3363 3108 3108
query60 265 251 252 251
query61 88 87 89 87
query62 642 461 448 448
query63 313 286 282 282
query64 9889 2293 1719 1719
query65 3209 3111 3103 3103
query66 1374 340 322 322
query67 15583 14925 14953 14925
query68 4622 542 542 542
query69 438 274 266 266
query70 1091 1157 1146 1146
query71 405 269 269 269
query72 7436 2715 2516 2516
query73 710 324 322 322
query74 6100 5580 5574 5574
query75 3470 2607 2581 2581
query76 2533 937 942 937
query77 635 263 261 261
query78 10233 9681 9843 9681
query79 2256 509 521 509
query80 873 439 424 424
query81 536 217 217 217
query82 866 90 94 90
query83 271 167 165 165
query84 233 86 82 82
query85 1544 270 258 258
query86 496 277 287 277
query87 3270 3106 3143 3106
query88 4199 2442 2453 2442
query89 464 387 378 378
query90 1973 196 185 185
query91 124 106 108 106
query92 129 48 50 48
query93 2125 517 505 505
query94 1238 191 183 183
query95 404 303 312 303
query96 587 267 269 267
query97 3187 3012 3035 3012
query98 234 216 214 214
query99 1153 845 858 845
Total cold run time: 274220 ms
Total hot run time: 169663 ms
ClickBench: Total hot run time: 30.13 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit b8be3d5c0b5c86f6639c010cac61492b77f110e1, data reload: false
query1 0.04 0.03 0.03
query2 0.08 0.04 0.04
query3 0.23 0.05 0.05
query4 1.68 0.06 0.06
query5 0.49 0.49 0.50
query6 1.12 0.72 0.72
query7 0.01 0.01 0.02
query8 0.04 0.04 0.04
query9 0.53 0.50 0.49
query10 0.55 0.55 0.54
query11 0.14 0.11 0.12
query12 0.15 0.12 0.11
query13 0.60 0.59 0.60
query14 0.78 0.79 0.76
query15 0.82 0.80 0.81
query16 0.37 0.36 0.36
query17 1.01 0.99 0.93
query18 0.22 0.25 0.20
query19 1.85 1.70 1.73
query20 0.02 0.01 0.01
query21 15.54 0.66 0.65
query22 4.68 7.16 1.70
query23 18.27 1.37 1.26
query24 1.57 0.26 0.20
query25 0.12 0.09 0.08
query26 0.26 0.17 0.17
query27 0.08 0.08 0.08
query28 13.50 1.01 0.98
query29 13.24 3.34 3.30
query30 0.24 0.06 0.05
query31 2.89 0.39 0.38
query32 3.27 0.46 0.47
query33 2.88 2.85 2.95
query34 17.14 4.39 4.43
query35 4.45 4.56 4.50
query36 0.64 0.47 0.46
query37 0.17 0.15 0.15
query38 0.16 0.15 0.14
query39 0.04 0.03 0.03
query40 0.16 0.14 0.14
query41 0.08 0.04 0.05
query42 0.05 0.05 0.05
query43 0.04 0.04 0.03
Total cold run time: 110.2 s
Total hot run time: 30.13 s
run buildall
TPC-H: Total hot run time: 42107 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 69d543a6b79644765c00ef3c674944fdad9845d5, data reload: false
------ Round 1 ----------------------------------
q1 17603 4317 4257 4257
q2 2034 201 201 201
q3 10436 1234 1154 1154
q4 10204 871 787 787
q5 7477 2705 2737 2705
q6 222 136 139 136
q7 963 609 627 609
q8 9218 2157 2132 2132
q9 9707 6777 6724 6724
q10 9296 3929 3951 3929
q11 430 243 240 240
q12 440 224 237 224
q13 17370 3211 3255 3211
q14 263 225 236 225
q15 512 470 486 470
q16 501 396 395 395
q17 977 650 727 650
q18 8363 7890 7791 7791
q19 3684 1632 1586 1586
q20 624 321 326 321
q21 5208 4025 4073 4025
q22 399 335 336 335
Total cold run time: 115931 ms
Total hot run time: 42107 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4563 4431 4417 4417
q2 383 278 269 269
q3 3165 2972 2812 2812
q4 1881 1609 1633 1609
q5 5485 5536 5484 5484
q6 221 126 130 126
q7 2204 1861 1796 1796
q8 3269 3385 3382 3382
q9 8723 8720 8716 8716
q10 3973 3761 3814 3761
q11 605 491 502 491
q12 763 603 649 603
q13 16201 3171 3181 3171
q14 312 277 281 277
q15 513 481 485 481
q16 493 440 452 440
q17 1797 1494 1465 1465
q18 7802 7551 7509 7509
q19 1702 1584 1617 1584
q20 1989 1790 1775 1775
q21 8538 4902 4886 4886
q22 593 539 535 535
Total cold run time: 75175 ms
Total hot run time: 55589 ms
TPC-DS: Total hot run time: 172696 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 69d543a6b79644765c00ef3c674944fdad9845d5, data reload: false
query1 929 396 365 365
query2 7735 2577 2429 2429
query3 6643 207 204 204
query4 19609 17314 17531 17314
query5 4105 434 429 429
query6 253 156 174 156
query7 4587 302 284 284
query8 310 282 284 282
query9 8578 2364 2365 2364
query10 448 286 265 265
query11 10693 10182 10136 10136
query12 137 91 85 85
query13 1629 364 385 364
query14 10180 6813 7835 6813
query15 232 191 191 191
query16 7130 276 261 261
query17 1009 525 521 521
query18 1904 280 270 270
query19 225 149 153 149
query20 89 86 89 86
query21 196 136 129 129
query22 4245 3969 3964 3964
query23 33618 33220 33151 33151
query24 5020 2859 2861 2859
query25 468 379 378 378
query26 689 155 154 154
query27 1837 314 313 313
query28 3648 2074 2055 2055
query29 849 628 607 607
query30 224 151 158 151
query31 914 763 762 762
query32 69 57 58 57
query33 407 267 263 263
query34 846 484 463 463
query35 748 592 603 592
query36 1055 906 926 906
query37 101 64 65 64
query38 2826 2788 2767 2767
query39 876 795 799 795
query40 198 128 122 122
query41 53 55 56 55
query42 107 95 98 95
query43 605 596 574 574
query44 1073 721 728 721
query45 182 170 164 164
query46 1060 717 706 706
query47 1904 1746 1797 1746
query48 370 287 293 287
query49 764 383 380 380
query50 763 381 397 381
query51 6815 6692 6654 6654
query52 102 86 93 86
query53 360 289 286 286
query54 541 427 440 427
query55 72 76 70 70
query56 255 250 247 247
query57 1126 1063 1023 1023
query58 221 208 217 208
query59 3613 3255 3149 3149
query60 265 259 253 253
query61 90 88 87 87
query62 572 440 469 440
query63 319 285 291 285
query64 2569 1776 1721 1721
query65 3180 3092 3132 3092
query66 675 329 332 329
query67 15047 14702 14735 14702
query68 4526 535 522 522
query69 458 275 263 263
query70 1150 1074 1088 1074
query71 415 270 269 269
query72 7552 5740 5721 5721
query73 717 324 326 324
query74 6135 5675 5615 5615
query75 3350 2644 2591 2591
query76 2274 1058 1004 1004
query77 415 281 274 274
query78 10301 9774 9699 9699
query79 1590 506 518 506
query80 1035 432 427 427
query81 503 226 216 216
query82 860 92 91 91
query83 264 173 170 170
query84 266 88 82 82
query85 966 270 265 265
query86 478 327 311 311
query87 3310 3096 3114 3096
query88 3302 2335 2378 2335
query89 472 407 407 407
query90 1975 202 188 188
query91 134 110 113 110
query92 68 52 52 52
query93 1860 511 495 495
query94 1186 199 259 199
query95 401 318 317 317
query96 592 268 267 267
query97 3161 3079 3040 3040
query98 245 219 223 219
query99 1225 859 878 859
Total cold run time: 249148 ms
Total hot run time: 172696 ms
ClickBench: Total hot run time: 30.17 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 69d543a6b79644765c00ef3c674944fdad9845d5, data reload: false
query1 0.04 0.04 0.03
query2 0.08 0.04 0.04
query3 0.24 0.06 0.06
query4 1.66 0.09 0.08
query5 0.51 0.48 0.49
query6 1.12 0.72 0.72
query7 0.02 0.01 0.02
query8 0.05 0.04 0.04
query9 0.55 0.49 0.49
query10 0.55 0.55 0.55
query11 0.16 0.11 0.11
query12 0.14 0.12 0.11
query13 0.58 0.59 0.60
query14 0.77 0.76 0.78
query15 0.84 0.81 0.81
query16 0.37 0.35 0.37
query17 1.02 0.98 0.98
query18 0.23 0.24 0.26
query19 1.81 1.66 1.71
query20 0.02 0.01 0.00
query21 15.55 0.69 0.67
query22 4.35 7.66 1.58
query23 18.26 1.44 1.26
query24 1.67 0.29 0.21
query25 0.14 0.07 0.09
query26 0.27 0.16 0.17
query27 0.08 0.07 0.08
query28 13.35 1.02 1.01
query29 13.41 3.29 3.23
query30 0.24 0.06 0.06
query31 2.87 0.40 0.37
query32 3.28 0.47 0.48
query33 2.89 2.94 2.95
query34 16.85 4.43 4.49
query35 4.48 4.48 4.62
query36 0.70 0.47 0.46
query37 0.19 0.15 0.16
query38 0.16 0.14 0.14
query39 0.04 0.03 0.03
query40 0.18 0.14 0.15
query41 0.09 0.04 0.05
query42 0.06 0.05 0.05
query43 0.04 0.04 0.04
Total cold run time: 109.91 s
Total hot run time: 30.17 s
PR approved by at least one committer and no changes requested.
PR approved by anyone and no changes requested.
run buildall
run buildall
TPC-H: Total hot run time: 40701 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit e39b949193ffb9341f1398b6be280c3f55b46579, data reload: false
------ Round 1 ----------------------------------
q1 17616 4345 4268 4268
q2 2024 190 203 190
q3 10441 1216 1185 1185
q4 10203 794 762 762
q5 7468 2685 2598 2598
q6 231 133 137 133
q7 981 613 607 607
q8 9213 2116 2097 2097
q9 9390 6671 6708 6671
q10 9649 3914 3900 3900
q11 450 240 241 240
q12 521 246 221 221
q13 17247 3191 3240 3191
q14 268 223 243 223
q15 511 472 466 466
q16 523 394 377 377
q17 973 645 670 645
q18 8367 7835 7746 7746
q19 6095 1258 1363 1258
q20 654 326 338 326
q21 5173 3253 4219 3253
q22 417 350 344 344
Total cold run time: 118415 ms
Total hot run time: 40701 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4533 4444 4671 4444
q2 382 286 276 276
q3 3152 2964 2898 2898
q4 2015 1613 1611 1611
q5 5365 5524 5482 5482
q6 224 127 126 126
q7 2215 1842 1855 1842
q8 3192 3351 3385 3351
q9 8663 8637 8657 8637
q10 4113 3831 3826 3826
q11 590 489 477 477
q12 788 619 590 590
q13 16025 3067 3191 3067
q14 311 274 273 273
q15 525 476 483 476
q16 478 427 425 425
q17 1771 1464 1511 1464
q18 8088 7963 7441 7441
q19 1762 1669 1509 1509
q20 3031 1812 1766 1766
q21 8219 4681 4696 4681
q22 778 535 543 535
Total cold run time: 76220 ms
Total hot run time: 55197 ms
run feut
run performance
PR approved by at least one committer and no changes requested.
TPC-H: Total hot run time: 41489 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit e39b949193ffb9341f1398b6be280c3f55b46579, data reload: false
------ Round 1 ----------------------------------
q1 17609 4436 4352 4352
q2 2034 210 196 196
q3 10442 1250 1271 1250
q4 10209 887 838 838
q5 7470 2764 2716 2716
q6 226 138 138 138
q7 997 644 614 614
q8 9219 2165 2177 2165
q9 9259 6726 6687 6687
q10 9518 3887 3922 3887
q11 477 249 259 249
q12 457 231 231 231
q13 17233 3306 3227 3227
q14 276 222 227 222
q15 524 497 494 494
q16 523 414 399 399
q17 1012 733 720 720
q18 8476 7984 7818 7818
q19 7631 1382 1226 1226
q20 654 324 314 314
q21 5137 3405 4199 3405
q22 401 345 341 341
Total cold run time: 119784 ms
Total hot run time: 41489 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4598 4407 4441 4407
q2 374 280 279 279
q3 3183 3007 2903 2903
q4 1966 1711 1738 1711
q5 5433 5393 5533 5393
q6 224 129 129 129
q7 2247 1847 1826 1826
q8 3241 3464 3721 3464
q9 8691 8686 8632 8632
q10 4093 3922 3890 3890
q11 605 504 508 504
q12 859 654 644 644
q13 16178 3008 3078 3008
q14 309 262 275 262
q15 530 482 476 476
q16 501 439 441 439
q17 1843 1548 1503 1503
q18 8044 7952 7287 7287
q19 1770 1534 1644 1534
q20 4052 1801 1781 1781
q21 6591 4844 4721 4721
q22 614 531 521 521
Total cold run time: 75946 ms
Total hot run time: 55314 ms
TPC-DS: Total hot run time: 171976 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit e39b949193ffb9341f1398b6be280c3f55b46579, data reload: false
query1 897 385 370 370
query2 6442 2316 2295 2295
query3 6808 205 210 205
query4 19633 17383 17337 17337
query5 4099 467 457 457
query6 246 154 156 154
query7 4541 300 299 299
query8 312 280 283 280
query9 8457 2351 2363 2351
query10 432 314 286 286
query11 10674 10042 10025 10025
query12 137 91 90 90
query13 1660 368 361 361
query14 10179 6248 7565 6248
query15 235 184 178 178
query16 7810 265 272 265
query17 1664 545 515 515
query18 1951 269 284 269
query19 210 149 164 149
query20 98 88 87 87
query21 206 143 138 138
query22 4322 4147 4150 4147
query23 33814 33300 32993 32993
query24 11046 2850 2799 2799
query25 619 367 372 367
query26 1414 159 156 156
query27 2992 325 330 325
query28 7160 2045 2047 2045
query29 945 595 597 595
query30 265 148 149 148
query31 958 747 730 730
query32 92 53 52 52
query33 786 294 270 270
query34 951 475 467 467
query35 761 591 629 591
query36 1096 945 925 925
query37 162 66 68 66
query38 2871 2757 2767 2757
query39 884 795 819 795
query40 206 125 124 124
query41 58 54 52 52
query42 120 96 99 96
query43 588 540 515 515
query44 1228 738 770 738
query45 206 160 165 160
query46 1087 709 729 709
query47 1868 1744 1773 1744
query48 388 312 295 295
query49 1014 423 424 423
query50 787 387 385 385
query51 6836 6724 6675 6675
query52 103 96 90 90
query53 364 300 295 295
query54 875 464 486 464
query55 75 76 74 74
query56 314 280 277 277
query57 1157 1060 1036 1036
query58 291 267 237 237
query59 3307 2997 3157 2997
query60 297 272 259 259
query61 90 88 88 88
query62 636 436 442 436
query63 321 289 285 285
query64 8964 2237 1722 1722
query65 3195 3090 3119 3090
query66 1063 332 333 332
query67 15647 15351 14987 14987
query68 4548 557 558 557
query69 548 431 361 361
query70 1151 1118 1137 1118
query71 406 285 326 285
query72 7351 5510 5701 5510
query73 763 329 326 326
query74 6022 5579 5592 5579
query75 3384 2645 2626 2626
query76 2328 930 887 887
query77 425 296 286 286
query78 10521 9725 9628 9628
query79 2562 515 497 497
query80 2289 464 458 458
query81 567 215 219 215
query82 1139 102 100 100
query83 297 170 170 170
query84 262 93 88 88
query85 1524 283 333 283
query86 476 293 311 293
query87 3260 3050 3056 3050
query88 4159 2462 2440 2440
query89 469 396 377 377
query90 1850 187 187 187
query91 128 96 96 96
query92 57 47 45 45
query93 2524 525 508 508
query94 1245 187 185 185
query95 404 310 311 310
query96 601 271 267 267
query97 3209 3043 3016 3016
query98 240 225 219 219
query99 1254 842 837 837
Total cold run time: 274877 ms
Total hot run time: 171976 ms
ClickBench: Total hot run time: 30.03 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit e39b949193ffb9341f1398b6be280c3f55b46579, data reload: false
query1 0.04 0.03 0.03
query2 0.08 0.04 0.04
query3 0.24 0.05 0.04
query4 1.68 0.07 0.06
query5 0.51 0.49 0.50
query6 1.13 0.72 0.72
query7 0.02 0.01 0.02
query8 0.05 0.04 0.04
query9 0.54 0.50 0.48
query10 0.55 0.56 0.54
query11 0.15 0.12 0.11
query12 0.14 0.12 0.12
query13 0.59 0.58 0.60
query14 0.77 0.79 0.79
query15 0.83 0.80 0.80
query16 0.38 0.35 0.36
query17 0.99 0.95 0.95
query18 0.20 0.26 0.26
query19 1.91 1.72 1.77
query20 0.01 0.01 0.01
query21 15.66 0.68 0.66
query22 4.32 8.09 1.50
query23 18.28 1.37 1.23
query24 1.71 0.30 0.22
query25 0.13 0.08 0.08
query26 0.27 0.18 0.17
query27 0.08 0.08 0.07
query28 13.30 1.02 1.00
query29 13.28 3.30 3.25
query30 0.24 0.06 0.05
query31 2.86 0.38 0.37
query32 3.29 0.47 0.46
query33 2.90 2.85 2.89
query34 16.94 4.45 4.38
query35 4.47 4.54 4.63
query36 0.74 0.50 0.47
query37 0.18 0.15 0.15
query38 0.15 0.15 0.15
query39 0.04 0.04 0.03
query40 0.15 0.15 0.14
query41 0.09 0.04 0.05
query42 0.05 0.05 0.05
query43 0.05 0.04 0.03
Total cold run time: 109.99 s
Total hot run time: 30.03 s
run buildall