doris
doris copied to clipboard
Published
20 hours ago •
apache
apache
[feature](statistics)Create partition statistics table.
Automatically create partition_statistics for partition stats.
Further comments
If this is a relatively large or complex change, kick off the discussion at [email protected] by explaining why you chose the solution you did and what alternatives you considered, etc...
Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR
Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.
TPC-H: Total hot run time: 40146 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 527f055c4c220e974d62a596fa308a3942a2e663, data reload: false
------ Round 1 ----------------------------------
q1 17932 4988 4274 4274
q2 2025 188 195 188
q3 10725 1224 1324 1224
q4 10559 780 796 780
q5 7553 2731 2695 2695
q6 219 130 132 130
q7 1045 611 603 603
q8 9343 2166 2158 2158
q9 9461 6767 6673 6673
q10 8995 3736 3688 3688
q11 438 248 233 233
q12 456 218 218 218
q13 17776 2921 2963 2921
q14 258 228 216 216
q15 499 467 459 459
q16 518 383 365 365
q17 984 673 689 673
q18 8029 7398 7456 7398
q19 1648 1571 1514 1514
q20 647 314 307 307
q21 5131 3154 3928 3154
q22 346 275 281 275
Total cold run time: 114587 ms
Total hot run time: 40146 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4344 4274 4293 4274
q2 379 273 266 266
q3 2974 2777 2706 2706
q4 1856 1563 1604 1563
q5 5291 5300 5301 5300
q6 213 125 123 123
q7 2244 1885 1932 1885
q8 3262 3389 3367 3367
q9 8546 8484 8429 8429
q10 3944 3662 3695 3662
q11 565 498 484 484
q12 762 589 584 584
q13 16568 3013 2929 2929
q14 296 262 260 260
q15 523 480 476 476
q16 481 407 424 407
q17 1781 1459 1491 1459
q18 7668 7713 7356 7356
q19 2302 1529 1558 1529
q20 1977 1767 1730 1730
q21 4993 4920 4964 4920
q22 571 482 509 482
Total cold run time: 71540 ms
Total hot run time: 54191 ms
TPC-DS: Total hot run time: 186294 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 527f055c4c220e974d62a596fa308a3942a2e663, data reload: false
query1 922 357 345 345
query2 6474 2505 2349 2349
query3 6654 201 205 201
query4 24481 21285 21250 21250
query5 4157 416 404 404
query6 257 180 174 174
query7 4593 291 285 285
query8 248 196 188 188
query9 8473 2346 2343 2343
query10 431 239 246 239
query11 14902 14061 14122 14061
query12 143 92 95 92
query13 1670 371 368 368
query14 9186 8364 7529 7529
query15 255 170 185 170
query16 8210 263 269 263
query17 1877 602 557 557
query18 2122 280 267 267
query19 333 156 158 156
query20 99 87 90 87
query21 201 128 129 128
query22 5086 4950 4818 4818
query23 33851 33271 33289 33271
query24 10892 2964 3001 2964
query25 631 388 385 385
query26 1390 160 151 151
query27 2917 323 317 317
query28 7560 2022 2015 2015
query29 913 632 618 618
query30 307 155 154 154
query31 978 754 718 718
query32 94 53 55 53
query33 751 251 252 251
query34 1034 475 474 474
query35 834 670 682 670
query36 1056 908 925 908
query37 136 66 69 66
query38 3115 3012 2998 2998
query39 1605 1517 1548 1517
query40 238 128 130 128
query41 44 41 42 41
query42 105 100 98 98
query43 568 542 553 542
query44 1229 721 744 721
query45 243 256 260 256
query46 1084 722 727 722
query47 1929 1857 1913 1857
query48 366 289 289 289
query49 1042 397 389 389
query50 768 387 375 375
query51 6713 6647 6711 6647
query52 97 89 88 88
query53 348 283 291 283
query54 289 254 227 227
query55 75 68 71 68
query56 236 226 219 219
query57 1196 1134 1142 1134
query58 233 201 200 200
query59 3429 3315 3192 3192
query60 268 236 231 231
query61 91 89 89 89
query62 658 450 435 435
query63 304 280 273 273
query64 8834 7268 7177 7177
query65 3135 3014 3051 3014
query66 1000 343 337 337
query67 15676 15024 14963 14963
query68 9404 539 532 532
query69 529 319 304 304
query70 1284 1120 1134 1120
query71 507 264 267 264
query72 7948 2573 2385 2385
query73 1447 316 322 316
query74 6575 6192 6067 6067
query75 4866 2624 2712 2624
query76 5583 1017 1025 1017
query77 775 263 262 262
query78 10999 10282 10190 10190
query79 10293 506 514 506
query80 1652 446 446 446
query81 508 220 221 220
query82 501 92 94 92
query83 205 166 168 166
query84 271 83 85 83
query85 1253 286 267 267
query86 386 287 306 287
query87 3296 3098 3075 3075
query88 4384 2308 2329 2308
query89 551 381 387 381
query90 2050 182 186 182
query91 132 101 100 100
query92 61 47 46 46
query93 7249 513 500 500
query94 1255 192 180 180
query95 395 295 302 295
query96 597 261 257 257
query97 3115 2963 2943 2943
query98 242 219 225 219
query99 1228 874 861 861
Total cold run time: 308577 ms
Total hot run time: 186294 ms
PR approved by at least one committer and no changes requested.
![github-actions[bot] avatar](https://avatars.githubusercontent.com/in/15368?v=4 "Published by a pub.dev verified publisher"){kind=small}
TPC-H: Total hot run time: 40649 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 8a3ba2dae7820c4fc78e33fc81b121751ffb6de6, data reload: false
------ Round 1 ----------------------------------
q1 17960 4277 4232 4232
q2 2018 188 191 188
q3 10743 1225 1266 1225
q4 11311 784 817 784
q5 7690 2819 2696 2696
q6 222 135 136 135
q7 1012 624 598 598
q8 9775 2121 2123 2121
q9 9657 6721 6482 6482
q10 9046 3746 3756 3746
q11 453 239 230 230
q12 449 212 225 212
q13 17770 2953 2974 2953
q14 256 224 221 221
q15 507 477 482 477
q16 508 378 380 378
q17 960 635 725 635
q18 7992 7454 7393 7393
q19 1645 1503 1481 1481
q20 658 306 309 306
q21 4974 3870 3926 3870
q22 358 286 286 286
Total cold run time: 115964 ms
Total hot run time: 40649 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4403 4200 4176 4176
q2 378 276 276 276
q3 3033 2769 2699 2699
q4 1839 1566 1565 1565
q5 5313 5304 5268 5268
q6 215 125 127 125
q7 2307 1932 1921 1921
q8 3221 3376 3298 3298
q9 8428 8474 8438 8438
q10 3943 3697 3642 3642
q11 587 492 483 483
q12 778 576 603 576
q13 16330 3001 2968 2968
q14 290 269 262 262
q15 511 457 475 457
q16 466 417 422 417
q17 1837 1493 1457 1457
q18 7490 7361 7550 7361
q19 1685 1512 1605 1512
q20 1996 1801 1756 1756
q21 5124 4899 4891 4891
q22 577 491 489 489
Total cold run time: 70751 ms
Total hot run time: 54037 ms
TPC-DS: Total hot run time: 185257 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 8a3ba2dae7820c4fc78e33fc81b121751ffb6de6, data reload: false
query1 907 367 349 349
query2 6470 2427 2407 2407
query3 6653 205 205 205
query4 23010 21262 21157 21157
query5 4134 419 432 419
query6 285 197 178 178
query7 4583 284 285 284
query8 244 187 189 187
query9 8513 2354 2358 2354
query10 432 248 260 248
query11 14828 14076 14130 14076
query12 132 92 86 86
query13 1656 375 369 369
query14 9827 7578 6865 6865
query15 251 164 168 164
query16 8148 252 251 251
query17 1886 555 530 530
query18 2116 270 266 266
query19 201 150 146 146
query20 93 85 87 85
query21 196 128 127 127
query22 5017 4810 4841 4810
query23 33823 33242 33424 33242
query24 12035 2936 2882 2882
query25 680 360 367 360
query26 1764 152 147 147
query27 3043 321 329 321
query28 7688 2044 2034 2034
query29 1013 612 589 589
query30 300 151 152 151
query31 1024 754 722 722
query32 92 51 53 51
query33 742 247 244 244
query34 1048 504 472 472
query35 864 669 655 655
query36 1043 914 903 903
query37 162 78 65 65
query38 3128 3100 2957 2957
query39 1591 1539 1531 1531
query40 275 123 127 123
query41 40 39 38 38
query42 103 92 96 92
query43 536 533 558 533
query44 1230 718 734 718
query45 264 249 252 249
query46 1083 721 714 714
query47 1925 1856 1853 1853
query48 381 300 298 298
query49 1187 393 388 388
query50 780 376 385 376
query51 6789 6733 6664 6664
query52 97 100 87 87
query53 350 276 280 276
query54 316 230 233 230
query55 76 72 74 72
query56 234 215 219 215
query57 1231 1129 1159 1129
query58 241 204 201 201
query59 3476 3205 3139 3139
query60 254 231 232 231
query61 92 89 87 87
query62 665 445 447 445
query63 303 275 277 275
query64 9635 7226 7201 7201
query65 3180 3070 3047 3047
query66 1391 343 333 333
query67 15450 15003 14988 14988
query68 5225 527 532 527
query69 483 303 306 303
query70 1207 1098 1127 1098
query71 425 278 277 277
query72 7242 2553 2341 2341
query73 711 319 322 319
query74 6547 6090 6043 6043
query75 3559 2603 2630 2603
query76 3428 1020 901 901
query77 414 265 265 265
query78 10849 10168 10284 10168
query79 3489 512 526 512
query80 1764 453 441 441
query81 539 226 233 226
query82 800 100 96 96
query83 281 175 177 175
query84 279 87 87 87
query85 2055 284 277 277
query86 498 296 302 296
query87 3319 3101 3083 3083
query88 4584 2320 2321 2320
query89 507 390 388 388
query90 2069 187 186 186
query91 140 100 99 99
query92 61 50 52 50
query93 5083 524 504 504
query94 1244 190 192 190
query95 401 316 310 310
query96 600 274 262 262
query97 3202 2950 2947 2947
query98 255 220 223 220
query99 1310 862 852 852
Total cold run time: 293776 ms
Total hot run time: 185257 ms
TPC-H: Total hot run time: 39784 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 86b36e0aed277b2de21b3a31f6c9757a2efd3695, data reload: false
------ Round 1 ----------------------------------
q1 17945 4426 4332 4332
q2 2870 188 196 188
q3 11294 1150 1181 1150
q4 10239 817 750 750
q5 7500 2651 2668 2651
q6 222 134 136 134
q7 1019 607 582 582
q8 9229 2083 2076 2076
q9 9081 6577 6536 6536
q10 9032 3670 3728 3670
q11 527 249 243 243
q12 458 214 217 214
q13 18666 2945 2945 2945
q14 260 220 218 218
q15 509 475 467 467
q16 504 381 378 378
q17 962 650 691 650
q18 7932 7368 7363 7363
q19 1634 1532 1474 1474
q20 677 307 310 307
q21 5113 3176 4028 3176
q22 355 280 297 280
Total cold run time: 116028 ms
Total hot run time: 39784 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4309 4208 4226 4208
q2 386 278 273 273
q3 2971 2726 2715 2715
q4 1862 1560 1561 1560
q5 5258 5261 5238 5238
q6 213 124 124 124
q7 2232 1878 1881 1878
q8 3164 3350 3399 3350
q9 8420 8394 8411 8394
q10 3901 3666 3624 3624
q11 609 488 487 487
q12 752 598 593 593
q13 16470 2925 2961 2925
q14 302 271 263 263
q15 531 485 488 485
q16 472 418 423 418
q17 1759 1478 1483 1478
q18 7712 7510 7406 7406
q19 2223 1564 1492 1492
q20 1953 1753 1762 1753
q21 4934 4819 4782 4782
q22 577 499 491 491
Total cold run time: 71010 ms
Total hot run time: 53937 ms
TPC-DS: Total hot run time: 186656 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 86b36e0aed277b2de21b3a31f6c9757a2efd3695, data reload: false
query1 916 365 348 348
query2 6455 2352 2331 2331
query3 6678 213 210 210
query4 22817 21213 21193 21193
query5 4196 414 430 414
query6 285 186 176 176
query7 4593 301 290 290
query8 256 200 206 200
query9 8933 2424 2426 2424
query10 434 248 248 248
query11 14661 14169 14262 14169
query12 136 92 88 88
query13 1650 371 377 371
query14 10491 8227 8155 8155
query15 255 178 181 178
query16 8180 272 265 265
query17 1827 569 564 564
query18 2113 282 267 267
query19 233 154 150 150
query20 94 86 84 84
query21 192 125 128 125
query22 5137 4944 4886 4886
query23 33742 33445 33068 33068
query24 11631 2864 2851 2851
query25 613 372 364 364
query26 1619 158 151 151
query27 2952 321 314 314
query28 7662 2075 2069 2069
query29 955 618 607 607
query30 272 153 153 153
query31 990 747 740 740
query32 91 51 54 51
query33 741 249 241 241
query34 1061 486 476 476
query35 791 670 682 670
query36 1037 907 920 907
query37 133 69 68 68
query38 2872 2730 2744 2730
query39 1620 1523 1539 1523
query40 285 131 129 129
query41 45 42 41 41
query42 106 98 102 98
query43 575 524 516 516
query44 1169 738 738 738
query45 270 253 261 253
query46 1084 727 712 712
query47 1959 1882 1879 1879
query48 391 303 305 303
query49 1149 417 412 412
query50 778 383 409 383
query51 6812 6553 6716 6553
query52 100 95 90 90
query53 347 284 283 283
query54 312 248 243 243
query55 78 75 73 73
query56 249 235 229 229
query57 1237 1177 1131 1131
query58 240 243 195 195
query59 3399 3124 3072 3072
query60 259 244 236 236
query61 89 87 86 86
query62 658 447 447 447
query63 306 284 289 284
query64 9662 7220 7219 7219
query65 3097 3040 3040 3040
query66 1394 343 340 340
query67 15524 15417 14929 14929
query68 5205 544 551 544
query69 468 296 297 296
query70 1200 1065 1129 1065
query71 409 271 261 261
query72 7478 2639 2385 2385
query73 696 331 327 327
query74 6552 6076 6232 6076
query75 3510 2655 2644 2644
query76 3477 1018 988 988
query77 427 273 263 263
query78 11030 10213 10288 10213
query79 8132 520 519 519
query80 1861 431 435 431
query81 554 224 220 220
query82 1388 96 93 93
query83 313 164 165 164
query84 264 87 85 85
query85 2061 269 266 266
query86 490 301 285 285
query87 3338 3062 3066 3062
query88 5254 2435 2423 2423
query89 498 391 367 367
query90 2013 183 188 183
query91 143 97 97 97
query92 64 49 48 48
query93 6249 517 520 517
query94 1249 187 182 182
query95 396 309 311 309
query96 613 274 265 265
query97 3136 2970 2957 2957
query98 241 240 209 209
query99 1257 895 879 879
Total cold run time: 300854 ms
Total hot run time: 186656 ms
PR approved by at least one committer and no changes requested.