doris
doris copied to clipboard
Published
20 hours ago •
apache
apache
[nereids] explode function stats configurable
Proposed changes
Issue Number: close #xxx
Further comments
If this is a relatively large or complex change, kick off the discussion at [email protected] by explaining why you chose the solution you did and what alternatives you considered, etc...
Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR
TPC-H: Total hot run time: 37383 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit b05cedc7c7f503a5a980bbc0a1613ff06ca7067d, data reload: false
------ Round 1 ----------------------------------
q1 17688 3975 4007 3975
q2 2055 139 131 131
q3 10589 985 921 921
q4 4659 927 919 919
q5 7604 2864 2975 2864
q6 180 125 124 124
q7 1219 747 747 747
q8 9246 1983 1990 1983
q9 7130 6260 6211 6211
q10 8142 2459 2457 2457
q11 408 219 200 200
q12 734 316 315 315
q13 17974 3191 3181 3181
q14 281 257 251 251
q15 533 493 488 488
q16 489 397 406 397
q17 927 858 877 858
q18 6641 5869 5860 5860
q19 1544 1483 1502 1483
q20 534 268 268 268
q21 6071 3473 3531 3473
q22 795 289 277 277
Total cold run time: 105443 ms
Total hot run time: 37383 ms
----- Round 2, with runtime_filter_mode=off -----
q1 3983 3943 3990 3943
q2 301 209 209 209
q3 2953 2911 2915 2911
q4 1829 1792 1816 1792
q5 5073 5069 5112 5069
q6 196 114 114 114
q7 2108 1730 1734 1730
q8 3084 3163 3170 3163
q9 8219 8213 8186 8186
q10 6098 3660 3658 3658
q11 513 426 441 426
q12 694 513 544 513
q13 10456 3018 3061 3018
q14 269 260 254 254
q15 533 489 486 486
q16 503 472 472 472
q17 1688 1685 1643 1643
q18 7741 7482 7384 7384
q19 1640 1623 1618 1618
q20 2079 1887 1890 1887
q21 4694 4588 4537 4537
q22 528 439 439 439
Total cold run time: 65182 ms
Total hot run time: 53452 ms
TPC-DS: Total hot run time: 168461 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit b05cedc7c7f503a5a980bbc0a1613ff06ca7067d, data reload: false
query1 934 334 337 334
query2 6556 1750 1776 1750
query3 6699 206 198 198
query4 23449 20594 20564 20564
query5 4322 365 364 364
query6 255 186 173 173
query7 4620 303 294 294
query8 258 193 208 193
query9 8449 2239 2232 2232
query10 415 229 213 213
query11 14546 14201 14176 14176
query12 141 84 86 84
query13 1650 431 433 431
query14 8735 6136 6268 6136
query15 205 174 173 173
query16 7083 256 249 249
query17 1046 521 507 507
query18 1907 278 265 265
query19 193 151 150 150
query20 84 82 87 82
query21 205 136 131 131
query22 4513 4594 4569 4569
query23 30453 29807 29890 29807
query24 11925 3112 3076 3076
query25 658 349 353 349
query26 1871 154 164 154
query27 3065 320 338 320
query28 7013 1795 1809 1795
query29 1245 565 566 565
query30 284 137 145 137
query31 867 668 676 668
query32 91 57 57 57
query33 718 239 218 218
query34 1041 478 499 478
query35 854 745 739 739
query36 911 825 884 825
query37 269 63 63 63
query38 3069 2974 2940 2940
query39 1303 1282 1246 1246
query40 282 103 103 103
query41 38 37 35 35
query42 100 95 101 95
query43 461 423 421 421
query44 1061 697 721 697
query45 192 175 172 172
query46 1066 818 816 816
query47 1450 1450 1432 1432
query48 423 344 356 344
query49 1183 308 294 294
query50 770 377 382 377
query51 4385 4274 4236 4236
query52 96 98 88 88
query53 329 263 273 263
query54 284 242 225 225
query55 84 82 78 78
query56 225 205 201 201
query57 985 851 926 851
query58 206 203 199 199
query59 2059 1958 2102 1958
query60 239 221 220 220
query61 84 91 81 81
query62 605 362 359 359
query63 280 255 252 252
query64 6541 2915 3101 2915
query65 3210 3214 3204 3204
query66 1433 321 319 319
query67 14318 13782 14084 13782
query68 5008 561 570 561
query69 537 383 383 383
query70 1267 1232 1167 1167
query71 400 250 264 250
query72 6180 2811 2668 2668
query73 701 316 322 316
query74 6243 5921 5970 5921
query75 3033 2435 2403 2403
query76 2847 1043 1129 1043
query77 356 235 225 225
query78 8939 8483 8457 8457
query79 1425 515 526 515
query80 1044 369 365 365
query81 482 205 198 198
query82 1190 88 88 88
query83 227 120 127 120
query84 280 79 82 79
query85 1321 370 360 360
query86 383 292 300 292
query87 3228 3074 3147 3074
query88 2758 2377 2327 2327
query89 383 323 362 323
query90 1848 169 172 169
query91 155 125 123 123
query92 58 49 51 49
query93 1230 521 505 505
query94 1254 180 177 177
query95 446 339 347 339
query96 581 270 268 268
query97 4257 4158 4149 4149
query98 217 206 202 202
query99 1030 623 637 623
Total cold run time: 263599 ms
Total hot run time: 168461 ms
ClickBench: Total hot run time: 32.23 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit b05cedc7c7f503a5a980bbc0a1613ff06ca7067d, data reload: false
query1 0.04 0.03 0.02
query2 0.05 0.02 0.02
query3 0.23 0.06 0.05
query4 1.68 0.10 0.10
query5 0.52 0.51 0.51
query6 1.27 0.67 0.67
query7 0.02 0.02 0.01
query8 0.03 0.02 0.02
query9 0.55 0.52 0.51
query10 0.56 0.57 0.58
query11 0.12 0.10 0.10
query12 0.11 0.10 0.10
query13 0.63 0.62 0.60
query14 0.78 0.80 0.80
query15 0.83 0.81 0.81
query16 0.36 0.36 0.39
query17 0.97 0.94 0.96
query18 0.25 0.25 0.24
query19 1.80 1.75 1.72
query20 0.01 0.00 0.01
query21 15.40 0.67 0.58
query22 3.21 4.43 2.31
query23 17.54 1.00 0.96
query24 2.05 0.52 0.77
query25 0.44 0.11 0.12
query26 0.18 0.15 0.16
query27 0.05 0.05 0.04
query28 11.70 0.83 0.82
query29 12.49 3.26 3.33
query30 0.60 0.54 0.51
query31 2.79 0.35 0.35
query32 3.37 0.47 0.47
query33 3.24 3.23 3.20
query34 15.40 4.73 4.73
query35 4.74 4.74 4.74
query36 1.12 1.07 1.06
query37 0.06 0.05 0.06
query38 0.04 0.03 0.03
query39 0.02 0.02 0.02
query40 0.18 0.13 0.13
query41 0.07 0.01 0.02
query42 0.02 0.02 0.01
query43 0.03 0.02 0.02
Total cold run time: 105.55 s
Total hot run time: 32.23 s
Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
Load test result on commit b05cedc7c7f503a5a980bbc0a1613ff06ca7067d with default session variables
Stream load json: 18 seconds loaded 2358488459 Bytes, about 124 MB/s
Stream load orc: 60 seconds loaded 1101869774 Bytes, about 17 MB/s
Stream load parquet: 31 seconds loaded 861443392 Bytes, about 26 MB/s
Insert into select: 18.1 seconds inserted 10000000 Rows, about 552K ops/s
TPC-H: Total hot run time: 37549 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 99bbd4f4423bdc6b868dcac86bed26df524c14a0, data reload: false
------ Round 1 ----------------------------------
q1 17751 4033 4029 4029
q2 2043 138 128 128
q3 10590 936 916 916
q4 4654 911 924 911
q5 7621 2825 2963 2825
q6 177 119 120 119
q7 1206 757 741 741
q8 9252 2021 2004 2004
q9 7155 6248 6242 6242
q10 8163 2495 2518 2495
q11 420 213 202 202
q12 751 305 294 294
q13 17944 3196 3217 3196
q14 274 249 258 249
q15 529 501 496 496
q16 462 393 393 393
q17 939 878 856 856
q18 6699 5862 6090 5862
q19 1545 1501 1513 1501
q20 544 272 260 260
q21 6688 3572 3559 3559
q22 800 286 271 271
Total cold run time: 106207 ms
Total hot run time: 37549 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4030 3993 4018 3993
q2 304 224 221 221
q3 2975 2910 2919 2910
q4 1821 1776 1806 1776
q5 5116 5061 5074 5061
q6 198 115 113 113
q7 2155 1691 1689 1689
q8 3108 3172 3192 3172
q9 8281 8240 8224 8224
q10 6084 3643 3641 3641
q11 518 443 420 420
q12 701 537 521 521
q13 9779 3048 3067 3048
q14 272 268 260 260
q15 538 484 492 484
q16 513 451 461 451
q17 1688 1669 1665 1665
q18 7710 7510 7453 7453
q19 1633 1631 1629 1629
q20 2108 1900 1887 1887
q21 4713 4607 4464 4464
q22 522 453 448 448
Total cold run time: 64767 ms
Total hot run time: 53530 ms
TPC-DS: Total hot run time: 169734 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 99bbd4f4423bdc6b868dcac86bed26df524c14a0, data reload: false
query1 933 338 335 335
query2 6544 1845 1823 1823
query3 6699 206 202 202
query4 23404 20606 20598 20598
query5 4236 364 359 359
query6 266 173 173 173
query7 4591 299 297 297
query8 269 196 197 196
query9 8396 2291 2294 2291
query10 407 227 216 216
query11 14450 14331 14304 14304
query12 140 84 81 81
query13 1646 421 435 421
query14 8790 6300 6361 6300
query15 203 180 177 177
query16 7086 255 248 248
query17 1048 528 502 502
query18 1897 268 263 263
query19 189 141 145 141
query20 83 80 79 79
query21 193 131 119 119
query22 4781 4606 4629 4606
query23 30515 29952 29837 29837
query24 11852 3129 3088 3088
query25 656 351 347 347
query26 1821 156 160 156
query27 3040 318 317 317
query28 6973 1831 1815 1815
query29 1219 566 561 561
query30 280 133 142 133
query31 843 692 693 692
query32 95 61 57 57
query33 730 219 221 219
query34 1065 473 483 473
query35 837 752 760 752
query36 955 895 844 844
query37 177 64 61 61
query38 3101 2982 3000 2982
query39 1328 1264 1246 1246
query40 281 101 102 101
query41 37 36 36 36
query42 102 97 91 91
query43 457 434 431 431
query44 1084 695 714 695
query45 188 178 173 173
query46 1045 802 782 782
query47 1454 1378 1454 1378
query48 420 342 346 342
query49 1167 295 300 295
query50 774 379 372 372
query51 4334 4349 4318 4318
query52 98 92 86 86
query53 332 259 261 259
query54 292 220 229 220
query55 88 76 82 76
query56 221 212 191 191
query57 991 862 905 862
query58 218 193 190 190
query59 2230 2064 2142 2064
query60 233 219 221 219
query61 85 86 84 84
query62 597 367 352 352
query63 275 261 263 261
query64 6586 3008 3115 3008
query65 3230 3199 3212 3199
query66 1438 311 306 306
query67 14463 14175 14317 14175
query68 4945 568 576 568
query69 546 379 368 368
query70 1116 1207 1189 1189
query71 398 247 237 237
query72 6238 2824 2688 2688
query73 699 327 318 318
query74 6321 6074 6034 6034
query75 3056 2407 2426 2407
query76 2947 1039 1159 1039
query77 340 237 230 230
query78 8977 8614 8500 8500
query79 980 525 529 525
query80 512 356 341 341
query81 448 202 198 198
query82 160 82 85 82
query83 144 122 117 117
query84 263 79 80 79
query85 924 353 346 346
query86 304 293 292 292
query87 3222 3128 3091 3091
query88 2727 2322 2307 2307
query89 387 362 319 319
query90 1879 164 167 164
query91 152 125 144 125
query92 54 50 49 49
query93 1018 526 513 513
query94 1098 178 173 173
query95 434 335 344 335
query96 575 259 263 259
query97 4265 4118 4116 4116
query98 220 208 193 193
query99 1019 655 656 655
Total cold run time: 260826 ms
Total hot run time: 169734 ms
ClickBench: Total hot run time: 31.83 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 99bbd4f4423bdc6b868dcac86bed26df524c14a0, data reload: false
query1 0.04 0.03 0.03
query2 0.06 0.02 0.03
query3 0.25 0.07 0.06
query4 1.65 0.10 0.10
query5 0.52 0.52 0.51
query6 1.25 0.64 0.64
query7 0.02 0.02 0.01
query8 0.04 0.02 0.02
query9 0.55 0.52 0.52
query10 0.56 0.55 0.57
query11 0.12 0.09 0.09
query12 0.13 0.10 0.10
query13 0.61 0.62 0.62
query14 0.81 0.80 0.80
query15 0.83 0.83 0.85
query16 0.37 0.36 0.39
query17 0.96 0.96 0.97
query18 0.26 0.25 0.26
query19 1.77 1.75 1.64
query20 0.02 0.01 0.01
query21 15.41 0.61 0.64
query22 3.14 3.80 2.12
query23 17.34 0.99 0.89
query24 2.00 0.58 0.36
query25 0.46 0.16 0.05
query26 0.16 0.13 0.14
query27 0.05 0.06 0.04
query28 12.14 0.85 0.84
query29 12.50 3.27 3.26
query30 0.56 0.53 0.55
query31 2.78 0.36 0.36
query32 3.35 0.48 0.49
query33 3.22 3.18 3.22
query34 15.69 4.78 4.77
query35 4.79 4.79 4.76
query36 1.14 1.05 1.06
query37 0.07 0.05 0.05
query38 0.04 0.03 0.03
query39 0.02 0.02 0.02
query40 0.19 0.15 0.14
query41 0.07 0.01 0.01
query42 0.02 0.01 0.02
query43 0.03 0.02 0.02
Total cold run time: 105.99 s
Total hot run time: 31.83 s
Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
Load test result on commit 99bbd4f4423bdc6b868dcac86bed26df524c14a0 with default session variables
Stream load json: 18 seconds loaded 2358488459 Bytes, about 124 MB/s
Stream load orc: 60 seconds loaded 1101869774 Bytes, about 17 MB/s
Stream load parquet: 32 seconds loaded 861443392 Bytes, about 25 MB/s
Insert into select: 17.7 seconds inserted 10000000 Rows, about 564K ops/s
TPC-H: Total hot run time: 38280 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit e986b8d109683004e2f7dc3b3e0101c8933046e4, data reload: false
------ Round 1 ----------------------------------
q1 18039 4167 4149 4149
q2 2148 149 136 136
q3 11467 969 978 969
q4 5017 958 949 949
q5 8024 2942 3106 2942
q6 186 124 128 124
q7 1305 801 790 790
q8 9688 2018 2097 2018
q9 7182 6323 6251 6251
q10 8192 2515 2491 2491
q11 417 221 210 210
q12 806 311 313 311
q13 17937 3224 3221 3221
q14 282 244 240 240
q15 535 497 494 494
q16 468 419 411 411
q17 939 897 907 897
q18 6684 6016 6053 6016
q19 1577 1521 1529 1521
q20 554 272 278 272
q21 6677 3645 3599 3599
q22 798 288 269 269
Total cold run time: 108922 ms
Total hot run time: 38280 ms
----- Round 2, with runtime_filter_mode=off -----
q1 3983 3998 3982 3982
q2 303 222 217 217
q3 2991 2936 2949 2936
q4 1843 1813 1786 1786
q5 5113 5109 5171 5109
q6 198 118 117 117
q7 2185 1731 1692 1692
q8 3139 3177 3210 3177
q9 8290 8197 8206 8197
q10 6178 3642 3642 3642
q11 504 428 420 420
q12 697 516 537 516
q13 3826 3062 3054 3054
q14 276 253 250 250
q15 548 498 493 493
q16 505 462 461 461
q17 1700 1679 1671 1671
q18 7781 7595 7455 7455
q19 1654 1649 1630 1630
q20 2080 1897 1896 1896
q21 4728 4738 4591 4591
q22 515 440 437 437
Total cold run time: 59037 ms
Total hot run time: 53729 ms
TPC-DS: Total hot run time: 168899 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit e986b8d109683004e2f7dc3b3e0101c8933046e4, data reload: false
query1 928 344 330 330
query2 6535 1706 1693 1693
query3 6729 211 203 203
query4 23435 20520 20504 20504
query5 4297 362 358 358
query6 268 174 166 166
query7 4601 306 296 296
query8 257 201 202 201
query9 8520 2230 2214 2214
query10 414 222 214 214
query11 14643 14158 14271 14158
query12 129 84 81 81
query13 1640 421 447 421
query14 8718 6760 6377 6377
query15 214 174 174 174
query16 7081 261 255 255
query17 1042 501 504 501
query18 1901 282 271 271
query19 189 147 150 147
query20 85 79 80 79
query21 190 127 119 119
query22 4747 4462 4560 4462
query23 30537 29816 29928 29816
query24 11793 3081 3123 3081
query25 634 346 351 346
query26 1743 152 174 152
query27 2979 309 315 309
query28 6926 1834 1818 1818
query29 1129 548 559 548
query30 281 132 137 132
query31 869 692 688 688
query32 101 60 59 59
query33 730 232 225 225
query34 1026 479 494 479
query35 862 756 750 750
query36 933 897 864 864
query37 128 59 64 59
query38 3188 3015 2996 2996
query39 1320 1247 1252 1247
query40 275 104 101 101
query41 38 37 36 36
query42 102 94 95 94
query43 444 420 420 420
query44 1073 709 713 709
query45 193 175 178 175
query46 1032 792 776 776
query47 1510 1485 1366 1366
query48 413 343 336 336
query49 1117 283 282 282
query50 761 365 372 365
query51 4377 4361 4365 4361
query52 108 90 91 90
query53 333 266 263 263
query54 311 222 234 222
query55 87 80 83 80
query56 220 208 198 198
query57 964 888 913 888
query58 209 193 193 193
query59 1982 2014 2115 2014
query60 227 211 213 211
query61 92 82 80 80
query62 601 365 357 357
query63 277 254 248 248
query64 6520 3076 3114 3076
query65 3217 3214 3214 3214
query66 1438 320 310 310
query67 14265 14155 14099 14099
query68 4047 567 559 559
query69 508 373 378 373
query70 1186 1196 1237 1196
query71 325 251 252 251
query72 5935 2801 2625 2625
query73 703 316 330 316
query74 6324 6035 5976 5976
query75 3054 2423 2399 2399
query76 2343 1050 1168 1050
query77 317 249 247 247
query78 8866 8566 8397 8397
query79 1087 526 511 511
query80 966 349 349 349
query81 474 205 199 199
query82 986 86 87 86
query83 225 122 118 118
query84 282 81 73 73
query85 1328 342 333 333
query86 387 280 291 280
query87 3278 3065 3129 3065
query88 2645 2241 2251 2241
query89 376 331 326 326
query90 1851 166 161 161
query91 156 123 121 121
query92 58 45 50 45
query93 1168 534 515 515
query94 1263 183 178 178
query95 444 348 353 348
query96 564 259 258 258
query97 4264 4133 4087 4087
query98 224 211 198 198
query99 1086 665 661 661
Total cold run time: 260648 ms
Total hot run time: 168899 ms
ClickBench: Total hot run time: 32.54 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit e986b8d109683004e2f7dc3b3e0101c8933046e4, data reload: false
query1 0.04 0.03 0.02
query2 0.06 0.02 0.02
query3 0.24 0.06 0.06
query4 1.68 0.10 0.10
query5 0.52 0.51 0.52
query6 1.21 0.65 0.66
query7 0.02 0.01 0.01
query8 0.04 0.02 0.02
query9 0.56 0.51 0.51
query10 0.57 0.57 0.57
query11 0.12 0.10 0.09
query12 0.13 0.10 0.10
query13 0.62 0.61 0.62
query14 0.78 0.78 0.79
query15 0.84 0.82 0.80
query16 0.38 0.36 0.38
query17 0.97 1.00 0.97
query18 0.26 0.27 0.26
query19 1.83 1.71 1.66
query20 0.01 0.02 0.01
query21 15.41 0.63 0.62
query22 3.27 3.16 2.82
query23 17.41 1.02 0.98
query24 2.14 0.37 0.58
query25 0.25 0.11 0.04
query26 0.15 0.14 0.13
query27 0.03 0.03 0.03
query28 12.13 0.85 0.85
query29 12.60 3.23 3.36
query30 0.62 0.52 0.57
query31 2.81 0.34 0.34
query32 3.38 0.48 0.49
query33 3.20 3.24 3.21
query34 15.36 4.73 4.73
query35 4.74 4.74 4.75
query36 1.14 1.08 1.08
query37 0.07 0.05 0.05
query38 0.04 0.02 0.02
query39 0.02 0.02 0.02
query40 0.15 0.12 0.12
query41 0.07 0.02 0.02
query42 0.02 0.02 0.01
query43 0.03 0.02 0.02
Total cold run time: 105.92 s
Total hot run time: 32.54 s
Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
Load test result on commit e986b8d109683004e2f7dc3b3e0101c8933046e4 with default session variables
Stream load json: 18 seconds loaded 2358488459 Bytes, about 124 MB/s
Stream load orc: 59 seconds loaded 1101869774 Bytes, about 17 MB/s
Stream load parquet: 31 seconds loaded 861443392 Bytes, about 26 MB/s
Insert into select: 18.2 seconds inserted 10000000 Rows, about 549K ops/s
PR approved by at least one committer and no changes requested.
![github-actions[bot] avatar](https://avatars.githubusercontent.com/in/15368?v=4 "Published by a pub.dev verified publisher"){kind=small}