doris
doris copied to clipboard
Published
20 hours ago •
apache
apache
[feat](Nereids): compute func deps in logical plan
Proposed changes
Issue Number: close #xxx
Further comments
If this is a relatively large or complex change, kick off the discussion at [email protected] by explaining why you chose the solution you did and what alternatives you considered, etc...
Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR
Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.
TPC-DS: Total hot run time: 188598 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit cd02672e80702933e12592cb5fad9b44a1a7005d, data reload: false
query1 913 355 345 345
query2 6489 2294 2477 2294
query3 6647 212 215 212
query4 23368 22176 22027 22027
query5 3908 429 416 416
query6 254 171 168 168
query7 4551 298 302 298
query8 231 186 192 186
query9 8390 2421 2393 2393
query10 423 246 263 246
query11 15545 14896 14682 14682
query12 123 91 85 85
query13 1720 384 364 364
query14 9832 8664 8580 8580
query15 310 182 173 173
query16 8253 278 274 274
query17 2004 594 574 574
query18 2130 286 296 286
query19 332 150 154 150
query20 96 96 84 84
query21 193 124 124 124
query22 4993 4768 4823 4768
query23 34122 33098 33280 33098
query24 10339 2942 2932 2932
query25 567 370 355 355
query26 698 151 149 149
query27 2098 331 314 314
query28 5652 2064 2029 2029
query29 844 614 609 609
query30 205 148 146 146
query31 947 705 726 705
query32 91 48 50 48
query33 622 239 245 239
query34 890 484 492 484
query35 827 653 676 653
query36 1049 905 938 905
query37 102 61 62 61
query38 3167 3011 3018 3011
query39 1554 1550 1547 1547
query40 192 125 119 119
query41 39 38 37 37
query42 104 96 96 96
query43 594 557 536 536
query44 1077 731 736 731
query45 279 259 260 259
query46 1068 730 725 725
query47 1909 1840 1862 1840
query48 367 288 293 288
query49 817 386 391 386
query50 761 389 398 389
query51 6680 6729 6717 6717
query52 101 92 96 92
query53 351 277 281 277
query54 303 259 241 241
query55 80 75 74 74
query56 241 225 224 224
query57 1169 1135 1107 1107
query58 220 200 197 197
query59 3454 3125 3156 3125
query60 274 236 234 234
query61 91 86 91 86
query62 614 435 435 435
query63 305 282 284 282
query64 8166 7166 7128 7128
query65 3081 3050 3046 3046
query66 802 340 336 336
query67 15602 15161 14871 14871
query68 9404 553 555 553
query69 593 305 309 305
query70 1406 1116 1079 1079
query71 512 272 267 267
query72 8733 2607 2457 2457
query73 1623 331 328 328
query74 6650 6112 6081 6081
query75 4669 2698 2747 2698
query76 5822 1040 938 938
query77 697 260 271 260
query78 11196 10334 10210 10210
query79 9915 539 530 530
query80 1486 448 433 433
query81 489 215 217 215
query82 232 89 90 89
query83 196 164 165 164
query84 262 83 86 83
query85 832 316 266 266
query86 340 301 299 299
query87 3297 3090 3098 3090
query88 4643 2433 2417 2417
query89 501 380 374 374
query90 2095 184 187 184
query91 125 99 99 99
query92 58 47 47 47
query93 5794 510 518 510
query94 1241 183 180 180
query95 396 304 300 300
query96 617 271 272 271
query97 3148 2909 2930 2909
query98 236 213 220 213
query99 1255 859 857 857
Total cold run time: 301683 ms
Total hot run time: 188598 ms
TPC-H: Total hot run time: 41339 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 1ab61f6c3339ae97f6bf902ec28f215d78662378, data reload: false
------ Round 1 ----------------------------------
q1 17620 4316 4245 4245
q2 2012 184 187 184
q3 10492 1182 1249 1182
q4 10197 882 789 789
q5 7538 2769 2658 2658
q6 223 129 133 129
q7 1063 624 618 618
q8 9231 2158 2083 2083
q9 10164 6765 6866 6765
q10 8977 3910 3971 3910
q11 447 238 242 238
q12 449 215 217 215
q13 17350 3133 3188 3133
q14 268 251 236 236
q15 527 477 465 465
q16 492 379 388 379
q17 966 756 767 756
q18 8359 7803 7880 7803
q19 4473 1577 1536 1536
q20 642 318 324 318
q21 5169 3426 4356 3426
q22 340 275 271 271
Total cold run time: 116999 ms
Total hot run time: 41339 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4500 4415 4368 4368
q2 369 272 281 272
q3 3205 2906 2895 2895
q4 2007 1587 1598 1587
q5 5430 5482 5484 5482
q6 209 122 126 122
q7 2311 1967 2015 1967
q8 3251 3418 3383 3383
q9 8759 8874 8898 8874
q10 4069 3690 3748 3690
q11 594 498 495 495
q12 785 586 636 586
q13 17085 3109 3103 3103
q14 310 279 280 279
q15 516 479 500 479
q16 500 453 444 444
q17 1787 1523 1490 1490
q18 7728 7670 7330 7330
q19 1628 1511 1495 1495
q20 1948 1768 1782 1768
q21 9110 4704 4765 4704
q22 569 487 478 478
Total cold run time: 76670 ms
Total hot run time: 55291 ms
TPC-DS: Total hot run time: 188199 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 1ab61f6c3339ae97f6bf902ec28f215d78662378, data reload: false
query1 924 370 351 351
query2 6601 2389 2486 2389
query3 6655 213 214 213
query4 23950 21159 21240 21159
query5 4141 421 419 419
query6 279 198 193 193
query7 4587 293 289 289
query8 267 205 202 202
query9 8724 2406 2388 2388
query10 457 273 262 262
query11 14736 14115 14200 14115
query12 139 91 88 88
query13 1656 379 390 379
query14 9480 8438 8346 8346
query15 256 174 184 174
query16 8142 277 275 275
query17 1825 599 576 576
query18 2140 297 285 285
query19 334 164 164 164
query20 97 95 89 89
query21 206 137 128 128
query22 5042 4853 4836 4836
query23 33918 33279 33066 33066
query24 7428 3013 2994 2994
query25 604 421 409 409
query26 702 161 153 153
query27 2072 327 347 327
query28 5100 2058 2038 2038
query29 876 643 638 638
query30 253 158 160 158
query31 942 752 717 717
query32 98 56 59 56
query33 577 276 267 267
query34 871 484 487 484
query35 774 694 681 681
query36 1070 921 934 921
query37 109 71 72 71
query38 3185 3025 2998 2998
query39 1597 1529 1562 1529
query40 201 131 133 131
query41 47 44 45 44
query42 110 100 99 99
query43 554 535 531 531
query44 1109 747 742 742
query45 289 261 267 261
query46 1081 723 720 720
query47 1939 1886 1869 1869
query48 370 309 302 302
query49 928 418 425 418
query50 779 389 388 388
query51 6697 6635 6719 6635
query52 104 93 93 93
query53 356 275 281 275
query54 294 247 248 247
query55 86 76 74 74
query56 252 234 248 234
query57 1211 1130 1113 1113
query58 229 205 208 205
query59 3498 3384 3295 3295
query60 267 248 243 243
query61 128 106 107 106
query62 594 461 437 437
query63 307 281 286 281
query64 8313 7281 7300 7281
query65 3075 3013 3030 3013
query66 803 360 352 352
query67 15807 15142 14947 14947
query68 9613 567 563 563
query69 589 318 328 318
query70 1401 1145 1139 1139
query71 477 287 280 280
query72 8586 2729 2598 2598
query73 1618 342 346 342
query74 6543 6151 6078 6078
query75 4487 2650 2712 2650
query76 5253 1027 1002 1002
query77 739 292 285 285
query78 11043 10294 10087 10087
query79 11248 531 517 517
query80 1676 465 454 454
query81 498 217 231 217
query82 180 94 97 94
query83 219 176 174 174
query84 270 87 89 87
query85 1022 323 317 317
query86 354 300 299 299
query87 3374 3112 3128 3112
query88 5311 2445 2453 2445
query89 521 398 376 376
query90 2365 192 189 189
query91 135 108 112 108
query92 62 51 53 51
query93 6358 526 519 519
query94 1570 198 189 189
query95 441 324 308 308
query96 609 265 268 265
query97 3106 2907 2932 2907
query98 245 224 222 222
query99 1077 844 872 844
Total cold run time: 301232 ms
Total hot run time: 188199 ms
TPC-H: Total hot run time: 40947 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 1ab61f6c3339ae97f6bf902ec28f215d78662378, data reload: false
------ Round 1 ----------------------------------
q1 17963 4544 4346 4346
q2 2577 199 193 193
q3 11288 1172 1154 1154
q4 10569 811 895 811
q5 7761 2735 2669 2669
q6 218 130 134 130
q7 1027 635 635 635
q8 9477 2077 2093 2077
q9 9181 6730 6626 6626
q10 9180 3831 3704 3704
q11 453 236 239 236
q12 427 217 213 213
q13 17772 2937 3009 2937
q14 268 229 229 229
q15 517 486 471 471
q16 525 379 373 373
q17 953 681 715 681
q18 8144 7465 7460 7460
q19 5636 1540 1476 1476
q20 653 313 307 307
q21 5060 4007 3947 3947
q22 342 272 277 272
Total cold run time: 119991 ms
Total hot run time: 40947 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4361 4190 4208 4190
q2 375 273 286 273
q3 3001 2747 2702 2702
q4 1887 1586 1593 1586
q5 5321 5309 5294 5294
q6 208 121 121 121
q7 2236 1838 1833 1833
q8 3210 3336 3331 3331
q9 8562 8512 8510 8510
q10 3900 3728 3677 3677
q11 569 475 488 475
q12 766 574 602 574
q13 17055 2925 2937 2925
q14 293 274 259 259
q15 510 480 474 474
q16 468 433 427 427
q17 1759 1469 1459 1459
q18 7803 7516 7513 7513
q19 1640 1519 1581 1519
q20 1941 1769 1818 1769
q21 4910 4675 4693 4675
q22 544 490 476 476
Total cold run time: 71319 ms
Total hot run time: 54062 ms
TPC-DS: Total hot run time: 186020 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 1ab61f6c3339ae97f6bf902ec28f215d78662378, data reload: false
query1 901 359 342 342
query2 6457 2342 2332 2332
query3 6651 201 206 201
query4 24892 21072 21038 21038
query5 4162 418 430 418
query6 284 194 195 194
query7 4605 296 291 291
query8 251 198 190 190
query9 8578 2416 2357 2357
query10 430 241 259 241
query11 14737 14132 14133 14132
query12 143 89 91 89
query13 1626 359 376 359
query14 9551 8443 7500 7500
query15 255 165 177 165
query16 8172 263 255 255
query17 1872 565 593 565
query18 2110 292 274 274
query19 321 169 153 153
query20 92 86 86 86
query21 191 138 125 125
query22 5057 4850 4833 4833
query23 33853 33108 33102 33102
query24 11203 2992 2963 2963
query25 613 367 370 367
query26 1360 159 153 153
query27 2910 326 338 326
query28 7577 2063 2035 2035
query29 863 623 592 592
query30 295 157 154 154
query31 985 744 714 714
query32 98 53 55 53
query33 736 249 248 248
query34 1001 478 483 478
query35 828 705 674 674
query36 1038 912 926 912
query37 125 67 67 67
query38 3156 3014 2957 2957
query39 1602 1539 1563 1539
query40 226 129 128 128
query41 43 39 40 39
query42 105 98 98 98
query43 561 564 541 541
query44 1239 717 735 717
query45 288 231 268 231
query46 1071 734 707 707
query47 1959 1832 1830 1830
query48 381 299 299 299
query49 1073 418 405 405
query50 769 388 385 385
query51 6951 6763 6673 6673
query52 104 91 95 91
query53 350 274 283 274
query54 303 241 239 239
query55 84 74 73 73
query56 244 222 226 222
query57 1190 1123 1127 1123
query58 250 201 206 201
query59 3481 3177 3042 3042
query60 264 246 235 235
query61 90 87 85 85
query62 667 451 439 439
query63 308 280 289 280
query64 8529 7140 7187 7140
query65 3121 3036 3027 3027
query66 1395 348 332 332
query67 15578 14963 15180 14963
query68 6273 547 555 547
query69 536 312 308 308
query70 1218 1154 1116 1116
query71 442 269 276 269
query72 8105 2573 2473 2473
query73 722 329 331 329
query74 6486 6141 6120 6120
query75 3486 2655 2648 2648
query76 3639 994 1005 994
query77 672 265 265 265
query78 10973 10253 10171 10171
query79 6043 504 553 504
query80 1083 449 436 436
query81 524 229 219 219
query82 1405 100 90 90
query83 210 167 168 167
query84 262 88 84 84
query85 1444 268 291 268
query86 458 291 323 291
query87 3261 3076 3067 3067
query88 5181 2412 2421 2412
query89 501 378 380 378
query90 1956 180 177 177
query91 132 99 97 97
query92 61 49 48 48
query93 5496 526 513 513
query94 1178 188 186 186
query95 394 302 307 302
query96 598 276 269 269
query97 3126 2936 2959 2936
query98 238 226 217 217
query99 1286 826 840 826
Total cold run time: 297594 ms
Total hot run time: 186020 ms
TPC-H: Total hot run time: 40086 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit c763531990d9910e353a1a546ae1e0b0f8a3fa3e, data reload: false
------ Round 1 ----------------------------------
q1 17892 4512 4433 4433
q2 2691 199 199 199
q3 11079 1162 1212 1162
q4 10625 857 808 808
q5 7571 2695 2649 2649
q6 216 134 136 134
q7 1027 602 572 572
q8 9232 2078 2088 2078
q9 9233 6604 6530 6530
q10 8947 3667 3707 3667
q11 455 248 234 234
q12 461 221 226 221
q13 18462 2952 2956 2952
q14 259 224 233 224
q15 508 469 474 469
q16 510 390 375 375
q17 961 667 689 667
q18 8110 7476 7346 7346
q19 2470 1517 1515 1515
q20 646 308 306 306
q21 5079 3957 3260 3260
q22 354 285 286 285
Total cold run time: 116788 ms
Total hot run time: 40086 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4342 4183 4205 4183
q2 360 264 280 264
q3 2947 2789 2744 2744
q4 1859 1573 1593 1573
q5 5298 5293 5264 5264
q6 215 124 127 124
q7 2199 1895 1838 1838
q8 3212 3362 3387 3362
q9 8468 8363 8461 8363
q10 3892 3643 3659 3643
q11 585 490 488 488
q12 783 596 577 577
q13 16356 3009 3001 3001
q14 302 278 242 242
q15 529 468 486 468
q16 481 409 428 409
q17 1757 1498 1453 1453
q18 7596 7458 7529 7458
q19 1675 1517 1508 1508
q20 1992 1805 1762 1762
q21 5143 4981 4852 4852
q22 588 491 485 485
Total cold run time: 70579 ms
Total hot run time: 54061 ms
TPC-DS: Total hot run time: 186469 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit c763531990d9910e353a1a546ae1e0b0f8a3fa3e, data reload: false
query1 921 360 339 339
query2 6444 2471 2390 2390
query3 6651 207 214 207
query4 22909 21413 21266 21266
query5 4214 424 412 412
query6 264 194 176 176
query7 4595 282 285 282
query8 251 201 199 199
query9 8500 2372 2370 2370
query10 441 261 263 261
query11 14877 14235 14245 14235
query12 138 96 92 92
query13 1679 374 379 374
query14 9011 7601 7460 7460
query15 255 178 179 178
query16 8183 276 260 260
query17 1857 573 552 552
query18 2118 282 284 282
query19 239 157 153 153
query20 97 87 90 87
query21 195 127 127 127
query22 5050 4913 4885 4885
query23 33924 33311 33252 33252
query24 11499 2963 2964 2963
query25 674 379 380 379
query26 1778 157 148 148
query27 2964 312 319 312
query28 7043 2035 2024 2024
query29 1040 621 614 614
query30 292 160 153 153
query31 1005 770 747 747
query32 93 53 57 53
query33 753 258 252 252
query34 1015 471 477 471
query35 821 674 663 663
query36 1044 884 926 884
query37 191 68 68 68
query38 3157 3040 2994 2994
query39 1598 1564 1525 1525
query40 279 130 132 130
query41 45 42 42 42
query42 106 100 97 97
query43 600 563 565 563
query44 1177 738 753 738
query45 283 253 266 253
query46 1076 742 724 724
query47 1998 1891 1868 1868
query48 361 298 288 288
query49 1194 390 406 390
query50 774 373 383 373
query51 6717 6710 6610 6610
query52 107 85 105 85
query53 355 281 274 274
query54 314 235 229 229
query55 75 69 72 69
query56 237 220 217 217
query57 1258 1139 1168 1139
query58 236 201 201 201
query59 3406 3144 3144 3144
query60 256 238 234 234
query61 93 87 111 87
query62 676 446 447 446
query63 303 276 278 276
query64 9591 7232 7157 7157
query65 3113 3036 3029 3029
query66 1331 346 325 325
query67 15703 14974 14861 14861
query68 8906 518 533 518
query69 536 308 308 308
query70 1195 1114 1133 1114
query71 530 264 270 264
query72 7974 2571 2348 2348
query73 741 320 317 317
query74 6652 6201 6171 6171
query75 4948 2660 2660 2660
query76 5156 1098 985 985
query77 807 264 258 258
query78 10999 10392 10245 10245
query79 10378 524 506 506
query80 1357 441 426 426
query81 500 229 221 221
query82 847 98 93 93
query83 197 166 162 162
query84 269 86 84 84
query85 1428 269 263 263
query86 413 276 285 276
query87 3340 3111 3089 3089
query88 5202 2295 2293 2293
query89 533 373 382 373
query90 2050 182 187 182
query91 127 114 95 95
query92 58 48 47 47
query93 7407 521 493 493
query94 1323 184 195 184
query95 393 296 313 296
query96 618 265 267 265
query97 3174 2920 2987 2920
query98 280 217 211 211
query99 1277 864 885 864
Total cold run time: 309059 ms
Total hot run time: 186469 ms
TPC-DS: Total hot run time: 187260 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit ba81af32b482369e30be446c0f9270a24836de0c, data reload: false
query1 919 360 344 344
query2 6184 2476 2434 2434
query3 6628 208 209 208
query4 23359 21754 22145 21754
query5 3723 451 431 431
query6 267 194 228 194
query7 4532 300 298 298
query8 246 203 219 203
query9 8621 2410 2412 2410
query10 434 247 265 247
query11 15287 14742 14779 14742
query12 115 92 90 90
query13 1667 363 366 363
query14 10341 7414 7328 7328
query15 237 163 162 162
query16 8097 249 249 249
query17 1739 554 537 537
query18 2052 281 268 268
query19 185 157 171 157
query20 90 84 82 82
query21 187 126 126 126
query22 5092 4859 4843 4843
query23 33737 33301 33442 33301
query24 10807 2976 2868 2868
query25 595 363 361 361
query26 1130 154 155 154
query27 2962 311 313 311
query28 7459 2027 2017 2017
query29 860 599 597 597
query30 256 151 150 150
query31 947 719 699 699
query32 86 50 53 50
query33 733 241 245 241
query34 1061 468 462 462
query35 784 672 670 670
query36 1047 905 936 905
query37 128 66 67 66
query38 3148 2972 3021 2972
query39 1584 1528 1544 1528
query40 203 123 126 123
query41 42 42 40 40
query42 105 98 97 97
query43 569 557 561 557
query44 1233 722 734 722
query45 264 253 253 253
query46 1060 706 702 702
query47 1925 1843 1870 1843
query48 367 310 287 287
query49 891 394 385 385
query50 751 389 379 379
query51 6806 6753 6628 6628
query52 101 98 89 89
query53 350 278 292 278
query54 311 289 231 231
query55 73 72 71 71
query56 245 225 217 217
query57 1180 1117 1127 1117
query58 214 194 200 194
query59 3414 3163 3431 3163
query60 258 231 227 227
query61 103 91 89 89
query62 644 457 446 446
query63 311 289 279 279
query64 8666 7237 7234 7234
query65 3167 3040 3020 3020
query66 1372 332 339 332
query67 15620 15115 15081 15081
query68 5355 530 536 530
query69 528 291 296 291
query70 1205 1100 1108 1100
query71 420 262 265 262
query72 8098 2562 2374 2374
query73 710 316 316 316
query74 6403 6091 6044 6044
query75 3790 2646 2663 2646
query76 3933 1028 1026 1026
query77 579 263 260 260
query78 10906 10191 10118 10118
query79 3726 526 561 526
query80 2004 437 436 436
query81 532 223 224 223
query82 1492 90 97 90
query83 326 171 175 171
query84 265 84 86 84
query85 1557 282 280 280
query86 476 290 272 272
query87 3267 3072 3047 3047
query88 4406 2309 2300 2300
query89 479 379 370 370
query90 1970 179 180 179
query91 125 97 99 97
query92 58 49 48 48
query93 4670 493 499 493
query94 1203 181 182 181
query95 391 295 300 295
query96 599 268 257 257
query97 3170 2943 2959 2943
query98 237 219 217 217
query99 1259 878 883 878
Total cold run time: 291710 ms
Total hot run time: 187260 ms
PR approved by at least one committer and no changes requested.
![github-actions[bot] avatar](https://avatars.githubusercontent.com/in/15368?v=4 "Published by a pub.dev verified publisher"){kind=small}