doris
doris copied to clipboard
Published
20 hours ago •
apache
apache
[Bug](udtf) fix udtf core dump use as normal function
Proposed changes
1. select my_udtf(1) will be coredump as it's can't execute like a normal function, must use with lateral view2.
2. when drop a UDTF function, it's should remove two function, another is utdf_outer function.
Issue Number: close #xxx
Further comments
If this is a relatively large or complex change, kick off the discussion at [email protected] by explaining why you chose the solution you did and what alternatives you considered, etc...
Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR
Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.
![github-actions[bot] avatar](https://avatars.githubusercontent.com/in/15368?v=4 "Published by a pub.dev verified publisher"){kind=small}
TeamCity be ut coverage result: Function Coverage: 35.66% (9014/25277) Line Coverage: 27.30% (74519/272964) Region Coverage: 26.53% (38566/145356) Branch Coverage: 23.39% (19671/84118) Coverage Report: http://coverage.selectdb-in.cc/coverage/08c8184b6c459dd076756bc49dee5f988c10f3a4_08c8184b6c459dd076756bc49dee5f988c10f3a4/report/index.html
TPC-H: Total hot run time: 41874 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 08c8184b6c459dd076756bc49dee5f988c10f3a4, data reload: false
------ Round 1 ----------------------------------
q1 17611 4285 4186 4186
q2 2024 197 190 190
q3 10456 1242 1216 1216
q4 10202 873 858 858
q5 7519 2683 2718 2683
q6 221 133 135 133
q7 970 635 632 632
q8 9223 2093 2089 2089
q9 9359 6621 6616 6616
q10 9029 3891 3848 3848
q11 458 243 236 236
q12 430 228 251 228
q13 17541 3286 3211 3211
q14 272 230 250 230
q15 527 502 470 470
q16 522 410 419 410
q17 988 716 692 692
q18 8295 7881 7806 7806
q19 7665 1557 1555 1555
q20 630 313 317 313
q21 5104 3995 3992 3992
q22 360 280 291 280
Total cold run time: 119406 ms
Total hot run time: 41874 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4431 4399 4406 4399
q2 400 293 279 279
q3 3189 2891 2897 2891
q4 1960 1730 1583 1583
q5 5254 5541 5539 5539
q6 213 125 125 125
q7 2179 1794 1806 1794
q8 3218 3378 3374 3374
q9 8589 8719 8709 8709
q10 4101 3773 3749 3749
q11 575 499 508 499
q12 806 637 623 623
q13 15843 3163 3171 3163
q14 287 275 278 275
q15 533 482 483 482
q16 514 439 442 439
q17 1803 1522 1537 1522
q18 7943 7721 7306 7306
q19 1655 1518 1570 1518
q20 1982 1791 1813 1791
q21 9478 4757 4705 4705
q22 603 500 480 480
Total cold run time: 75556 ms
Total hot run time: 55245 ms
TPC-DS: Total hot run time: 169131 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 08c8184b6c459dd076756bc49dee5f988c10f3a4, data reload: false
query1 926 386 369 369
query2 6419 2519 2239 2239
query3 6636 208 206 206
query4 19130 17381 17330 17330
query5 4126 436 432 432
query6 253 157 180 157
query7 4587 291 288 288
query8 236 188 176 176
query9 8350 2405 2374 2374
query10 463 279 276 276
query11 10495 10081 10048 10048
query12 140 90 87 87
query13 1648 365 360 360
query14 10260 7634 6906 6906
query15 221 174 180 174
query16 7991 276 259 259
query17 1700 564 524 524
query18 2059 271 267 267
query19 225 154 156 154
query20 95 90 86 86
query21 199 132 135 132
query22 4350 3822 3854 3822
query23 33678 33327 33206 33206
query24 7671 2905 2818 2818
query25 564 352 367 352
query26 704 161 162 161
query27 2160 322 322 322
query28 5231 2037 2042 2037
query29 876 604 611 604
query30 240 173 180 173
query31 991 749 750 749
query32 80 52 52 52
query33 540 261 260 260
query34 860 494 469 469
query35 712 602 641 602
query36 1068 904 934 904
query37 105 69 70 69
query38 2896 2760 2772 2760
query39 835 787 778 778
query40 196 127 127 127
query41 45 43 43 43
query42 104 96 102 96
query43 576 567 550 550
query44 1064 722 743 722
query45 187 166 166 166
query46 1056 744 689 689
query47 1835 1741 1795 1741
query48 374 288 292 288
query49 845 379 391 379
query50 772 383 381 381
query51 6859 6774 6744 6744
query52 105 88 94 88
query53 361 296 285 285
query54 542 458 430 430
query55 75 71 74 71
query56 252 238 241 238
query57 1123 1036 1029 1029
query58 238 211 208 208
query59 3500 3304 3253 3253
query60 287 251 254 251
query61 89 85 87 85
query62 611 453 465 453
query63 312 294 294 294
query64 8522 2267 1722 1722
query65 3174 3066 3111 3066
query66 786 332 337 332
query67 15190 15218 14647 14647
query68 4569 578 543 543
query69 441 272 264 264
query70 1126 1102 1043 1043
query71 380 268 265 265
query72 7362 2733 2545 2545
query73 712 318 317 317
query74 6046 5644 5619 5619
query75 3325 2647 2674 2647
query76 2371 1024 1039 1024
query77 397 264 271 264
query78 10299 9786 9672 9672
query79 2664 528 529 528
query80 1139 448 438 438
query81 534 243 240 240
query82 969 98 102 98
query83 246 173 170 170
query84 241 91 87 87
query85 1243 280 268 268
query86 458 298 296 296
query87 3296 3170 3134 3134
query88 3907 2309 2297 2297
query89 465 410 391 391
query90 1982 197 191 191
query91 126 99 97 97
query92 66 51 49 49
query93 2059 523 501 501
query94 1211 187 182 182
query95 402 310 307 307
query96 585 263 259 259
query97 3187 2985 2996 2985
query98 243 223 216 216
query99 1137 834 854 834
Total cold run time: 261988 ms
Total hot run time: 169131 ms
ClickBench: Total hot run time: 30.66 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 08c8184b6c459dd076756bc49dee5f988c10f3a4, data reload: false
query1 0.04 0.04 0.03
query2 0.08 0.04 0.04
query3 0.23 0.05 0.05
query4 1.67 0.07 0.08
query5 0.50 0.48 0.52
query6 1.13 0.72 0.72
query7 0.02 0.02 0.01
query8 0.04 0.04 0.04
query9 0.54 0.48 0.48
query10 0.55 0.56 0.55
query11 0.15 0.11 0.11
query12 0.15 0.12 0.11
query13 0.59 0.59 0.60
query14 0.79 0.77 0.78
query15 0.84 0.81 0.82
query16 0.36 0.35 0.36
query17 0.94 0.95 0.99
query18 0.23 0.24 0.24
query19 1.82 1.67 1.72
query20 0.02 0.01 0.01
query21 15.41 0.71 0.70
query22 4.65 6.67 2.03
query23 18.32 1.32 1.28
query24 2.07 0.22 0.20
query25 0.14 0.08 0.09
query26 0.25 0.16 0.16
query27 0.08 0.08 0.09
query28 13.27 1.00 1.00
query29 13.14 3.33 3.31
query30 0.24 0.06 0.05
query31 2.88 0.38 0.38
query32 3.28 0.46 0.46
query33 2.89 2.92 2.91
query34 17.16 4.37 4.40
query35 4.49 4.52 4.59
query36 0.67 0.49 0.46
query37 0.17 0.16 0.15
query38 0.16 0.14 0.14
query39 0.04 0.03 0.04
query40 0.16 0.14 0.14
query41 0.09 0.05 0.05
query42 0.06 0.04 0.04
query43 0.04 0.04 0.04
Total cold run time: 110.35 s
Total hot run time: 30.66 s
TPC-H: Total hot run time: 41899 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit ea82a8d5c0c8d416f490b93dd7d9e262481e6831, data reload: false
------ Round 1 ----------------------------------
q1 17608 4355 4218 4218
q2 2011 186 186 186
q3 10455 1252 1163 1163
q4 10182 760 784 760
q5 7500 2820 2646 2646
q6 226 131 133 131
q7 956 599 615 599
q8 9278 2119 2104 2104
q9 8960 6720 6757 6720
q10 9297 3947 3889 3889
q11 453 254 247 247
q12 503 221 232 221
q13 17715 3179 3242 3179
q14 273 232 237 232
q15 525 481 469 469
q16 466 374 377 374
q17 980 692 772 692
q18 8470 7926 7952 7926
q19 6455 1567 1547 1547
q20 647 319 325 319
q21 5193 3997 4200 3997
q22 360 284 280 280
Total cold run time: 118513 ms
Total hot run time: 41899 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4809 4588 4580 4580
q2 379 286 283 283
q3 3301 3126 2994 2994
q4 1949 1670 1771 1670
q5 5660 5714 5635 5635
q6 229 139 135 135
q7 2219 1855 1856 1855
q8 3268 3477 3423 3423
q9 8726 8701 8698 8698
q10 4049 3745 3873 3745
q11 596 493 503 493
q12 809 630 661 630
q13 16083 3175 3136 3136
q14 306 290 273 273
q15 546 486 497 486
q16 495 440 452 440
q17 1817 1529 1459 1459
q18 7729 7596 7334 7334
q19 1684 1526 1559 1526
q20 2025 1794 1807 1794
q21 12653 4844 4663 4663
q22 575 472 487 472
Total cold run time: 79907 ms
Total hot run time: 55724 ms
TeamCity be ut coverage result: Function Coverage: 35.66% (9015/25277) Line Coverage: 27.31% (74530/272897) Region Coverage: 26.55% (38581/145312) Branch Coverage: 23.40% (19677/84092) Coverage Report: http://coverage.selectdb-in.cc/coverage/ea82a8d5c0c8d416f490b93dd7d9e262481e6831_ea82a8d5c0c8d416f490b93dd7d9e262481e6831/report/index.html
TPC-DS: Total hot run time: 171232 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit ea82a8d5c0c8d416f490b93dd7d9e262481e6831, data reload: false
query1 921 384 368 368
query2 7744 2290 2340 2290
query3 6646 215 218 215
query4 19818 17365 17234 17234
query5 4104 437 422 422
query6 242 162 156 156
query7 4595 304 291 291
query8 241 197 185 185
query9 8644 2347 2333 2333
query10 444 270 270 270
query11 10450 10088 10136 10088
query12 137 90 88 88
query13 1648 382 368 368
query14 10171 7603 6891 6891
query15 213 168 169 168
query16 7705 268 284 268
query17 1684 522 511 511
query18 1900 265 269 265
query19 201 162 154 154
query20 92 83 83 83
query21 195 133 126 126
query22 4349 3922 3911 3911
query23 33744 33081 32911 32911
query24 10930 2852 2818 2818
query25 611 354 359 354
query26 1155 162 157 157
query27 2549 317 319 317
query28 7179 2017 2037 2017
query29 879 629 594 594
query30 230 170 172 170
query31 985 756 732 732
query32 92 52 57 52
query33 780 274 280 274
query34 937 480 480 480
query35 748 607 594 594
query36 1074 920 892 892
query37 129 68 74 68
query38 2895 2775 2815 2775
query39 845 786 792 786
query40 202 127 127 127
query41 45 44 46 44
query42 101 94 100 94
query43 604 545 566 545
query44 1177 719 735 719
query45 178 168 166 166
query46 1076 707 713 707
query47 1837 1747 1733 1733
query48 378 299 293 293
query49 870 379 382 379
query50 779 391 398 391
query51 6887 6825 6756 6756
query52 102 95 95 95
query53 351 279 279 279
query54 867 440 430 430
query55 74 74 71 71
query56 289 237 242 237
query57 1148 1012 1039 1012
query58 224 213 223 213
query59 3320 3228 3017 3017
query60 272 253 255 253
query61 90 88 86 86
query62 626 464 461 461
query63 307 281 290 281
query64 8870 2192 1701 1701
query65 3153 3100 3066 3066
query66 793 325 331 325
query67 15143 14680 14988 14680
query68 4522 549 539 539
query69 445 277 271 271
query70 1168 1133 1117 1117
query71 421 264 263 263
query72 7553 5268 5443 5268
query73 721 334 322 322
query74 6034 5603 5657 5603
query75 3417 2557 2641 2557
query76 2796 1005 927 927
query77 381 271 270 270
query78 10344 9844 9688 9688
query79 2089 508 516 508
query80 1234 457 430 430
query81 543 252 245 245
query82 666 97 99 97
query83 245 178 171 171
query84 245 89 81 81
query85 2048 278 299 278
query86 490 306 364 306
query87 3275 3087 3103 3087
query88 4145 2337 2343 2337
query89 485 405 378 378
query90 2029 193 187 187
query91 127 98 96 96
query92 59 50 51 50
query93 2515 516 491 491
query94 1250 196 188 188
query95 411 306 319 306
query96 597 274 266 266
query97 3131 3034 2978 2978
query98 256 223 228 223
query99 1159 867 869 867
Total cold run time: 272470 ms
Total hot run time: 171232 ms
ClickBench: Total hot run time: 30.54 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit ea82a8d5c0c8d416f490b93dd7d9e262481e6831, data reload: false
query1 0.04 0.04 0.04
query2 0.08 0.04 0.04
query3 0.22 0.05 0.05
query4 1.68 0.07 0.06
query5 0.49 0.48 0.52
query6 1.13 0.74 0.73
query7 0.02 0.01 0.01
query8 0.05 0.04 0.04
query9 0.54 0.48 0.47
query10 0.54 0.55 0.53
query11 0.15 0.11 0.11
query12 0.14 0.11 0.11
query13 0.60 0.59 0.59
query14 0.74 0.81 0.79
query15 0.84 0.80 0.80
query16 0.36 0.35 0.35
query17 0.94 0.96 0.98
query18 0.23 0.22 0.26
query19 1.80 1.78 1.70
query20 0.01 0.01 0.02
query21 15.54 0.68 0.65
query22 4.57 6.35 2.08
query23 18.39 1.37 1.30
query24 1.85 0.24 0.20
query25 0.15 0.09 0.08
query26 0.26 0.15 0.16
query27 0.08 0.07 0.08
query28 13.31 1.02 0.99
query29 13.82 3.29 3.26
query30 0.24 0.06 0.05
query31 2.88 0.39 0.39
query32 3.28 0.47 0.46
query33 2.94 2.89 2.85
query34 17.20 4.40 4.47
query35 4.53 4.50 4.72
query36 0.65 0.45 0.47
query37 0.16 0.14 0.15
query38 0.15 0.15 0.14
query39 0.04 0.03 0.03
query40 0.16 0.13 0.15
query41 0.08 0.05 0.05
query42 0.05 0.05 0.05
query43 0.04 0.03 0.03
Total cold run time: 110.97 s
Total hot run time: 30.54 s
TPC-H: Total hot run time: 39922 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 4875554c86c062240c1735d40e88b78602d82fe4, data reload: false
------ Round 1 ----------------------------------
q1 17696 4382 4276 4276
q2 2019 192 187 187
q3 10559 1205 1202 1202
q4 10203 822 730 730
q5 7460 2613 2627 2613
q6 213 128 140 128
q7 935 610 584 584
q8 9224 2064 2045 2045
q9 8632 6488 6482 6482
q10 8975 3733 3702 3702
q11 434 237 233 233
q12 426 223 221 221
q13 17773 2976 2970 2970
q14 254 214 223 214
q15 506 474 484 474
q16 498 369 390 369
q17 953 675 750 675
q18 8124 7645 7551 7551
q19 6016 1529 1465 1465
q20 648 318 312 312
q21 4908 3218 3754 3218
q22 345 283 271 271
Total cold run time: 116801 ms
Total hot run time: 39922 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4318 4182 4251 4182
q2 361 279 280 279
q3 2943 2788 2718 2718
q4 1850 1549 1560 1549
q5 5281 5290 5284 5284
q6 208 123 125 123
q7 2116 1762 1734 1734
q8 3152 3297 3288 3288
q9 8339 8313 8418 8313
q10 3846 3671 3682 3671
q11 584 488 490 488
q12 770 584 609 584
q13 16370 2976 2988 2976
q14 301 275 257 257
q15 508 488 465 465
q16 489 420 418 418
q17 1780 1488 1456 1456
q18 7743 7578 7412 7412
q19 1648 1593 1494 1494
q20 1990 1782 1790 1782
q21 4869 4658 4730 4658
q22 566 498 485 485
Total cold run time: 70032 ms
Total hot run time: 53616 ms
TPC-DS: Total hot run time: 169393 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 4875554c86c062240c1735d40e88b78602d82fe4, data reload: false
query1 937 386 364 364
query2 7643 2369 2417 2369
query3 6679 214 213 213
query4 20029 17442 17429 17429
query5 4235 417 407 407
query6 249 176 156 156
query7 4583 306 287 287
query8 239 190 179 179
query9 8742 2353 2353 2353
query10 466 275 291 275
query11 10651 10094 10066 10066
query12 141 93 86 86
query13 1632 371 371 371
query14 9953 7519 6786 6786
query15 213 169 172 169
query16 7813 266 268 266
query17 1824 520 514 514
query18 1946 267 278 267
query19 209 162 163 162
query20 99 106 85 85
query21 197 131 126 126
query22 4308 3912 3978 3912
query23 33704 33122 33081 33081
query24 12036 2913 2773 2773
query25 674 369 356 356
query26 1801 159 152 152
query27 3008 322 320 320
query28 7361 2065 2025 2025
query29 1118 610 599 599
query30 275 173 175 173
query31 961 757 752 752
query32 94 52 54 52
query33 764 276 276 276
query34 1003 480 479 479
query35 768 619 627 619
query36 1112 915 894 894
query37 284 71 72 71
query38 2906 2808 2790 2790
query39 864 795 800 795
query40 276 127 125 125
query41 48 47 46 46
query42 103 100 97 97
query43 565 548 552 548
query44 1215 729 740 729
query45 188 166 164 164
query46 1074 731 733 731
query47 1871 1751 1814 1751
query48 373 292 299 292
query49 1234 390 396 390
query50 774 393 391 391
query51 7011 6872 6825 6825
query52 100 91 88 88
query53 350 292 290 290
query54 977 427 416 416
query55 77 70 73 70
query56 276 249 261 249
query57 1130 1036 1044 1036
query58 237 228 212 212
query59 3220 3011 3173 3011
query60 273 253 268 253
query61 87 90 88 88
query62 662 449 457 449
query63 310 283 284 283
query64 9824 2207 1743 1743
query65 3208 3112 3111 3111
query66 1375 323 323 323
query67 15353 14899 14638 14638
query68 6071 538 538 538
query69 504 281 266 266
query70 1154 1076 1090 1076
query71 466 270 272 270
query72 7689 5273 2706 2706
query73 763 320 322 320
query74 6060 5620 5575 5575
query75 3997 2630 2631 2630
query76 3673 939 974 939
query77 676 266 266 266
query78 10301 9980 9741 9741
query79 1663 520 516 516
query80 1220 445 438 438
query81 512 244 243 243
query82 322 97 98 97
query83 202 172 168 168
query84 266 86 85 85
query85 974 283 310 283
query86 357 294 299 294
query87 3294 3134 3124 3124
query88 4028 2344 2339 2339
query89 496 384 385 384
query90 2028 188 188 188
query91 123 96 97 96
query92 58 50 50 50
query93 3317 514 503 503
query94 1328 188 190 188
query95 414 325 312 312
query96 597 264 260 260
query97 3173 3022 3049 3022
query98 249 218 222 218
query99 1156 862 860 860
Total cold run time: 280843 ms
Total hot run time: 169393 ms
ClickBench: Total hot run time: 30.35 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 4875554c86c062240c1735d40e88b78602d82fe4, data reload: false
query1 0.04 0.04 0.03
query2 0.08 0.04 0.04
query3 0.22 0.05 0.05
query4 1.68 0.08 0.07
query5 0.50 0.48 0.50
query6 1.12 0.72 0.71
query7 0.02 0.02 0.01
query8 0.05 0.04 0.04
query9 0.54 0.49 0.51
query10 0.55 0.54 0.55
query11 0.15 0.10 0.11
query12 0.16 0.12 0.13
query13 0.59 0.59 0.59
query14 0.76 0.77 0.78
query15 0.84 0.80 0.81
query16 0.37 0.37 0.37
query17 0.96 0.96 0.99
query18 0.22 0.24 0.26
query19 1.81 1.72 1.70
query20 0.02 0.01 0.01
query21 15.60 0.65 0.64
query22 4.04 7.99 1.93
query23 18.26 1.46 1.20
query24 1.80 0.25 0.20
query25 0.15 0.08 0.08
query26 0.26 0.17 0.17
query27 0.07 0.08 0.07
query28 13.33 1.02 1.00
query29 13.16 3.25 3.27
query30 0.24 0.06 0.06
query31 2.86 0.39 0.38
query32 3.23 0.48 0.46
query33 2.84 2.93 2.87
query34 17.02 4.39 4.40
query35 4.65 4.48 4.52
query36 0.63 0.46 0.46
query37 0.17 0.15 0.16
query38 0.15 0.15 0.15
query39 0.05 0.03 0.04
query40 0.17 0.14 0.15
query41 0.09 0.05 0.05
query42 0.05 0.05 0.04
query43 0.04 0.03 0.04
Total cold run time: 109.54 s
Total hot run time: 30.35 s
TeamCity be ut coverage result: Function Coverage: 35.66% (9015/25277) Line Coverage: 27.31% (74532/272897) Region Coverage: 26.55% (38581/145315) Branch Coverage: 23.40% (19679/84092) Coverage Report: http://coverage.selectdb-in.cc/coverage/4875554c86c062240c1735d40e88b78602d82fe4_4875554c86c062240c1735d40e88b78602d82fe4/report/index.html