doris
doris copied to clipboard
apache
[fix](inverted index) add in list to fast execute logic after hit index
Proposed changes
- resolve the issue where the case fails when enable_common_expr_pushdown is set to false
Further comments
If this is a relatively large or complex change, kick off the discussion at [email protected] by explaining why you chose the solution you did and what alternatives you considered, etc...
Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR
Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.
![github-actions[bot] avatar](https://avatars.githubusercontent.com/in/15368?v=4 "Published by a pub.dev verified publisher"){kind=small}
TeamCity be ut coverage result: Function Coverage: 35.65% (9018/25298) Line Coverage: 27.31% (74579/273130) Region Coverage: 26.54% (38608/145468) Branch Coverage: 23.40% (19695/84162) Coverage Report: http://coverage.selectdb-in.cc/coverage/0a157db8bc9cdf51631f6bf9574158a3a796684c_0a157db8bc9cdf51631f6bf9574158a3a796684c/report/index.html
TPC-H: Total hot run time: 41337 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 0a157db8bc9cdf51631f6bf9574158a3a796684c, data reload: false
------ Round 1 ----------------------------------
q1 17594 4383 4247 4247
q2 2013 184 186 184
q3 10479 1210 1293 1210
q4 10192 800 785 785
q5 7486 2740 2708 2708
q6 223 128 133 128
q7 968 631 613 613
q8 9221 2136 2118 2118
q9 9569 6743 6683 6683
q10 9260 3975 3920 3920
q11 438 247 248 247
q12 531 230 236 230
q13 17201 3202 3261 3202
q14 277 237 233 233
q15 521 469 472 469
q16 478 388 386 386
q17 975 719 711 711
q18 8548 8082 7772 7772
q19 7266 1620 1582 1582
q20 639 322 317 317
q21 5233 3273 3903 3273
q22 381 319 320 319
Total cold run time: 119493 ms
Total hot run time: 41337 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4540 4410 4389 4389
q2 374 262 279 262
q3 3175 2922 2947 2922
q4 2009 1620 1570 1570
q5 5369 5514 5516 5514
q6 221 127 125 125
q7 2232 1839 1819 1819
q8 3223 3456 3446 3446
q9 8590 8675 8718 8675
q10 4115 3753 3780 3753
q11 624 525 500 500
q12 789 624 634 624
q13 16808 3166 3164 3164
q14 306 280 266 266
q15 526 477 486 477
q16 495 460 441 441
q17 1825 1535 1558 1535
q18 7941 7719 7407 7407
q19 1680 1516 1573 1516
q20 2013 1826 1773 1773
q21 12756 4729 4628 4628
q22 607 532 512 512
Total cold run time: 80218 ms
Total hot run time: 55318 ms
TPC-DS: Total hot run time: 171400 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 0a157db8bc9cdf51631f6bf9574158a3a796684c, data reload: false
query1 926 377 370 370
query2 6454 2392 2272 2272
query3 6635 206 204 204
query4 20780 17286 17355 17286
query5 4125 431 414 414
query6 240 154 156 154
query7 4581 297 294 294
query8 301 284 268 268
query9 8476 2405 2406 2405
query10 470 286 287 286
query11 10460 10135 10184 10135
query12 136 91 89 89
query13 1644 368 352 352
query14 10047 6763 6532 6532
query15 222 201 192 192
query16 7136 257 258 257
query17 1030 511 510 510
query18 1910 266 266 266
query19 208 152 157 152
query20 99 88 86 86
query21 196 128 134 128
query22 4383 4010 3984 3984
query23 33637 32903 33025 32903
query24 6973 2804 2765 2765
query25 540 380 358 358
query26 708 156 154 154
query27 2104 323 322 322
query28 3747 2041 2069 2041
query29 845 599 602 599
query30 216 168 180 168
query31 947 790 765 765
query32 91 52 56 52
query33 500 270 260 260
query34 842 464 466 464
query35 713 597 583 583
query36 1029 909 891 891
query37 103 70 72 70
query38 2868 2756 2767 2756
query39 844 801 792 792
query40 202 127 128 127
query41 52 51 49 49
query42 104 95 103 95
query43 561 546 508 508
query44 1069 723 736 723
query45 183 175 166 166
query46 1059 697 721 697
query47 1847 1771 1786 1771
query48 353 300 286 286
query49 751 371 382 371
query50 777 390 390 390
query51 6836 6738 6832 6738
query52 110 91 92 91
query53 352 286 289 286
query54 546 424 422 422
query55 76 73 72 72
query56 255 244 250 244
query57 1105 1059 1034 1034
query58 217 218 221 218
query59 3221 3076 3274 3076
query60 294 259 252 252
query61 89 87 86 86
query62 574 441 469 441
query63 317 300 285 285
query64 8507 2304 1833 1833
query65 3142 3093 3107 3093
query66 934 350 338 338
query67 15240 15052 14645 14645
query68 4585 542 541 541
query69 470 271 276 271
query70 1157 1128 1054 1054
query71 392 276 275 275
query72 7756 5707 5181 5181
query73 721 321 324 321
query74 6123 5670 5587 5587
query75 3300 2658 2604 2604
query76 2317 1046 1133 1046
query77 416 269 271 269
query78 10302 9782 10380 9782
query79 3343 521 529 521
query80 1918 443 430 430
query81 526 243 244 243
query82 675 92 97 92
query83 266 172 168 168
query84 268 86 85 85
query85 1727 273 296 273
query86 492 311 293 293
query87 3329 3123 3119 3119
query88 4074 2329 2321 2321
query89 489 399 381 381
query90 2045 183 184 183
query91 120 95 95 95
query92 58 46 46 46
query93 4241 510 503 503
query94 1247 186 182 182
query95 401 305 310 305
query96 593 261 263 261
query97 3223 3007 2981 2981
query98 236 227 217 217
query99 1157 877 854 854
Total cold run time: 263906 ms
Total hot run time: 171400 ms
ClickBench: Total hot run time: 30.62 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 0a157db8bc9cdf51631f6bf9574158a3a796684c, data reload: false
query1 0.04 0.03 0.04
query2 0.08 0.04 0.04
query3 0.23 0.06 0.06
query4 1.65 0.08 0.09
query5 0.51 0.51 0.51
query6 1.13 0.74 0.73
query7 0.02 0.01 0.01
query8 0.05 0.04 0.04
query9 0.54 0.48 0.50
query10 0.54 0.54 0.53
query11 0.15 0.11 0.11
query12 0.14 0.12 0.12
query13 0.60 0.60 0.59
query14 0.77 0.78 0.76
query15 0.83 0.81 0.81
query16 0.36 0.37 0.37
query17 0.98 1.02 0.95
query18 0.20 0.26 0.24
query19 1.79 1.66 1.66
query20 0.01 0.00 0.01
query21 15.59 0.65 0.65
query22 4.24 7.27 1.85
query23 18.29 1.42 1.29
query24 1.92 0.23 0.21
query25 0.15 0.09 0.08
query26 0.26 0.17 0.17
query27 0.07 0.07 0.08
query28 13.28 1.02 0.99
query29 12.97 3.33 3.29
query30 0.25 0.06 0.05
query31 2.88 0.38 0.38
query32 3.27 0.47 0.46
query33 2.89 2.90 2.96
query34 17.07 4.52 4.49
query35 4.57 4.60 4.56
query36 0.70 0.48 0.48
query37 0.18 0.15 0.15
query38 0.15 0.14 0.14
query39 0.05 0.03 0.04
query40 0.17 0.14 0.14
query41 0.10 0.05 0.05
query42 0.06 0.04 0.05
query43 0.04 0.03 0.03
Total cold run time: 109.77 s
Total hot run time: 30.62 s
TPC-H: Total hot run time: 40452 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 7de15e68755d71d8bef3b05daa7f52b8dec7ff52, data reload: false
------ Round 1 ----------------------------------
q1 17630 4363 4289 4289
q2 2031 197 191 191
q3 10601 1245 1261 1245
q4 10241 811 782 782
q5 7523 2766 2702 2702
q6 222 135 130 130
q7 974 621 596 596
q8 9546 2114 2115 2114
q9 9275 6661 6636 6636
q10 9201 3780 3715 3715
q11 476 243 241 241
q12 478 232 221 221
q13 17789 3016 2995 2995
q14 264 224 224 224
q15 507 465 479 465
q16 492 376 389 376
q17 978 700 663 663
q18 8100 7508 7423 7423
q19 5174 1580 1552 1552
q20 653 315 304 304
q21 5018 3257 3951 3257
q22 393 331 331 331
Total cold run time: 117566 ms
Total hot run time: 40452 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4362 4246 4259 4246
q2 380 274 270 270
q3 2999 2762 2796 2762
q4 1899 1603 1588 1588
q5 5291 5292 5307 5292
q6 216 122 123 122
q7 2130 1725 1719 1719
q8 3232 3350 3343 3343
q9 8384 8419 8435 8419
q10 3939 3673 3738 3673
q11 571 523 479 479
q12 767 594 601 594
q13 16598 3023 3004 3004
q14 301 259 254 254
q15 509 483 479 479
q16 468 415 411 411
q17 1797 1480 1482 1480
q18 7760 7638 7300 7300
q19 1696 1617 1562 1562
q20 1974 1781 1770 1770
q21 4779 4727 4741 4727
q22 620 512 526 512
Total cold run time: 70672 ms
Total hot run time: 54006 ms
TeamCity be ut coverage result: Function Coverage: 35.77% (9005/25174) Line Coverage: 27.39% (74542/272193) Region Coverage: 26.62% (38588/144943) Branch Coverage: 23.48% (19676/83794) Coverage Report: http://coverage.selectdb-in.cc/coverage/7de15e68755d71d8bef3b05daa7f52b8dec7ff52_7de15e68755d71d8bef3b05daa7f52b8dec7ff52/report/index.html
TPC-DS: Total hot run time: 169819 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 7de15e68755d71d8bef3b05daa7f52b8dec7ff52, data reload: false
query1 929 397 379 379
query2 6460 2476 2407 2407
query3 6662 211 210 210
query4 19821 17381 17392 17381
query5 4172 420 421 420
query6 260 157 153 153
query7 4569 312 294 294
query8 305 270 282 270
query9 8579 2378 2370 2370
query10 443 276 258 258
query11 10689 10122 9985 9985
query12 133 94 86 86
query13 1628 365 364 364
query14 8721 7810 7053 7053
query15 278 189 190 189
query16 8171 262 259 259
query17 1851 524 514 514
query18 2113 267 271 267
query19 189 154 151 151
query20 97 86 88 86
query21 198 133 133 133
query22 4153 4016 3938 3938
query23 33702 32890 33088 32890
query24 11697 2852 2786 2786
query25 657 353 385 353
query26 1795 155 162 155
query27 2979 328 323 323
query28 7580 2033 2042 2033
query29 1003 603 602 602
query30 290 154 156 154
query31 972 769 741 741
query32 98 53 54 53
query33 765 264 265 264
query34 1004 472 467 467
query35 771 620 633 620
query36 1079 941 912 912
query37 174 66 70 66
query38 2905 2792 2753 2753
query39 872 802 792 792
query40 272 126 121 121
query41 55 50 51 50
query42 105 98 93 93
query43 599 591 562 562
query44 1223 735 753 735
query45 186 173 169 169
query46 1075 758 710 710
query47 1856 1762 1756 1756
query48 384 306 303 303
query49 1191 379 387 379
query50 794 397 379 379
query51 6868 6792 6700 6700
query52 104 93 90 90
query53 358 283 282 282
query54 881 440 446 440
query55 102 70 72 70
query56 255 234 245 234
query57 1172 1056 1063 1056
query58 235 232 220 220
query59 3285 3347 3241 3241
query60 272 272 252 252
query61 87 86 88 86
query62 653 468 445 445
query63 307 287 281 281
query64 9911 2246 1691 1691
query65 3223 3124 3127 3124
query66 1369 326 328 326
query67 15340 14940 14828 14828
query68 4656 553 537 537
query69 487 263 273 263
query70 1142 1140 1087 1087
query71 416 274 266 266
query72 7795 5711 2738 2738
query73 717 325 322 322
query74 6022 5590 5642 5590
query75 3740 2615 2643 2615
query76 3279 980 998 980
query77 637 276 265 265
query78 10200 9769 9695 9695
query79 2674 518 517 517
query80 1732 434 444 434
query81 530 229 223 223
query82 1346 96 92 92
query83 273 170 173 170
query84 265 86 87 86
query85 1508 264 340 264
query86 473 326 293 293
query87 3370 3079 3165 3079
query88 4195 2432 2428 2428
query89 487 393 388 388
query90 1956 188 185 185
query91 124 99 101 99
query92 57 49 48 48
query93 2284 517 507 507
query94 1198 192 190 190
query95 412 309 307 307
query96 597 268 279 268
query97 3196 3084 3045 3045
query98 247 224 217 217
query99 1255 867 878 867
Total cold run time: 278196 ms
Total hot run time: 169819 ms
ClickBench: Total hot run time: 30.36 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 7de15e68755d71d8bef3b05daa7f52b8dec7ff52, data reload: false
query1 0.04 0.03 0.03
query2 0.08 0.03 0.04
query3 0.23 0.05 0.05
query4 1.68 0.08 0.09
query5 0.51 0.50 0.50
query6 1.14 0.74 0.73
query7 0.01 0.01 0.01
query8 0.05 0.04 0.05
query9 0.54 0.50 0.49
query10 0.55 0.54 0.53
query11 0.16 0.11 0.11
query12 0.15 0.11 0.12
query13 0.60 0.59 0.59
query14 0.79 0.79 0.76
query15 0.84 0.81 0.80
query16 0.36 0.36 0.37
query17 0.99 0.95 1.00
query18 0.22 0.25 0.22
query19 1.81 1.70 1.65
query20 0.02 0.01 0.02
query21 15.48 0.67 0.65
query22 4.88 6.61 1.77
query23 18.32 1.46 1.39
query24 1.77 0.26 0.23
query25 0.14 0.08 0.10
query26 0.26 0.17 0.17
query27 0.08 0.08 0.08
query28 13.27 1.02 0.99
query29 13.11 3.30 3.29
query30 0.24 0.06 0.06
query31 2.88 0.38 0.37
query32 3.33 0.49 0.47
query33 2.96 2.89 2.84
query34 17.16 4.42 4.38
query35 4.46 4.48 4.54
query36 0.66 0.46 0.46
query37 0.18 0.16 0.16
query38 0.15 0.14 0.15
query39 0.05 0.03 0.04
query40 0.16 0.16 0.14
query41 0.09 0.05 0.04
query42 0.05 0.05 0.05
query43 0.04 0.04 0.04
Total cold run time: 110.49 s
Total hot run time: 30.36 s
PR approved by at least one committer and no changes requested.
TeamCity be ut coverage result: Function Coverage: 35.78% (9011/25185) Line Coverage: 27.39% (74578/272311) Region Coverage: 26.61% (38596/145041) Branch Coverage: 23.48% (19679/83804) Coverage Report: http://coverage.selectdb-in.cc/coverage/21289161f13c44b563dd2f4f305dc3bf859d15b7_21289161f13c44b563dd2f4f305dc3bf859d15b7/report/index.html
TPC-H: Total hot run time: 41159 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 21289161f13c44b563dd2f4f305dc3bf859d15b7, data reload: false
------ Round 1 ----------------------------------
q1 18115 4540 4339 4339
q2 2657 224 201 201
q3 11407 1264 1268 1264
q4 10730 787 833 787
q5 7520 2739 2828 2739
q6 224 144 138 138
q7 975 630 610 610
q8 9506 2148 2100 2100
q9 9012 6503 6511 6503
q10 9003 3725 3746 3725
q11 462 251 247 247
q12 440 238 237 237
q13 17759 2974 2984 2974
q14 263 224 214 214
q15 525 478 461 461
q16 497 392 383 383
q17 983 676 752 676
q18 8142 7476 7448 7448
q19 5137 1611 1576 1576
q20 651 302 306 302
q21 5024 3917 3912 3912
q22 384 323 324 323
Total cold run time: 119416 ms
Total hot run time: 41159 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4592 4170 4190 4170
q2 379 273 260 260
q3 2993 2748 2771 2748
q4 1865 1604 1599 1599
q5 5248 5336 5301 5301
q6 211 126 126 126
q7 2135 1766 1689 1689
q8 3201 3314 3319 3314
q9 8371 8349 8397 8349
q10 3914 3722 3723 3722
q11 600 488 516 488
q12 788 595 588 588
q13 17692 2990 2982 2982
q14 296 244 261 244
q15 502 477 484 477
q16 479 408 417 408
q17 1762 1481 1493 1481
q18 7616 7554 7529 7529
q19 1667 1555 1586 1555
q20 1997 1772 1762 1762
q21 4827 4770 4803 4770
q22 606 549 521 521
Total cold run time: 71741 ms
Total hot run time: 54083 ms
TPC-DS: Total hot run time: 172920 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 21289161f13c44b563dd2f4f305dc3bf859d15b7, data reload: false
query1 957 388 371 371
query2 6464 2506 2404 2404
query3 6663 213 213 213
query4 19852 17313 17423 17313
query5 4128 425 438 425
query6 253 162 162 162
query7 4595 303 300 300
query8 330 299 296 296
query9 8456 2424 2398 2398
query10 475 287 273 273
query11 10530 9962 10003 9962
query12 137 96 92 92
query13 1646 382 379 379
query14 10345 6947 7511 6947
query15 240 196 186 186
query16 7924 263 261 261
query17 1861 517 516 516
query18 1990 273 267 267
query19 203 157 156 156
query20 95 90 91 90
query21 193 129 131 129
query22 4002 3822 3898 3822
query23 33569 33107 33236 33107
query24 12006 2870 2923 2870
query25 659 361 365 361
query26 1788 163 162 162
query27 2885 322 321 321
query28 7294 2080 2061 2061
query29 1108 624 605 605
query30 277 150 163 150
query31 970 759 737 737
query32 94 56 55 55
query33 766 270 261 261
query34 1011 498 482 482
query35 739 643 599 599
query36 1087 952 928 928
query37 275 66 69 66
query38 2873 2782 2760 2760
query39 834 791 777 777
query40 279 127 126 126
query41 54 51 52 51
query42 105 102 96 96
query43 603 557 601 557
query44 1227 742 756 742
query45 185 176 176 176
query46 1079 721 718 718
query47 1812 1744 1762 1744
query48 381 308 310 308
query49 1200 386 395 386
query50 782 401 396 396
query51 6645 6674 6621 6621
query52 109 89 97 89
query53 373 298 298 298
query54 1004 447 440 440
query55 74 73 76 73
query56 280 255 255 255
query57 1135 1047 1047 1047
query58 246 213 215 213
query59 3616 3376 3154 3154
query60 287 268 262 262
query61 99 89 87 87
query62 661 461 472 461
query63 325 299 294 294
query64 9781 2224 1754 1754
query65 3225 3120 3205 3120
query66 1387 346 324 324
query67 15320 14746 14720 14720
query68 4620 544 544 544
query69 455 279 283 279
query70 1122 1127 1133 1127
query71 418 274 287 274
query72 7841 5635 5501 5501
query73 742 335 327 327
query74 5994 5609 5577 5577
query75 3519 2616 2613 2613
query76 2790 1021 1091 1021
query77 440 317 270 270
query78 10201 9979 9922 9922
query79 1936 528 530 528
query80 910 451 443 443
query81 519 221 224 221
query82 574 93 94 93
query83 244 173 170 170
query84 236 89 88 88
query85 1776 275 280 275
query86 503 279 305 279
query87 3246 3114 3084 3084
query88 4083 2448 2454 2448
query89 473 398 383 383
query90 2017 192 194 192
query91 127 101 101 101
query92 62 48 51 48
query93 1961 514 507 507
query94 1253 197 196 196
query95 412 324 325 324
query96 592 284 272 272
query97 3182 3019 2983 2983
query98 240 220 223 220
query99 1136 834 844 834
Total cold run time: 275472 ms
Total hot run time: 172920 ms
ClickBench: Total hot run time: 30.6 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 21289161f13c44b563dd2f4f305dc3bf859d15b7, data reload: false
query1 0.04 0.03 0.03
query2 0.08 0.04 0.04
query3 0.23 0.06 0.06
query4 1.64 0.11 0.09
query5 0.49 0.48 0.50
query6 1.12 0.71 0.71
query7 0.02 0.01 0.02
query8 0.05 0.04 0.05
query9 0.53 0.47 0.49
query10 0.52 0.54 0.52
query11 0.15 0.11 0.12
query12 0.14 0.12 0.11
query13 0.59 0.60 0.60
query14 0.79 0.82 0.76
query15 0.84 0.82 0.82
query16 0.34 0.35 0.36
query17 0.95 0.97 1.00
query18 0.21 0.25 0.23
query19 1.75 1.70 1.65
query20 0.01 0.01 0.01
query21 15.46 0.72 0.70
query22 4.56 7.36 1.90
query23 18.27 1.37 1.31
query24 1.32 0.30 0.27
query25 0.15 0.08 0.08
query26 0.26 0.17 0.17
query27 0.08 0.08 0.08
query28 13.51 1.03 1.01
query29 12.64 3.32 3.26
query30 0.25 0.06 0.05
query31 2.86 0.40 0.39
query32 3.27 0.48 0.47
query33 2.91 2.90 2.89
query34 17.07 4.43 4.47
query35 4.45 4.55 4.48
query36 0.65 0.47 0.49
query37 0.18 0.15 0.15
query38 0.16 0.14 0.15
query39 0.05 0.03 0.03
query40 0.18 0.14 0.14
query41 0.10 0.05 0.04
query42 0.06 0.05 0.05
query43 0.04 0.03 0.04
Total cold run time: 108.97 s
Total hot run time: 30.6 s
