doris
doris copied to clipboard
Published
20 hours ago •
apache
apache
[fix](RLE) Quit when the RLE length repeat count is larger than int32_t
Proposed changes
Issue Number: close #xxx
Further comments
If this is a relatively large or complex change, kick off the discussion at [email protected] by explaining why you chose the solution you did and what alternatives you considered, etc...
TPC-H: Total hot run time: 37454 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 16ebafad328f43fe57090bba6ca0e61e05cf8d11, data reload: false
------ Round 1 ----------------------------------
q1 17687 5468 5011 5011
q2 2049 153 134 134
q3 10698 917 921 917
q4 4747 741 738 738
q5 7699 2930 2928 2928
q6 185 119 117 117
q7 1115 742 720 720
q8 9348 2041 2014 2014
q9 7230 6332 6299 6299
q10 8053 2437 2396 2396
q11 407 226 207 207
q12 736 282 281 281
q13 18013 3302 3323 3302
q14 276 249 245 245
q15 536 489 491 489
q16 462 403 404 403
q17 941 562 502 502
q18 6920 6166 5819 5819
q19 1589 1415 1354 1354
q20 624 340 331 331
q21 7031 2962 3083 2962
q22 805 285 297 285
Total cold run time: 107151 ms
Total hot run time: 37454 ms
----- Round 2, with runtime_filter_mode=off -----
q1 5097 4974 4836 4836
q2 330 226 244 226
q3 3021 2674 2688 2674
q4 1832 1516 1634 1516
q5 5336 5037 5333 5037
q6 197 112 118 112
q7 2189 1728 1781 1728
q8 3108 3213 3241 3213
q9 8719 8591 9327 8591
q10 5531 3492 3528 3492
q11 547 459 452 452
q12 764 547 558 547
q13 16938 3127 3094 3094
q14 289 265 261 261
q15 531 496 489 489
q16 495 468 487 468
q17 1940 1743 1664 1664
q18 8953 11580 8608 8608
q19 24110 1569 1537 1537
q20 4598 1923 1887 1887
q21 15484 4682 4947 4682
q22 3407 464 488 464
Total cold run time: 113416 ms
Total hot run time: 55578 ms
TPC-DS: Total hot run time: 173174 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 16ebafad328f43fe57090bba6ca0e61e05cf8d11, data reload: false
query1 952 327 322 322
query2 6570 1952 1951 1951
query3 6701 197 200 197
query4 33387 22104 22011 22011
query5 4474 425 346 346
query6 245 158 153 153
query7 4607 269 261 261
query8 262 178 177 177
query9 8599 2298 2274 2274
query10 417 211 200 200
query11 17689 15300 15324 15300
query12 117 66 66 66
query13 1677 371 379 371
query14 9456 6548 6502 6502
query15 204 173 187 173
query16 5700 262 249 249
query17 939 467 483 467
query18 1815 264 252 252
query19 172 130 135 130
query20 72 71 65 65
query21 198 135 131 131
query22 4719 4708 4714 4708
query23 31227 30384 30314 30314
query24 12456 2771 2809 2771
query25 606 306 303 303
query26 1922 138 133 133
query27 3196 281 294 281
query28 7580 1863 1847 1847
query29 2106 622 634 622
query30 283 134 144 134
query31 926 721 715 715
query32 78 50 51 50
query33 690 211 201 201
query34 1160 464 464 464
query35 862 770 751 751
query36 1286 1136 1166 1136
query37 91 54 59 54
query38 3277 3144 3140 3140
query39 1313 1245 1246 1245
query40 356 83 80 80
query41 36 34 34 34
query42 86 82 81 81
query43 531 486 538 486
query44 1099 702 705 702
query45 202 178 172 172
query46 1034 656 652 652
query47 1643 1445 1559 1445
query48 413 310 305 305
query49 1199 286 283 283
query50 670 315 304 304
query51 5296 5198 5116 5116
query52 90 72 76 72
query53 338 260 255 255
query54 245 185 179 179
query55 79 78 74 74
query56 172 174 163 163
query57 983 905 943 905
query58 187 157 152 152
query59 2753 2563 2417 2417
query60 204 180 176 176
query61 83 81 81 81
query62 645 368 373 368
query63 281 266 265 265
query64 6001 1745 1727 1727
query65 3290 3223 3201 3201
query66 1328 331 327 327
query67 14407 14235 14280 14235
query68 4024 491 498 491
query69 437 310 310 310
query70 1486 1517 1537 1517
query71 283 218 217 217
query72 3735 2840 2868 2840
query73 693 317 322 317
query74 6831 6232 6196 6196
query75 2827 2301 2315 2301
query76 2592 1063 988 988
query77 435 229 219 219
query78 9037 8982 8579 8579
query79 2501 490 489 489
query80 1442 324 321 321
query81 503 196 200 196
query82 847 81 79 79
query83 247 121 112 112
query84 280 74 68 68
query85 1406 345 347 345
query86 504 412 406 406
query87 3410 3339 3243 3243
query88 3830 2182 2192 2182
query89 407 369 343 343
query90 2096 190 185 185
query91 146 119 119 119
query92 52 41 43 41
query93 1769 445 441 441
query94 1417 160 159 159
query95 517 471 451 451
query96 608 309 311 309
query97 4231 4113 4159 4113
query98 194 191 183 183
query99 1058 690 716 690
Total cold run time: 281527 ms
Total hot run time: 173174 ms
ClickBench: Total hot run time: 31.48 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 16ebafad328f43fe57090bba6ca0e61e05cf8d11, data reload: false
query1 0.04 0.03 0.03
query2 0.06 0.03 0.02
query3 0.23 0.06 0.06
query4 1.67 0.09 0.09
query5 0.52 0.52 0.51
query6 1.19 0.64 0.66
query7 0.02 0.01 0.01
query8 0.03 0.02 0.02
query9 0.53 0.48 0.52
query10 0.55 0.53 0.55
query11 0.11 0.08 0.09
query12 0.11 0.08 0.09
query13 0.61 0.61 0.61
query14 0.78 0.81 0.82
query15 0.80 0.77 0.78
query16 0.39 0.37 0.39
query17 1.02 0.99 1.00
query18 0.21 0.25 0.20
query19 1.78 1.78 1.80
query20 0.01 0.01 0.01
query21 15.40 0.56 0.58
query22 2.45 2.39 2.06
query23 17.26 0.77 0.81
query24 2.37 1.57 1.17
query25 0.26 0.20 0.18
query26 0.65 0.15 0.14
query27 0.06 0.05 0.05
query28 10.60 0.83 0.83
query29 12.56 3.34 3.29
query30 0.64 0.53 0.53
query31 2.78 0.36 0.34
query32 3.36 0.48 0.47
query33 3.18 3.23 3.21
query34 15.93 4.26 4.34
query35 4.33 4.35 4.24
query36 1.10 1.09 1.05
query37 0.07 0.05 0.04
query38 0.04 0.03 0.03
query39 0.02 0.01 0.01
query40 0.16 0.12 0.12
query41 0.07 0.01 0.01
query42 0.03 0.01 0.02
query43 0.03 0.02 0.02
Total cold run time: 104.01 s
Total hot run time: 31.48 s
Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
Load test result on commit 16ebafad328f43fe57090bba6ca0e61e05cf8d11 with default session variables
Stream load json: 19 seconds loaded 2358488459 Bytes, about 118 MB/s
Stream load orc: 58 seconds loaded 1101869774 Bytes, about 18 MB/s
Stream load parquet: 32 seconds loaded 861443392 Bytes, about 25 MB/s
Insert into select: 14.1 seconds inserted 10000000 Rows, about 709K ops/s
PR approved by at least one committer and no changes requested.
![github-actions[bot] avatar](https://avatars.githubusercontent.com/in/15368?v=4 "Published by a pub.dev verified publisher"){kind=small}
TPC-H: Total hot run time: 39072 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 8de45611dc67d4d3173b32cd7899a0fb024bb7c8, data reload: false
------ Round 1 ----------------------------------
q1 17765 4653 4256 4256
q2 2014 192 194 192
q3 10864 1271 1258 1258
q4 10334 819 824 819
q5 7542 2811 2735 2735
q6 223 135 136 135
q7 1088 634 616 616
q8 9756 2118 2068 2068
q9 7510 6763 6696 6696
q10 8624 3670 3623 3623
q11 674 225 230 225
q12 403 224 211 211
q13 17788 2924 2953 2924
q14 271 233 235 233
q15 527 486 479 479
q16 543 383 385 383
q17 971 622 662 622
q18 7348 6827 6798 6798
q19 5105 1552 1497 1497
q20 647 324 295 295
q21 3377 2694 2930 2694
q22 366 313 314 313
Total cold run time: 113740 ms
Total hot run time: 39072 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4342 4224 4202 4202
q2 380 259 272 259
q3 2994 2787 2757 2757
q4 1872 1605 1549 1549
q5 5393 5374 5348 5348
q6 207 123 126 123
q7 2292 1917 1860 1860
q8 3237 3403 3346 3346
q9 8618 8563 8575 8563
q10 3906 3719 3742 3719
q11 581 476 484 476
q12 765 576 586 576
q13 17607 3049 3052 3049
q14 300 280 291 280
q15 539 481 480 480
q16 484 427 454 427
q17 1782 1491 1456 1456
q18 7685 7649 7434 7434
q19 1643 1493 1564 1493
q20 1978 1753 1730 1730
q21 4872 4811 4746 4746
q22 554 471 471 471
Total cold run time: 72031 ms
Total hot run time: 54344 ms
TPC-DS: Total hot run time: 185703 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 8de45611dc67d4d3173b32cd7899a0fb024bb7c8, data reload: false
query1 918 376 365 365
query2 6501 2360 2360 2360
query3 6661 211 213 211
query4 24766 21192 21237 21192
query5 4192 415 418 415
query6 279 179 174 174
query7 4591 294 291 291
query8 245 189 195 189
query9 8533 2276 2282 2276
query10 586 248 249 248
query11 14922 14264 14187 14187
query12 157 93 89 89
query13 1653 372 363 363
query14 9810 7352 7875 7352
query15 239 191 184 184
query16 7841 264 261 261
query17 1932 587 538 538
query18 1860 279 268 268
query19 201 151 150 150
query20 91 85 85 85
query21 201 130 127 127
query22 4974 4802 4770 4770
query23 33858 33224 33284 33224
query24 12020 2905 2973 2905
query25 672 366 373 366
query26 1762 154 148 148
query27 2975 312 327 312
query28 7483 1960 1951 1951
query29 1062 604 612 604
query30 311 175 168 168
query31 1004 715 734 715
query32 95 61 56 56
query33 754 255 250 250
query34 1024 477 497 477
query35 862 713 686 686
query36 1039 942 881 881
query37 260 68 72 68
query38 3395 3157 3153 3153
query39 1566 1547 1530 1530
query40 281 127 126 126
query41 49 42 44 42
query42 108 104 99 99
query43 586 521 569 521
query44 1302 735 740 735
query45 293 268 274 268
query46 1070 715 741 715
query47 1925 1830 1842 1830
query48 387 302 307 302
query49 1197 405 403 403
query50 756 383 397 383
query51 6675 6534 6607 6534
query52 105 92 97 92
query53 359 298 292 292
query54 318 239 238 238
query55 78 74 76 74
query56 251 235 232 232
query57 1236 1113 1101 1101
query58 231 202 200 200
query59 3350 3268 3356 3268
query60 277 249 240 240
query61 112 107 106 106
query62 647 435 456 435
query63 309 283 287 283
query64 6558 4057 4190 4057
query65 3140 3082 3045 3045
query66 1364 356 355 355
query67 15528 14977 15146 14977
query68 8537 541 547 541
query69 540 324 314 314
query70 1200 1125 1187 1125
query71 1470 1274 1278 1274
query72 6567 2763 2589 2589
query73 736 325 326 325
query74 6782 6394 6393 6393
query75 4096 2606 2610 2606
query76 4655 958 919 919
query77 688 276 277 276
query78 11016 10318 10327 10318
query79 9845 533 521 521
query80 1879 453 577 453
query81 515 242 235 235
query82 359 92 97 92
query83 241 167 165 165
query84 264 85 80 80
query85 975 272 265 265
query86 358 276 319 276
query87 3506 3259 3272 3259
query88 4923 2427 2399 2399
query89 527 375 381 375
query90 1998 187 183 183
query91 128 96 96 96
query92 65 46 46 46
query93 7244 529 500 500
query94 1345 182 180 180
query95 1095 1102 1093 1093
query96 606 268 268 268
query97 3147 2946 2957 2946
query98 242 218 209 209
query99 1201 861 840 840
Total cold run time: 306537 ms
Total hot run time: 185703 ms
ClickBench: Total hot run time: 30.72 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 8de45611dc67d4d3173b32cd7899a0fb024bb7c8, data reload: false
query1 0.04 0.03 0.03
query2 0.08 0.03 0.04
query3 0.24 0.05 0.04
query4 1.69 0.07 0.07
query5 0.50 0.48 0.49
query6 1.48 0.72 0.72
query7 0.02 0.01 0.01
query8 0.05 0.04 0.04
query9 0.54 0.49 0.50
query10 0.54 0.56 0.56
query11 0.17 0.11 0.11
query12 0.15 0.11 0.12
query13 0.64 0.60 0.57
query14 0.76 0.76 0.78
query15 0.82 0.82 0.80
query16 0.36 0.36 0.36
query17 1.02 1.00 1.02
query18 0.21 0.23 0.23
query19 1.75 1.76 1.73
query20 0.01 0.01 0.02
query21 15.42 0.65 0.64
query22 3.98 7.28 2.39
query23 18.29 1.46 1.27
query24 1.79 0.27 0.21
query25 0.14 0.08 0.07
query26 0.27 0.16 0.17
query27 0.08 0.07 0.08
query28 13.33 1.00 0.98
query29 12.56 3.30 3.26
query30 0.26 0.06 0.07
query31 2.85 0.39 0.36
query32 3.30 0.47 0.46
query33 2.87 2.84 2.79
query34 17.08 4.37 4.42
query35 4.45 4.43 4.47
query36 0.64 0.46 0.49
query37 0.18 0.15 0.17
query38 0.15 0.14 0.15
query39 0.04 0.04 0.04
query40 0.16 0.14 0.15
query41 0.10 0.04 0.04
query42 0.06 0.05 0.05
query43 0.05 0.03 0.03
Total cold run time: 109.12 s
Total hot run time: 30.72 s