doris
doris copied to clipboard
[fix](brpc_client_cache) callers should check nullptr after get client
Proposed changes
brpc_client_cache may return nullptr on get_client or get_new_client_no_cache.
Callers should check nullptr before using the client.
PS: The nullptr is usually caused by wrong hostname or unsupported hostname (ipv6).
Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR
Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.
run buildall
PR approved by at least one committer and no changes requested.
PR approved by anyone and no changes requested.
clang-tidy review says "All clean, LGTM! :+1:"
run buildall
clang-tidy review says "All clean, LGTM! :+1:"
run buildall
clang-tidy review says "All clean, LGTM! :+1:"
run buildall
clang-tidy review says "All clean, LGTM! :+1:"
TPC-H: Total hot run time: 38115 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 0cdb3553da835d784686cc90d2d92d93f5245b1b, data reload: false
------ Round 1 ----------------------------------
q1 17940 4545 4327 4327
q2 2046 187 188 187
q3 11395 975 1166 975
q4 10214 757 829 757
q5 7755 2879 2848 2848
q6 224 138 137 137
q7 971 618 605 605
q8 9319 2124 2090 2090
q9 7263 6581 6573 6573
q10 7062 2229 2238 2229
q11 477 241 244 241
q12 390 223 225 223
q13 18960 3013 3046 3013
q14 277 241 234 234
q15 518 500 471 471
q16 611 499 504 499
q17 1005 735 689 689
q18 7504 6795 6880 6795
q19 1390 964 1005 964
q20 701 331 332 331
q21 3998 3071 2916 2916
q22 1137 1055 1011 1011
Total cold run time: 111157 ms
Total hot run time: 38115 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4384 4294 4273 4273
q2 371 270 268 268
q3 2892 2674 2703 2674
q4 1964 1631 1642 1631
q5 5648 5722 5749 5722
q6 232 135 135 135
q7 2298 1868 1846 1846
q8 3308 3453 3483 3453
q9 8830 8857 8869 8857
q10 3561 3419 3367 3367
q11 585 518 508 508
q12 826 656 657 656
q13 13366 3146 3150 3146
q14 327 292 307 292
q15 543 495 489 489
q16 612 596 597 596
q17 1862 1553 1515 1515
q18 8245 7736 7914 7736
q19 1736 1505 1605 1505
q20 2139 1891 1912 1891
q21 5760 5538 5595 5538
q22 1173 1057 1057 1057
Total cold run time: 70662 ms
Total hot run time: 57155 ms
TPC-DS: Total hot run time: 192437 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 0cdb3553da835d784686cc90d2d92d93f5245b1b, data reload: false
query1 1256 885 878 878
query2 6303 1953 1869 1869
query3 10767 4264 4015 4015
query4 60292 27711 23317 23317
query5 5297 500 502 500
query6 400 166 181 166
query7 5777 294 292 292
query8 289 209 208 208
query9 8865 2491 2436 2436
query10 476 269 261 261
query11 18041 14977 15573 14977
query12 169 103 103 103
query13 1551 414 373 373
query14 10839 7321 6535 6535
query15 250 187 180 180
query16 7567 518 521 518
query17 1179 585 559 559
query18 1979 287 308 287
query19 290 154 146 146
query20 123 110 109 109
query21 203 103 111 103
query22 4707 4452 4523 4452
query23 34574 33507 33126 33126
query24 5938 2859 2859 2859
query25 517 382 385 382
query26 684 158 158 158
query27 1797 280 288 280
query28 3775 2117 2088 2088
query29 659 396 405 396
query30 232 150 152 150
query31 935 739 773 739
query32 81 52 53 52
query33 451 288 279 279
query34 877 469 482 469
query35 840 720 726 720
query36 1054 931 939 931
query37 139 94 90 90
query38 3959 3846 3852 3846
query39 1477 1415 1398 1398
query40 199 117 113 113
query41 46 45 46 45
query42 111 97 99 97
query43 502 468 475 468
query44 1079 738 742 738
query45 193 169 171 169
query46 1103 747 756 747
query47 1919 1791 1803 1791
query48 373 294 302 294
query49 773 440 455 440
query50 819 433 416 416
query51 7179 7051 7135 7051
query52 99 91 93 91
query53 257 181 184 181
query54 582 463 485 463
query55 84 78 84 78
query56 292 269 273 269
query57 1177 1097 1099 1097
query58 230 239 240 239
query59 3023 2775 2795 2775
query60 304 282 304 282
query61 132 122 126 122
query62 770 663 668 663
query63 215 185 189 185
query64 2956 773 744 744
query65 3192 3134 3151 3134
query66 705 376 352 352
query67 15461 15237 15217 15217
query68 3025 575 576 575
query69 410 298 290 290
query70 1193 1067 1048 1048
query71 368 273 279 273
query72 6351 4299 4244 4244
query73 744 337 468 337
query74 9062 8812 8790 8790
query75 3367 2683 2722 2683
query76 1533 1114 1011 1011
query77 524 312 361 312
query78 10514 9294 9080 9080
query79 2264 532 538 532
query80 920 520 512 512
query81 565 237 241 237
query82 408 151 159 151
query83 189 151 149 149
query84 261 79 79 79
query85 818 314 289 289
query86 443 302 273 273
query87 4492 4359 4198 4198
query88 4145 2335 2334 2334
query89 388 280 295 280
query90 1918 203 195 195
query91 126 98 97 97
query92 61 50 52 50
query93 2331 533 531 531
query94 833 313 302 302
query95 353 264 266 264
query96 604 269 273 269
query97 3184 3069 3062 3062
query98 221 200 212 200
query99 1634 1305 1282 1282
Total cold run time: 311633 ms
Total hot run time: 192437 ms
ClickBench: Total hot run time: 32.69 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 0cdb3553da835d784686cc90d2d92d93f5245b1b, data reload: false
query1 0.05 0.04 0.04
query2 0.08 0.04 0.04
query3 0.22 0.05 0.04
query4 1.68 0.08 0.07
query5 0.51 0.50 0.49
query6 1.13 0.74 0.72
query7 0.02 0.01 0.01
query8 0.05 0.05 0.05
query9 0.54 0.48 0.49
query10 0.54 0.55 0.53
query11 0.16 0.12 0.11
query12 0.15 0.11 0.12
query13 0.60 0.58 0.59
query14 2.04 2.05 2.07
query15 0.90 0.82 0.82
query16 0.36 0.38 0.37
query17 1.00 0.98 0.95
query18 0.22 0.21 0.20
query19 1.94 1.88 1.84
query20 0.01 0.01 0.02
query21 15.40 0.67 0.65
query22 4.27 6.93 2.54
query23 18.31 1.46 1.30
query24 2.13 0.22 0.22
query25 0.15 0.08 0.08
query26 0.26 0.18 0.17
query27 0.09 0.07 0.07
query28 13.22 1.03 1.01
query29 12.62 3.28 3.26
query30 0.24 0.06 0.05
query31 2.88 0.40 0.39
query32 3.25 0.47 0.47
query33 2.94 3.03 3.00
query34 17.04 4.47 4.48
query35 4.45 4.44 4.44
query36 0.65 0.47 0.46
query37 0.18 0.16 0.15
query38 0.16 0.15 0.15
query39 0.05 0.04 0.04
query40 0.16 0.13 0.13
query41 0.10 0.05 0.05
query42 0.06 0.05 0.04
query43 0.04 0.04 0.04
Total cold run time: 110.85 s
Total hot run time: 32.69 s
run buildall
clang-tidy review says "All clean, LGTM! :+1:"
clang-tidy review says "All clean, LGTM! :+1:"
run buildall
clang-tidy review says "All clean, LGTM! :+1:"
TPC-H: Total hot run time: 38229 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit d39560609903d7887fa67d7a984b49982951f6cd, data reload: false
------ Round 1 ----------------------------------
q1 17717 4889 4386 4386
q2 2031 187 194 187
q3 11393 959 1099 959
q4 10511 776 613 613
q5 7751 2858 2851 2851
q6 223 139 139 139
q7 965 620 613 613
q8 9336 2086 2098 2086
q9 6969 6536 6535 6535
q10 7044 2244 2171 2171
q11 458 240 244 240
q12 402 228 232 228
q13 17779 3087 3073 3073
q14 277 240 242 240
q15 513 494 490 490
q16 618 504 505 504
q17 983 682 676 676
q18 7491 7043 6936 6936
q19 1396 1027 1103 1027
q20 700 326 347 326
q21 4476 3106 2958 2958
q22 1101 999 991 991
Total cold run time: 110134 ms
Total hot run time: 38229 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4355 4291 4249 4249
q2 375 280 264 264
q3 2968 2629 2638 2629
q4 1965 1625 1647 1625
q5 5686 5692 5791 5692
q6 235 138 134 134
q7 2264 1868 1802 1802
q8 3298 3440 3528 3440
q9 8973 8886 8864 8864
q10 3652 3433 3278 3278
q11 609 513 488 488
q12 899 679 673 673
q13 13785 3296 3320 3296
q14 302 296 290 290
q15 538 493 483 483
q16 612 575 596 575
q17 1843 1552 1535 1535
q18 8142 7851 8003 7851
q19 1738 1647 1542 1542
q20 2156 1896 1894 1894
q21 5780 5507 5577 5507
q22 1110 1042 1039 1039
Total cold run time: 71285 ms
Total hot run time: 57150 ms
TPC-DS: Total hot run time: 192591 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit d39560609903d7887fa67d7a984b49982951f6cd, data reload: false
query1 1260 873 838 838
query2 6359 1934 1854 1854
query3 10622 3937 3864 3864
query4 59941 23909 23269 23269
query5 5366 519 488 488
query6 424 170 178 170
query7 5890 299 306 299
query8 296 207 207 207
query9 9119 2526 2500 2500
query10 487 287 266 266
query11 17479 15042 15162 15042
query12 167 109 119 109
query13 1594 398 385 385
query14 11284 7202 7529 7202
query15 243 173 165 165
query16 7574 485 496 485
query17 1190 603 591 591
query18 2065 311 312 311
query19 314 153 154 153
query20 138 115 116 115
query21 208 111 116 111
query22 4756 4418 4576 4418
query23 34254 33763 33258 33258
query24 5921 2946 2809 2809
query25 557 413 421 413
query26 703 165 160 160
query27 1783 281 288 281
query28 3771 2088 2083 2083
query29 714 416 429 416
query30 242 162 154 154
query31 969 806 789 789
query32 88 57 59 57
query33 490 304 301 301
query34 859 479 485 479
query35 857 722 733 722
query36 1052 959 931 931
query37 153 90 84 84
query38 3907 3831 3861 3831
query39 1439 1402 1400 1400
query40 206 120 119 119
query41 48 50 47 47
query42 115 99 98 98
query43 515 477 459 459
query44 1097 761 756 756
query45 205 171 181 171
query46 1086 746 724 724
query47 1839 1762 1811 1762
query48 382 308 294 294
query49 784 444 447 444
query50 816 419 434 419
query51 7208 7104 6925 6925
query52 105 89 89 89
query53 255 179 184 179
query54 578 464 464 464
query55 79 76 79 76
query56 298 266 278 266
query57 1171 1069 1075 1069
query58 245 245 247 245
query59 2968 2792 2714 2714
query60 301 283 294 283
query61 127 123 125 123
query62 745 646 662 646
query63 219 188 190 188
query64 2962 829 683 683
query65 3214 3128 3161 3128
query66 689 334 354 334
query67 15425 15350 15089 15089
query68 4465 567 584 567
query69 429 279 273 273
query70 1121 1094 1114 1094
query71 389 274 272 272
query72 6576 4058 4056 4056
query73 752 337 333 333
query74 9095 9009 8849 8849
query75 3378 2706 2665 2665
query76 1832 975 1015 975
query77 568 320 319 319
query78 9742 8990 9147 8990
query79 2280 544 550 544
query80 1211 512 510 510
query81 572 238 237 237
query82 1213 146 140 140
query83 251 151 151 151
query84 257 74 76 74
query85 961 299 330 299
query86 438 308 287 287
query87 4451 4247 4272 4247
query88 3138 2359 2359 2359
query89 396 288 288 288
query90 1828 198 199 198
query91 128 100 101 100
query92 67 53 56 53
query93 2741 543 549 543
query94 809 308 303 303
query95 360 259 265 259
query96 610 276 265 265
query97 3185 3116 3058 3058
query98 221 207 206 206
query99 1568 1273 1275 1273
Total cold run time: 313249 ms
Total hot run time: 192591 ms
ClickBench: Total hot run time: 32.21 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit d39560609903d7887fa67d7a984b49982951f6cd, data reload: false
query1 0.04 0.05 0.04
query2 0.08 0.04 0.04
query3 0.23 0.05 0.05
query4 1.68 0.07 0.07
query5 0.49 0.48 0.49
query6 1.13 0.74 0.73
query7 0.02 0.02 0.01
query8 0.05 0.04 0.05
query9 0.54 0.48 0.49
query10 0.54 0.53 0.53
query11 0.16 0.12 0.12
query12 0.15 0.12 0.12
query13 0.61 0.58 0.58
query14 2.03 2.09 2.10
query15 0.92 0.83 0.81
query16 0.37 0.40 0.37
query17 1.00 1.00 0.96
query18 0.21 0.20 0.20
query19 1.96 1.86 1.83
query20 0.01 0.01 0.01
query21 15.41 0.66 0.64
query22 3.68 7.69 2.06
query23 18.26 1.42 1.29
query24 2.13 0.22 0.22
query25 0.15 0.08 0.08
query26 0.27 0.18 0.18
query27 0.08 0.09 0.07
query28 13.18 1.03 1.00
query29 12.62 3.32 3.27
query30 0.24 0.06 0.06
query31 2.88 0.40 0.39
query32 3.24 0.47 0.48
query33 2.94 3.06 3.09
query34 17.09 4.37 4.39
query35 4.45 4.44 4.44
query36 0.65 0.48 0.48
query37 0.19 0.16 0.15
query38 0.14 0.14 0.14
query39 0.04 0.04 0.04
query40 0.16 0.12 0.13
query41 0.09 0.04 0.04
query42 0.06 0.05 0.04
query43 0.05 0.04 0.04
Total cold run time: 110.22 s
Total hot run time: 32.21 s
run buildall
TPC-H: Total hot run time: 37813 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 9d418e55a21988aec30668d5329a63c0ab3764c0, data reload: false
------ Round 1 ----------------------------------
q1 17627 4417 4334 4334
q2 2022 182 175 175
q3 11686 975 1115 975
q4 10516 792 721 721
q5 7748 2794 2735 2735
q6 223 139 138 138
q7 959 606 590 590
q8 9343 2065 2066 2065
q9 7090 6565 6586 6565
q10 7019 2146 2161 2146
q11 447 250 239 239
q12 393 221 220 220
q13 17777 3095 3061 3061
q14 286 237 233 233
q15 522 497 487 487
q16 595 517 496 496
q17 984 738 760 738
q18 7245 6843 6705 6705
q19 1389 1115 1036 1036
q20 671 311 325 311
q21 3971 2990 2832 2832
q22 1125 1011 1016 1011
Total cold run time: 109638 ms
Total hot run time: 37813 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4389 4392 4293 4293
q2 394 274 271 271
q3 2852 2663 2700 2663
q4 1916 1623 1667 1623
q5 5567 5746 5717 5717
q6 223 135 148 135
q7 2246 1846 1816 1816
q8 3307 3410 3450 3410
q9 8843 8796 8788 8788
q10 3560 3426 3372 3372
q11 603 506 543 506
q12 835 638 665 638
q13 15595 3197 3289 3197
q14 339 297 297 297
q15 565 496 493 493
q16 621 590 579 579
q17 1826 1574 1540 1540
q18 8171 7749 8010 7749
q19 1733 1474 1584 1474
q20 2194 1902 1905 1902
q21 5670 5407 5386 5386
q22 1091 1042 1034 1034
Total cold run time: 72540 ms
Total hot run time: 56883 ms
TeamCity be ut coverage result: Function Coverage: 36.86% (9398/25497) Line Coverage: 28.29% (77528/274031) Region Coverage: 27.69% (40002/144484) Branch Coverage: 24.32% (20353/83674) Coverage Report: http://coverage.selectdb-in.cc/coverage/9d418e55a21988aec30668d5329a63c0ab3764c0_9d418e55a21988aec30668d5329a63c0ab3764c0/report/index.html
TPC-DS: Total hot run time: 192343 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 9d418e55a21988aec30668d5329a63c0ab3764c0, data reload: false
query1 1250 889 867 867
query2 6360 2007 1899 1899
query3 10631 3902 3811 3811
query4 59794 28079 23208 23208
query5 5228 509 508 508
query6 402 179 159 159
query7 5770 300 281 281
query8 282 208 207 207
query9 9001 2522 2510 2510
query10 500 276 265 265
query11 18286 15005 15471 15005
query12 150 105 98 98
query13 1543 393 387 387
query14 11372 7254 7555 7254
query15 252 172 180 172
query16 7669 417 479 417
query17 1231 588 555 555
query18 2010 284 282 282
query19 298 150 148 148
query20 126 114 105 105
query21 214 105 105 105
query22 4607 4490 4533 4490
query23 34269 33236 33459 33236
query24 5927 2908 2808 2808
query25 525 392 403 392
query26 687 154 151 151
query27 1791 294 281 281
query28 3878 2057 2057 2057
query29 716 430 430 430
query30 236 159 155 155
query31 958 748 793 748
query32 89 53 55 53
query33 481 300 291 291
query34 861 495 491 491
query35 822 729 739 729
query36 1055 936 963 936
query37 147 97 91 91
query38 3943 3851 3934 3851
query39 1451 1383 1414 1383
query40 208 120 118 118
query41 49 51 46 46
query42 122 98 98 98
query43 530 477 476 476
query44 1129 741 753 741
query45 199 169 168 168
query46 1090 746 745 745
query47 1899 1789 1798 1789
query48 387 300 301 300
query49 773 441 473 441
query50 824 416 414 414
query51 7035 6921 6821 6821
query52 98 88 90 88
query53 252 181 186 181
query54 570 463 457 457
query55 81 77 79 77
query56 284 264 269 264
query57 1216 1068 1052 1052
query58 226 234 274 234
query59 3104 2782 2954 2782
query60 315 288 350 288
query61 103 103 98 98
query62 756 655 675 655
query63 220 185 187 185
query64 2825 674 708 674
query65 3208 3151 3184 3151
query66 688 347 338 338
query67 15356 15431 15572 15431
query68 3150 599 566 566
query69 397 283 280 280
query70 1181 1134 1153 1134
query71 363 284 267 267
query72 6367 3908 3962 3908
query73 799 321 324 321
query74 9209 8743 8829 8743
query75 3336 2623 2713 2623
query76 1476 969 1016 969
query77 534 329 316 316
query78 10492 9138 9572 9138
query79 1102 534 525 525
query80 748 518 514 514
query81 492 234 234 234
query82 239 154 146 146
query83 169 151 158 151
query84 257 73 77 73
query85 785 292 326 292
query86 339 303 293 293
query87 4414 4409 4202 4202
query88 3487 2313 2326 2313
query89 383 277 292 277
query90 1859 191 190 190
query91 129 99 97 97
query92 65 51 50 50
query93 1088 529 531 529
query94 816 270 283 270
query95 352 254 248 248
query96 591 267 268 267
query97 3188 3026 3114 3026
query98 218 206 198 198
query99 1510 1255 1268 1255
Total cold run time: 307894 ms
Total hot run time: 192343 ms
ClickBench: Total hot run time: 32.29 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 9d418e55a21988aec30668d5329a63c0ab3764c0, data reload: false
query1 0.05 0.05 0.04
query2 0.08 0.04 0.04
query3 0.22 0.05 0.05
query4 1.68 0.08 0.07
query5 0.51 0.51 0.51
query6 1.14 0.73 0.72
query7 0.02 0.01 0.02
query8 0.05 0.04 0.04
query9 0.55 0.50 0.51
query10 0.54 0.54 0.53
query11 0.16 0.11 0.12
query12 0.15 0.12 0.13
query13 0.61 0.59 0.58
query14 2.10 2.10 2.06
query15 0.90 0.83 0.82
query16 0.37 0.38 0.36
query17 1.07 1.06 1.05
query18 0.21 0.21 0.21
query19 1.90 1.81 1.76
query20 0.01 0.01 0.02
query21 15.39 0.66 0.65
query22 4.27 7.00 2.04
query23 18.28 1.34 1.30
query24 2.20 0.22 0.22
query25 0.15 0.08 0.08
query26 0.27 0.18 0.18
query27 0.07 0.08 0.07
query28 13.21 1.02 1.00
query29 12.58 3.44 3.39
query30 0.25 0.05 0.06
query31 2.87 0.40 0.40
query32 3.26 0.47 0.48
query33 2.97 3.01 3.01
query34 16.96 4.38 4.36
query35 4.51 4.45 4.42
query36 0.66 0.46 0.47
query37 0.18 0.16 0.15
query38 0.16 0.15 0.15
query39 0.04 0.04 0.04
query40 0.17 0.13 0.13
query41 0.09 0.05 0.04
query42 0.06 0.05 0.05
query43 0.04 0.04 0.04
Total cold run time: 110.96 s
Total hot run time: 32.29 s
run buildall
TeamCity be ut coverage result: Function Coverage: 36.85% (9395/25497) Line Coverage: 28.27% (77468/273999) Region Coverage: 27.66% (39967/144481) Branch Coverage: 24.30% (20335/83674) Coverage Report: http://coverage.selectdb-in.cc/coverage/bff912ecf9d380847f192033f0de003c94d47a19_bff912ecf9d380847f192033f0de003c94d47a19/report/index.html
TPC-H: Total hot run time: 40171 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit bff912ecf9d380847f192033f0de003c94d47a19, data reload: false
------ Round 1 ----------------------------------
q1 17623 4890 4781 4781
q2 2027 183 176 176
q3 11671 1005 1177 1005
q4 10513 829 746 746
q5 7789 3075 2990 2990
q6 252 142 145 142
q7 1055 618 615 615
q8 9501 2173 2187 2173
q9 8517 6933 6997 6933
q10 7111 2320 2372 2320
q11 450 250 247 247
q12 439 233 232 232
q13 18778 3111 3092 3092
q14 294 253 241 241
q15 539 495 496 495
q16 614 542 520 520
q17 1024 710 684 684
q18 7434 7047 6892 6892
q19 1404 1152 1177 1152
q20 699 331 318 318
q21 4279 3415 3412 3412
q22 1116 1034 1005 1005
Total cold run time: 113129 ms
Total hot run time: 40171 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4890 4847 4735 4735
q2 400 279 267 267
q3 3066 2783 2835 2783
q4 2141 1789 1813 1789
q5 5842 5920 5773 5773
q6 264 147 144 144
q7 2303 1837 1838 1837
q8 3616 3761 3761 3761
q9 8955 8910 9108 8910
q10 3826 3485 3506 3485
q11 633 523 504 504
q12 836 617 640 617
q13 14282 3331 3234 3234
q14 349 296 304 296
q15 560 484 492 484
q16 638 600 588 588
q17 2011 1662 1608 1608
q18 8262 8039 7981 7981
q19 1995 1788 1794 1788
q20 2252 1962 1913 1913
q21 5969 5818 5545 5545
q22 1183 1097 1091 1091
Total cold run time: 74273 ms
Total hot run time: 59133 ms