doris
doris copied to clipboard
Published
20 hours ago •
apache
apache
[Feature](privilege) support data mask in doris internal auth
Proposed changes
Before, data masking could only be managed by ranger, and ranger was not applicable to users in most cases. doris built-in permission management did not have the management function of data masking, and now it is added.
supported data mask policy
MASK_REDACT("Replace lowercase with 'x', uppercase with 'X', digits with '0'",
"regexp_replace(regexp_replace(regexp_replace({col},'([A-Z])', 'X'),'([a-z])','x'),'([0-9])','0')"),
MASK_SHOW_LAST_4("Show last 4 characters; replace rest with 'X'",
"LPAD(RIGHT({col}, 4), CHAR_LENGTH({col}), 'X')"),
MASK_SHOW_FIRST_4("Show first 4 characters; replace rest with 'x'",
"RPAD(LEFT({col}, 4), CHAR_LENGTH({col}), 'X')"),
MASK_HASH("Hash the value of a varchar with sha256",
"hex(sha2({col}, 256))"),
MASK_NULL("Replace with NULL", "NULL"),
MASK_DATE_SHOW_YEAR("Date: show only year",
"date_trunc({col}, 'year')"),
MASK_DEFAULT("Replace with data type default",
"");
create database test;
CREATE TABLE `stu` (
`id` INT NOT NULL,
`name` VARCHAR(200) NOT NULL,
`phone` INT NOT NULL,
`birth` DATETIME NOT NULL
) ENGINE=OLAP
DUPLICATE KEY(`id`, `name`)
DISTRIBUTED BY HASH(`id`) BUCKETS 1
PROPERTIES (
"replication_allocation" = "tag.location.default: 1"
);
- add data mask policy
create data mask policy test on internal.test.stu.phone to 'jack' using MASK_DEFAULT;
create data mask policy test1 on internal.test.stu.id to 'jack' using MASK_NULL;
create data mask policy test2 on internal.test.stu.name to 'jack' using MASK_HASH;
- show data mask policy
MySQL [test]> show data mask policy;
+------------+-------------+--------+-----------+------------+--------------+-----------------------+------+------+
| PolicyName | CatalogName | DbName | TableName | ColumnName | DataMaskType | DataMaskDef | User | Role |
+------------+-------------+--------+-----------+------------+--------------+-----------------------+------+------+
| test | internal | test | stu | phone | MASK_DEFAULT | | jack | NULL |
| test1 | internal | test | stu | id | MASK_NULL | NULL | jack | NULL |
| test2 | internal | test | stu | name | MASK_HASH | hex(sha2({col}, 256)) | jack | NULL |
+------------+-------------+--------+-----------+------------+--------------+-----------------------+------+------+
- drop data mask policy
MySQL [test]> drop data mask policy test;
Query OK, 0 rows affected (0.01 sec)
MySQL [test]> show data mask policy;
+------------+-------------+--------+-----------+------------+--------------+-----------------------+------+------+
| PolicyName | CatalogName | DbName | TableName | ColumnName | DataMaskType | DataMaskDef | User | Role |
+------------+-------------+--------+-----------+------------+--------------+-----------------------+------+------+
| test1 | internal | test | stu | id | MASK_NULL | NULL | jack | NULL |
| test2 | internal | test | stu | name | MASK_HASH | hex(sha2({col}, 256)) | jack | NULL |
+------------+-------------+--------+-----------+------------+--------------+-----------------------+------+------+
- explain
MySQL [test]> explain select * from stu;
+------------------------------------------------------------------------------+
| Explain String(Nereids Planner) |
+------------------------------------------------------------------------------+
| PLAN FRAGMENT 0 |
| OUTPUT EXPRS: |
| id[#4] |
| name[#5] |
| phone[#6] |
| birth[#7] |
| PARTITION: UNPARTITIONED |
| |
| HAS_COLO_PLAN_NODE: false |
| |
| VRESULT SINK |
| MYSQL_PROTOCAL |
| |
| 1:VEXCHANGE |
| offset: 0 |
| distribute expr lists: |
| |
| PLAN FRAGMENT 1 |
| |
| PARTITION: HASH_PARTITIONED: id[#0] |
| |
| HAS_COLO_PLAN_NODE: false |
| |
| STREAM DATA SINK |
| EXCHANGE ID: 01 |
| UNPARTITIONED |
| |
| 0:VOlapScanNode(68) |
| TABLE: test.stu(stu), PREAGGREGATION: ON |
| partitions=1/1 (stu) |
| tablets=1/1, tabletList=28797 |
| cardinality=1, avgRowSize=0.0, numNodes=1 |
| pushAggOp=NONE |
| final projections: NULL, hex(sha2(name[#1], 256)), phone[#2], birth[#3] |
| final project output tuple id: 1 |
+------------------------------------------------------------------------------+
Issue Number: close #xxx
Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR
Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.
TPC-H: Total hot run time: 38388 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 9ae811e9e64ebce1ec2fcfedaa276ad160c1162f, data reload: false
------ Round 1 ----------------------------------
q1 17867 4345 4317 4317
q2 2054 227 234 227
q3 11638 952 1092 952
q4 10524 716 721 716
q5 7771 2853 2813 2813
q6 272 165 161 161
q7 1032 674 656 656
q8 9590 2110 2116 2110
q9 8642 6547 6505 6505
q10 7094 2228 2209 2209
q11 500 276 275 275
q12 436 263 258 258
q13 17772 3010 2999 2999
q14 300 261 255 255
q15 576 530 542 530
q16 530 419 418 418
q17 996 734 709 709
q18 7511 6757 6753 6753
q19 6652 1016 1061 1016
q20 729 357 360 357
q21 4311 3205 3108 3108
q22 1130 1059 1044 1044
Total cold run time: 117927 ms
Total hot run time: 38388 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4572 4319 4313 4313
q2 438 312 317 312
q3 2884 2654 2753 2654
q4 1997 1727 1729 1727
q5 5666 5717 5634 5634
q6 259 150 154 150
q7 2134 1762 1757 1757
q8 3262 3469 3477 3469
q9 8762 8815 8735 8735
q10 3592 3352 3292 3292
q11 633 542 521 521
q12 855 682 630 630
q13 16953 3255 3193 3193
q14 321 295 290 290
q15 556 512 516 512
q16 519 452 441 441
q17 1849 1549 1534 1534
q18 8398 7803 7759 7759
q19 9714 1744 1514 1514
q20 2132 1918 1894 1894
q21 13599 5481 5494 5481
q22 1207 1080 1093 1080
Total cold run time: 90302 ms
Total hot run time: 56892 ms
TPC-H: Total hot run time: 37996 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 2b0383da1930218dfb731890284147b74ced8996, data reload: false
------ Round 1 ----------------------------------
q1 17865 4364 4292 4292
q2 2062 204 211 204
q3 11725 965 1196 965
q4 10505 785 709 709
q5 7781 2841 2844 2841
q6 264 161 157 157
q7 1033 651 673 651
q8 9599 2104 2120 2104
q9 8673 6576 6550 6550
q10 7084 2252 2249 2249
q11 518 272 274 272
q12 431 260 261 260
q13 17791 2987 2968 2968
q14 310 258 259 258
q15 560 536 536 536
q16 531 414 418 414
q17 987 669 666 666
q18 7360 6888 6736 6736
q19 5612 1067 1025 1025
q20 727 337 349 337
q21 3878 2775 2787 2775
q22 1106 1027 1039 1027
Total cold run time: 116402 ms
Total hot run time: 37996 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4698 4299 4287 4287
q2 404 318 294 294
q3 2854 2639 2611 2611
q4 1967 1702 1687 1687
q5 5650 5633 5748 5633
q6 233 145 144 144
q7 2188 1742 1750 1742
q8 3273 3512 3513 3512
q9 8778 8747 8714 8714
q10 3541 3382 3335 3335
q11 628 540 521 521
q12 864 664 679 664
q13 17294 3132 3179 3132
q14 318 300 286 286
q15 557 527 513 513
q16 513 442 460 442
q17 1868 1572 1525 1525
q18 8193 7984 7765 7765
q19 8899 1512 1586 1512
q20 2147 1902 1882 1882
q21 12157 5290 5314 5290
q22 1161 1070 1058 1058
Total cold run time: 88185 ms
Total hot run time: 56549 ms
TPC-DS: Total hot run time: 197140 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 2b0383da1930218dfb731890284147b74ced8996, data reload: false
query1 1331 911 891 891
query2 6642 2008 1969 1969
query3 10616 3848 3720 3720
query4 57471 23897 23467 23467
query5 5894 725 708 708
query6 548 211 230 211
query7 6387 338 348 338
query8 543 441 452 441
query9 9303 2591 2545 2545
query10 601 347 335 335
query11 17831 14970 15238 14970
query12 208 140 146 140
query13 1701 427 423 423
query14 11980 7456 7673 7456
query15 250 200 193 193
query16 7539 552 555 552
query17 1175 638 610 610
query18 2067 352 364 352
query19 293 172 169 169
query20 145 144 162 144
query21 251 142 142 142
query22 4546 4386 4276 4276
query23 34579 33956 33741 33741
query24 5854 3073 2982 2982
query25 574 441 436 436
query26 742 186 182 182
query27 1897 306 305 305
query28 3922 2221 2206 2206
query29 735 448 454 448
query30 223 202 189 189
query31 1032 870 865 865
query32 106 82 85 82
query33 537 352 353 352
query34 914 527 517 517
query35 890 805 805 805
query36 1126 989 972 972
query37 160 101 117 101
query38 3899 3870 4010 3870
query39 1564 1484 1442 1442
query40 232 153 156 153
query41 139 138 139 138
query42 143 114 115 114
query43 548 520 506 506
query44 1109 785 802 785
query45 229 197 196 196
query46 1133 778 776 776
query47 1915 1809 1818 1809
query48 414 333 331 331
query49 917 597 599 597
query50 872 464 484 464
query51 6886 6717 6804 6717
query52 122 109 110 109
query53 304 224 226 224
query54 612 512 502 502
query55 89 90 89 89
query56 324 309 324 309
query57 1218 1136 1139 1136
query58 311 313 301 301
query59 3112 2804 2948 2804
query60 363 330 322 322
query61 151 144 143 143
query62 791 707 707 707
query63 265 226 228 226
query64 3365 1845 1841 1841
query65 3251 3173 3154 3154
query66 965 672 717 672
query67 15178 14961 15008 14961
query68 8322 592 579 579
query69 707 459 349 349
query70 1182 1159 1157 1157
query71 562 324 320 320
query72 6765 2323 2060 2060
query73 845 359 352 352
query74 9092 8757 8841 8757
query75 3906 2730 2793 2730
query76 4595 1066 1053 1053
query77 851 505 449 449
query78 11120 9753 12778 9753
query79 8840 574 576 574
query80 1663 625 630 625
query81 620 262 259 259
query82 317 158 158 158
query83 358 212 213 212
query84 302 98 95 95
query85 816 355 367 355
query86 369 320 311 311
query87 4520 4117 4265 4117
query88 4390 2455 2452 2452
query89 443 327 323 323
query90 2304 237 235 235
query91 159 164 127 127
query92 86 80 77 77
query93 1077 556 548 548
query94 1101 331 329 329
query95 386 294 297 294
query96 593 292 290 290
query97 3227 3072 3097 3072
query98 247 233 227 227
query99 1569 1268 1305 1268
Total cold run time: 332368 ms
Total hot run time: 197140 ms
ClickBench: Total hot run time: 31.78 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 2b0383da1930218dfb731890284147b74ced8996, data reload: false
query1 0.05 0.04 0.04
query2 0.09 0.04 0.04
query3 0.24 0.05 0.06
query4 1.66 0.08 0.08
query5 0.48 0.48 0.49
query6 1.14 0.73 0.73
query7 0.02 0.02 0.02
query8 0.05 0.05 0.05
query9 0.56 0.49 0.49
query10 0.54 0.55 0.56
query11 0.16 0.12 0.12
query12 0.15 0.12 0.12
query13 0.63 0.60 0.60
query14 0.78 0.78 0.78
query15 0.87 0.82 0.82
query16 0.36 0.36 0.39
query17 0.98 0.99 0.96
query18 0.23 0.22 0.21
query19 1.91 1.82 1.74
query20 0.01 0.02 0.01
query21 15.40 0.66 0.66
query22 4.78 6.36 2.47
query23 18.34 1.36 1.40
query24 2.10 0.22 0.23
query25 0.15 0.09 0.08
query26 0.32 0.23 0.24
query27 0.47 0.23 0.22
query28 13.30 1.01 1.00
query29 12.64 3.30 3.31
query30 0.39 0.21 0.20
query31 2.82 0.41 0.41
query32 3.23 0.49 0.49
query33 2.96 2.96 2.98
query34 17.16 4.31 4.35
query35 4.40 4.44 4.41
query36 0.66 0.48 0.48
query37 0.22 0.18 0.17
query38 0.17 0.16 0.17
query39 0.06 0.06 0.06
query40 0.18 0.16 0.15
query41 0.12 0.06 0.07
query42 0.08 0.08 0.07
query43 0.07 0.07 0.06
Total cold run time: 110.93 s
Total hot run time: 31.78 s
TPC-H: Total hot run time: 38002 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 4ce03c77373d16e926520b11f85aa2cf1640b82a, data reload: false
------ Round 1 ----------------------------------
q1 17959 4397 4307 4307
q2 2060 212 211 211
q3 11860 977 1120 977
q4 10540 756 728 728
q5 7786 2876 2806 2806
q6 265 164 161 161
q7 1018 661 642 642
q8 9597 2097 2106 2097
q9 8806 6581 6577 6577
q10 7086 2243 2210 2210
q11 517 281 266 266
q12 427 268 257 257
q13 18836 2988 2969 2969
q14 324 263 245 245
q15 549 529 531 529
q16 516 430 410 410
q17 981 640 748 640
q18 7358 6729 6777 6729
q19 6394 1092 1036 1036
q20 719 343 345 343
q21 3961 3169 2821 2821
q22 1144 1041 1061 1041
Total cold run time: 118703 ms
Total hot run time: 38002 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4514 4276 4282 4276
q2 410 309 300 300
q3 2835 2664 2724 2664
q4 1982 1714 1671 1671
q5 5643 5731 5717 5717
q6 242 156 169 156
q7 2212 1796 1801 1796
q8 3316 3519 3476 3476
q9 8778 8785 8756 8756
q10 3614 3343 3343 3343
q11 628 524 535 524
q12 855 668 653 653
q13 17057 3144 3061 3061
q14 315 305 313 305
q15 587 536 539 536
q16 520 494 470 470
q17 1853 1565 1537 1537
q18 8189 7932 7685 7685
q19 9494 1648 1726 1648
q20 2184 1920 1886 1886
q21 12325 5236 5355 5236
q22 1213 1070 1106 1070
Total cold run time: 88766 ms
Total hot run time: 56766 ms
TPC-DS: Total hot run time: 196600 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 4ce03c77373d16e926520b11f85aa2cf1640b82a, data reload: false
query1 1312 909 889 889
query2 6578 2006 1874 1874
query3 10736 4011 3828 3828
query4 59272 24302 23346 23346
query5 6037 732 734 732
query6 555 211 212 211
query7 6452 332 331 331
query8 548 444 436 436
query9 9319 2553 2525 2525
query10 626 354 346 346
query11 18773 15135 15519 15135
query12 207 130 130 130
query13 1711 428 456 428
query14 12504 7610 7291 7291
query15 270 203 198 198
query16 7929 532 514 514
query17 1234 658 625 625
query18 2297 374 348 348
query19 290 197 174 174
query20 160 138 147 138
query21 245 147 164 147
query22 4757 4318 4489 4318
query23 34308 33746 33810 33746
query24 5701 3015 3072 3015
query25 586 441 434 434
query26 732 187 188 187
query27 1840 315 307 307
query28 3978 2204 2126 2126
query29 768 445 459 445
query30 222 179 181 179
query31 1031 837 853 837
query32 121 77 80 77
query33 566 347 343 343
query34 897 501 501 501
query35 863 784 774 774
query36 1115 957 965 957
query37 164 111 102 102
query38 3995 3905 3877 3877
query39 1680 1530 1455 1455
query40 241 160 165 160
query41 140 137 136 136
query42 137 116 119 116
query43 556 507 511 507
query44 1128 800 806 800
query45 227 196 196 196
query46 1133 780 811 780
query47 1908 1863 1878 1863
query48 416 338 331 331
query49 912 582 574 574
query50 863 484 469 469
query51 6845 6778 6805 6778
query52 117 113 113 113
query53 304 228 233 228
query54 614 507 501 501
query55 90 89 91 89
query56 331 325 310 310
query57 1239 1114 1138 1114
query58 303 337 323 323
query59 3076 3008 2850 2850
query60 351 332 335 332
query61 148 143 151 143
query62 795 687 712 687
query63 282 227 228 227
query64 4420 2371 1870 1870
query65 3231 3240 3182 3182
query66 1012 673 669 669
query67 15272 14920 14886 14886
query68 6477 591 586 586
query69 715 428 328 328
query70 1244 1182 1189 1182
query71 541 322 319 319
query72 7045 2305 2075 2075
query73 822 355 366 355
query74 9271 8840 8926 8840
query75 4266 2763 2749 2749
query76 4005 1066 1050 1050
query77 886 443 449 443
query78 9934 8986 9039 8986
query79 6747 566 574 566
query80 1238 631 631 631
query81 605 266 266 266
query82 872 168 167 167
query83 425 217 229 217
query84 321 99 106 99
query85 1048 354 358 354
query86 436 336 303 303
query87 4454 4275 4294 4275
query88 4626 2490 2513 2490
query89 440 324 330 324
query90 2035 232 237 232
query91 155 129 130 129
query92 88 77 76 76
query93 5544 555 549 549
query94 865 286 343 286
query95 395 297 299 297
query96 612 286 284 284
query97 3274 3079 3095 3079
query98 252 230 232 230
query99 1587 1295 1273 1273
Total cold run time: 337695 ms
Total hot run time: 196600 ms
ClickBench: Total hot run time: 31.64 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 4ce03c77373d16e926520b11f85aa2cf1640b82a, data reload: false
query1 0.06 0.05 0.04
query2 0.08 0.05 0.05
query3 0.24 0.06 0.07
query4 1.64 0.09 0.09
query5 0.51 0.49 0.49
query6 1.14 0.73 0.72
query7 0.02 0.02 0.01
query8 0.06 0.05 0.05
query9 0.54 0.49 0.48
query10 0.56 0.53 0.54
query11 0.16 0.12 0.12
query12 0.16 0.13 0.14
query13 0.62 0.60 0.60
query14 0.78 0.79 0.77
query15 0.86 0.82 0.84
query16 0.38 0.39 0.38
query17 1.01 1.00 1.03
query18 0.21 0.21 0.22
query19 1.82 1.78 1.87
query20 0.02 0.01 0.01
query21 15.40 0.66 0.65
query22 4.12 6.97 2.32
query23 18.30 1.47 1.29
query24 2.08 0.24 0.22
query25 0.15 0.08 0.09
query26 0.28 0.19 0.18
query27 0.08 0.09 0.08
query28 13.21 1.04 1.01
query29 12.62 3.35 3.30
query30 0.44 0.26 0.25
query31 2.83 0.41 0.41
query32 3.24 0.50 0.50
query33 2.99 2.94 2.99
query34 16.99 4.37 4.35
query35 4.46 4.49 4.48
query36 0.68 0.49 0.51
query37 0.21 0.18 0.17
query38 0.17 0.17 0.17
query39 0.06 0.06 0.06
query40 0.18 0.15 0.15
query41 0.12 0.07 0.07
query42 0.08 0.07 0.07
query43 0.06 0.07 0.06
Total cold run time: 109.62 s
Total hot run time: 31.64 s
TPC-H: Total hot run time: 38256 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit ab922a92600decac2ca8b14f7729e015620e877d, data reload: false
------ Round 1 ----------------------------------
q1 17900 4325 4275 4275
q2 2058 217 225 217
q3 11772 1031 1221 1031
q4 10528 725 706 706
q5 7778 2829 2857 2829
q6 266 157 158 157
q7 1011 671 658 658
q8 9578 2105 2124 2105
q9 8754 6555 6548 6548
q10 7091 2245 2238 2238
q11 489 276 271 271
q12 439 266 281 266
q13 19005 2985 3019 2985
q14 298 251 253 251
q15 559 524 524 524
q16 526 418 402 402
q17 990 671 744 671
q18 7307 6796 6704 6704
q19 6316 1121 1102 1102
q20 691 351 334 334
q21 4102 2933 2974 2933
q22 1122 1059 1049 1049
Total cold run time: 118580 ms
Total hot run time: 38256 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4514 4282 4227 4227
q2 398 312 290 290
q3 2854 2655 2701 2655
q4 2006 1701 1712 1701
q5 5621 5699 5661 5661
q6 243 155 165 155
q7 2198 1805 1755 1755
q8 3290 3548 3492 3492
q9 8750 8915 8702 8702
q10 3550 3364 3276 3276
q11 650 535 524 524
q12 862 680 638 638
q13 15879 3210 3198 3198
q14 329 295 291 291
q15 561 520 522 520
q16 490 444 441 441
q17 1858 1517 1552 1517
q18 8676 8169 7948 7948
q19 1760 1564 1499 1499
q20 2173 1927 1903 1903
q21 13046 5422 5361 5361
q22 1173 1091 1069 1069
Total cold run time: 80881 ms
Total hot run time: 56823 ms
TPC-H: Total hot run time: 37850 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 97f81fcc30a6d38dfc9786c36ba7a755683492dd, data reload: false
------ Round 1 ----------------------------------
q1 17858 4427 4255 4255
q2 2058 211 216 211
q3 11764 1035 1078 1035
q4 10539 720 711 711
q5 7793 2839 2761 2761
q6 268 157 161 157
q7 1016 652 677 652
q8 9577 2079 2102 2079
q9 8736 6526 6554 6526
q10 7048 2256 2198 2198
q11 502 272 276 272
q12 433 263 263 263
q13 17776 3031 3014 3014
q14 305 262 250 250
q15 550 532 510 510
q16 523 413 410 410
q17 994 676 755 676
q18 7300 6812 6746 6746
q19 6476 1117 1125 1117
q20 667 359 343 343
q21 4299 2868 2660 2660
q22 1105 1014 1004 1004
Total cold run time: 117587 ms
Total hot run time: 37850 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4636 4287 4251 4251
q2 393 300 294 294
q3 2878 2648 2709 2648
q4 1931 1729 1669 1669
q5 5690 5677 5719 5677
q6 243 155 159 155
q7 2196 1794 1793 1793
q8 3292 3534 3459 3459
q9 8797 8708 8762 8708
q10 3595 3349 3323 3323
q11 680 544 530 530
q12 817 691 670 670
q13 17229 3220 3106 3106
q14 317 296 302 296
q15 557 513 512 512
q16 503 463 468 463
q17 1835 1567 1519 1519
q18 8280 7842 7728 7728
q19 8569 1703 1582 1582
q20 2206 1899 1923 1899
q21 13608 5300 5433 5300
q22 1184 1038 1065 1038
Total cold run time: 89436 ms
Total hot run time: 56620 ms
TPC-DS: Total hot run time: 196962 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 97f81fcc30a6d38dfc9786c36ba7a755683492dd, data reload: false
query1 1337 905 872 872
query2 6647 2051 1974 1974
query3 10652 3858 3601 3601
query4 57036 25986 23517 23517
query5 6114 731 723 723
query6 550 219 216 216
query7 6424 347 330 330
query8 546 441 447 441
query9 9356 2522 2508 2508
query10 599 357 339 339
query11 18298 15305 15315 15305
query12 234 135 130 130
query13 1700 461 436 436
query14 11971 7353 7663 7353
query15 279 197 201 197
query16 7146 529 547 529
query17 1148 641 612 612
query18 1897 369 344 344
query19 327 171 172 171
query20 152 137 133 133
query21 250 143 142 142
query22 4404 4432 4425 4425
query23 34637 33569 34045 33569
query24 5895 2974 3002 2974
query25 590 447 440 440
query26 723 193 191 191
query27 1715 309 312 309
query28 3757 2191 2155 2155
query29 722 452 458 452
query30 231 194 196 194
query31 1051 876 867 867
query32 104 77 84 77
query33 524 353 366 353
query34 933 508 546 508
query35 861 791 783 783
query36 1116 948 971 948
query37 158 107 106 106
query38 4004 3890 3828 3828
query39 1497 1492 1464 1464
query40 241 157 154 154
query41 140 137 140 137
query42 134 119 115 115
query43 552 503 518 503
query44 1135 781 802 781
query45 221 196 195 195
query46 1121 793 757 757
query47 1928 1852 1853 1852
query48 404 349 330 330
query49 915 589 584 584
query50 870 476 470 470
query51 7255 7143 7133 7133
query52 121 109 113 109
query53 298 231 231 231
query54 629 519 519 519
query55 91 111 88 88
query56 344 317 319 317
query57 1202 1146 1133 1133
query58 308 310 294 294
query59 3084 2840 2885 2840
query60 360 328 323 323
query61 151 148 147 147
query62 778 701 702 701
query63 260 228 228 228
query64 3340 1859 1876 1859
query65 3269 3201 3218 3201
query66 1060 708 666 666
query67 15396 15160 14978 14978
query68 6282 602 595 595
query69 590 367 326 326
query70 1287 1143 1161 1143
query71 521 326 320 320
query72 6797 2307 2075 2075
query73 819 361 364 361
query74 9343 8888 8751 8751
query75 3657 2728 2713 2713
query76 3319 1118 988 988
query77 766 456 449 449
query78 10015 9094 9064 9064
query79 3890 556 559 556
query80 1512 600 615 600
query81 585 266 260 260
query82 848 166 156 156
query83 372 217 216 216
query84 295 102 102 102
query85 978 359 355 355
query86 454 276 320 276
query87 4483 4219 4222 4219
query88 4706 2510 2516 2510
query89 453 322 354 322
query90 2063 230 225 225
query91 152 126 125 125
query92 93 76 78 76
query93 4906 554 552 552
query94 828 309 325 309
query95 379 293 301 293
query96 638 296 290 290
query97 3243 3054 3072 3054
query98 241 227 227 227
query99 1592 1293 1304 1293
Total cold run time: 327299 ms
Total hot run time: 196962 ms
ClickBench: Total hot run time: 31.57 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 97f81fcc30a6d38dfc9786c36ba7a755683492dd, data reload: false
query1 0.05 0.04 0.04
query2 0.08 0.04 0.04
query3 0.23 0.05 0.06
query4 1.65 0.08 0.08
query5 0.53 0.49 0.49
query6 1.14 0.72 0.74
query7 0.02 0.02 0.02
query8 0.06 0.04 0.05
query9 0.55 0.49 0.50
query10 0.55 0.55 0.55
query11 0.16 0.12 0.12
query12 0.15 0.13 0.13
query13 0.63 0.59 0.58
query14 0.78 0.81 0.78
query15 0.84 0.82 0.84
query16 0.38 0.36 0.38
query17 0.96 1.06 0.98
query18 0.22 0.20 0.21
query19 1.81 1.71 1.76
query20 0.01 0.01 0.02
query21 15.42 0.66 0.65
query22 4.63 6.30 2.47
query23 18.27 1.44 1.32
query24 2.22 0.23 0.22
query25 0.15 0.10 0.09
query26 0.28 0.19 0.18
query27 0.08 0.09 0.08
query28 13.17 1.04 1.02
query29 12.66 3.29 3.28
query30 0.44 0.26 0.24
query31 2.81 0.41 0.40
query32 3.24 0.49 0.48
query33 2.96 2.98 2.93
query34 16.92 4.39 4.36
query35 4.48 4.42 4.42
query36 0.67 0.48 0.50
query37 0.22 0.18 0.18
query38 0.18 0.16 0.16
query39 0.07 0.06 0.06
query40 0.19 0.15 0.16
query41 0.12 0.07 0.06
query42 0.08 0.07 0.07
query43 0.08 0.07 0.06
Total cold run time: 110.14 s
Total hot run time: 31.57 s
PR approved by at least one committer and no changes requested.
![github-actions[bot] avatar](https://avatars.githubusercontent.com/in/15368?v=4 "Published by a pub.dev verified publisher"){kind=small}
we will support
customtype like ranger?
I'll add another pr later. I'm a little busy right now
TPC-H: Total hot run time: 37752 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 738658c3a73a9ce4dee98920146dc3dfe67cd382, data reload: false
------ Round 1 ----------------------------------
q1 17427 4331 4243 4243
q2 2032 183 175 175
q3 11236 1020 1103 1020
q4 10397 760 724 724
q5 7755 2785 2799 2785
q6 222 137 135 135
q7 987 599 598 598
q8 9327 2052 2060 2052
q9 7097 6519 6564 6519
q10 7005 2246 2250 2246
q11 472 244 249 244
q12 393 216 224 216
q13 18945 3079 3009 3009
q14 280 227 240 227
q15 520 493 486 486
q16 493 399 384 384
q17 969 651 689 651
q18 7335 6759 6813 6759
q19 1389 1020 990 990
q20 670 334 319 319
q21 3962 2972 2965 2965
q22 1154 1005 1017 1005
Total cold run time: 110067 ms
Total hot run time: 37752 ms
----- Round 2, with runtime_filter_mode=off -----
q1 4391 4301 4305 4301
q2 377 278 257 257
q3 2875 2677 2678 2677
q4 1920 1607 1680 1607
q5 5532 5696 5685 5685
q6 227 136 140 136
q7 2311 1859 1828 1828
q8 3281 3384 3404 3384
q9 8834 8830 8818 8818
q10 3571 3364 3374 3364
q11 623 525 517 517
q12 812 665 688 665
q13 13716 3191 3157 3157
q14 317 312 301 301
q15 526 508 508 508
q16 486 466 447 447
q17 1822 1528 1518 1518
q18 8095 7709 7717 7709
q19 1723 1556 1568 1556
q20 2175 1916 1924 1916
q21 5773 5519 5618 5519
q22 1205 1118 1046 1046
Total cold run time: 70592 ms
Total hot run time: 56916 ms
TPC-DS: Total hot run time: 191612 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 738658c3a73a9ce4dee98920146dc3dfe67cd382, data reload: false
query1 1241 885 879 879
query2 6294 1914 1920 1914
query3 10573 3985 3922 3922
query4 59912 25191 23317 23317
query5 5446 531 507 507
query6 408 163 166 163
query7 5753 308 306 306
query8 301 205 206 205
query9 8967 2461 2436 2436
query10 516 263 267 263
query11 18020 14912 15140 14912
query12 161 101 100 100
query13 1586 387 407 387
query14 10783 7330 7845 7330
query15 243 175 179 175
query16 7096 469 492 469
query17 1170 566 577 566
query18 1245 310 307 307
query19 290 158 150 150
query20 122 112 112 112
query21 203 107 100 100
query22 4604 4411 4468 4411
query23 34411 33983 33270 33270
query24 6009 2884 2844 2844
query25 547 395 399 395
query26 693 163 160 160
query27 1777 290 280 280
query28 3961 2030 2019 2019
query29 670 430 435 430
query30 238 152 151 151
query31 944 777 749 749
query32 85 56 62 56
query33 457 297 287 287
query34 880 495 480 480
query35 842 734 729 729
query36 1091 945 934 934
query37 139 85 90 85
query38 4016 3867 3855 3855
query39 1475 1399 1401 1399
query40 205 120 124 120
query41 48 49 46 46
query42 114 96 98 96
query43 501 466 463 463
query44 1134 740 758 740
query45 198 167 165 165
query46 1096 796 731 731
query47 1895 1768 1828 1768
query48 365 297 299 297
query49 752 421 437 421
query50 822 421 424 421
query51 7213 7105 6961 6961
query52 104 87 87 87
query53 252 181 179 179
query54 575 455 447 447
query55 76 76 78 76
query56 274 268 262 262
query57 1184 1041 1070 1041
query58 220 219 266 219
query59 2922 2837 2947 2837
query60 293 275 274 274
query61 103 116 101 101
query62 751 672 668 668
query63 225 188 183 183
query64 4207 2281 1764 1764
query65 3248 3193 3156 3156
query66 629 346 335 335
query67 15420 15305 15135 15135
query68 3078 588 589 588
query69 405 282 275 275
query70 1128 1147 1028 1028
query71 336 278 281 278
query72 2741 2135 2032 2032
query73 720 324 375 324
query74 9217 8832 8801 8801
query75 3337 2625 2681 2625
query76 1552 1008 1012 1008
query77 549 314 313 313
query78 9644 9006 9100 9006
query79 1029 546 537 537
query80 686 508 512 508
query81 454 230 228 228
query82 296 140 136 136
query83 172 151 148 148
query84 254 82 75 75
query85 676 301 298 298
query86 313 297 329 297
query87 4500 4320 4192 4192
query88 3083 2377 2349 2349
query89 380 291 283 283
query90 1996 193 200 193
query91 124 125 106 106
query92 61 52 53 52
query93 1064 533 542 533
query94 671 307 300 300
query95 335 264 259 259
query96 587 266 265 265
query97 3240 3054 3091 3054
query98 209 194 204 194
query99 1529 1281 1280 1280
Total cold run time: 302361 ms
Total hot run time: 191612 ms
ClickBench: Total hot run time: 31.53 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 738658c3a73a9ce4dee98920146dc3dfe67cd382, data reload: false
query1 0.05 0.04 0.04
query2 0.08 0.04 0.04
query3 0.22 0.06 0.06
query4 1.67 0.07 0.08
query5 0.50 0.50 0.50
query6 1.13 0.73 0.73
query7 0.02 0.02 0.01
query8 0.05 0.04 0.04
query9 0.56 0.47 0.47
query10 0.53 0.54 0.54
query11 0.16 0.11 0.11
query12 0.15 0.12 0.12
query13 0.63 0.59 0.59
query14 0.78 0.80 0.80
query15 0.84 0.82 0.81
query16 0.37 0.38 0.35
query17 1.05 1.01 1.06
query18 0.21 0.20 0.21
query19 1.82 1.74 1.80
query20 0.01 0.00 0.01
query21 15.41 0.68 0.66
query22 4.21 6.61 2.52
query23 18.27 1.37 1.37
query24 2.09 0.22 0.25
query25 0.14 0.08 0.08
query26 0.27 0.18 0.17
query27 0.09 0.08 0.08
query28 13.22 1.03 1.02
query29 12.61 3.37 3.37
query30 0.25 0.05 0.07
query31 2.86 0.40 0.39
query32 3.25 0.48 0.48
query33 2.99 2.99 3.01
query34 16.91 4.40 4.38
query35 4.42 4.47 4.43
query36 0.66 0.49 0.48
query37 0.19 0.17 0.16
query38 0.16 0.16 0.15
query39 0.04 0.04 0.04
query40 0.16 0.13 0.13
query41 0.09 0.04 0.04
query42 0.06 0.05 0.05
query43 0.05 0.04 0.04
Total cold run time: 109.23 s
Total hot run time: 31.53 s
PR approved by at least one committer and no changes requested.