doris icon indicating copy to clipboard operation
doris copied to clipboard

[refactor](functions) clean some ip functions code and make IS_IP_ADDRESS_IN_RANGE DEPENDS_ON_ARGUMENT

Open zclllyybb opened this issue 9 months ago • 16 comments

Proposed changes

Issue Number: close #xxx

docs pr: https://github.com/apache/doris-website/pull/680

Further comments

If this is a relatively large or complex change, kick off the discussion at [email protected] by explaining why you chose the solution you did and what alternatives you considered, etc...

zclllyybb avatar May 22 '24 15:05 zclllyybb

Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.

doris-robot avatar May 22 '24 15:05 doris-robot

run buildall

zclllyybb avatar May 22 '24 15:05 zclllyybb

clang-tidy review says "All clean, LGTM! :+1:"

github-actions[bot] avatar May 22 '24 15:05 github-actions[bot]

TPC-H: Total hot run time: 39830 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 8cfddb973b08775c1e50bebe8a202d98c9d4ca0d, data reload: false

------ Round 1 ----------------------------------
q1	17998	4342	4329	4329
q2	2617	202	195	195
q3	11069	1162	1142	1142
q4	10463	757	804	757
q5	7496	2659	2702	2659
q6	224	137	139	137
q7	965	605	604	604
q8	9296	2102	2076	2076
q9	8694	6441	6466	6441
q10	8782	3704	3676	3676
q11	463	239	233	233
q12	471	231	220	220
q13	17759	2966	2994	2966
q14	254	218	218	218
q15	507	479	466	466
q16	490	377	378	377
q17	958	684	732	684
q18	8032	7542	7441	7441
q19	6084	1528	1477	1477
q20	668	306	322	306
q21	4983	3152	3196	3152
q22	342	274	280	274
Total cold run time: 118615 ms
Total hot run time: 39830 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4329	4196	4210	4196
q2	364	266	260	260
q3	2924	2793	2713	2713
q4	1832	1566	1567	1566
q5	5236	5232	5225	5225
q6	211	125	126	125
q7	2076	1680	1702	1680
q8	3189	3292	3285	3285
q9	8281	8239	8311	8239
q10	3849	3667	3628	3628
q11	588	507	487	487
q12	794	603	598	598
q13	17436	2966	2982	2966
q14	287	257	276	257
q15	510	471	478	471
q16	472	409	411	409
q17	1778	1466	1468	1466
q18	7613	7646	7664	7646
q19	1646	1562	1536	1536
q20	1962	1760	1764	1760
q21	4921	4778	4697	4697
q22	576	503	488	488
Total cold run time: 70874 ms
Total hot run time: 53698 ms

doris-robot avatar May 22 '24 16:05 doris-robot

TPC-DS: Total hot run time: 170244 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 8cfddb973b08775c1e50bebe8a202d98c9d4ca0d, data reload: false

query1	934	378	375	375
query2	6461	2448	2342	2342
query3	6676	219	214	214
query4	19680	17300	17478	17300
query5	4159	420	421	420
query6	236	153	152	152
query7	4594	296	299	296
query8	237	183	178	178
query9	8604	2370	2348	2348
query10	453	271	267	267
query11	10712	10064	10117	10064
query12	132	89	87	87
query13	1637	371	371	371
query14	10344	7629	7609	7609
query15	233	170	176	170
query16	7940	285	274	274
query17	1830	544	547	544
query18	2031	282	277	277
query19	217	201	163	163
query20	93	85	83	83
query21	196	130	125	125
query22	4301	3973	3920	3920
query23	33575	32970	32962	32962
query24	12069	2821	2852	2821
query25	658	348	369	348
query26	1744	160	164	160
query27	2913	325	321	321
query28	7625	2038	2044	2038
query29	1025	618	607	607
query30	308	174	168	168
query31	1018	784	766	766
query32	86	55	54	54
query33	757	270	261	261
query34	988	480	471	471
query35	773	615	590	590
query36	1075	904	891	891
query37	157	71	70	70
query38	2915	2774	2775	2774
query39	838	786	800	786
query40	271	125	127	125
query41	47	44	44	44
query42	106	98	97	97
query43	583	552	554	552
query44	1220	729	769	729
query45	186	161	166	161
query46	1067	726	703	703
query47	1872	1756	1778	1756
query48	376	293	298	293
query49	1188	395	381	381
query50	763	386	393	386
query51	6819	6853	6862	6853
query52	99	90	91	90
query53	360	284	287	284
query54	1002	452	425	425
query55	73	76	74	74
query56	263	247	241	241
query57	1130	1023	1031	1023
query58	241	220	208	208
query59	3394	3354	3179	3179
query60	284	261	302	261
query61	90	86	87	86
query62	675	456	476	456
query63	312	294	288	288
query64	9804	2231	1782	1782
query65	3146	3065	3074	3065
query66	1395	326	322	322
query67	15230	14845	14769	14769
query68	5760	532	551	532
query69	490	273	276	273
query70	1196	1128	1114	1114
query71	452	268	266	266
query72	7968	5570	2729	2729
query73	761	325	322	322
query74	6024	5719	5576	5576
query75	3802	2636	2647	2636
query76	3494	1018	913	913
query77	623	271	268	268
query78	10219	10049	9754	9754
query79	3369	545	511	511
query80	2099	442	474	442
query81	529	239	254	239
query82	1491	104	99	99
query83	340	175	177	175
query84	263	85	86	85
query85	1576	276	266	266
query86	485	296	317	296
query87	3290	3144	3085	3085
query88	4123	2356	2339	2339
query89	504	386	378	378
query90	2000	188	185	185
query91	129	96	101	96
query92	64	47	51	47
query93	4496	517	496	496
query94	1218	205	185	185
query95	400	314	304	304
query96	591	277	267	267
query97	3243	3020	3078	3020
query98	241	229	222	222
query99	1223	824	858	824
Total cold run time: 284683 ms
Total hot run time: 170244 ms

doris-robot avatar May 22 '24 16:05 doris-robot

ClickBench: Total hot run time: 29.73 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 8cfddb973b08775c1e50bebe8a202d98c9d4ca0d, data reload: false

query1	0.04	0.04	0.03
query2	0.09	0.04	0.04
query3	0.23	0.05	0.05
query4	1.69	0.07	0.07
query5	0.49	0.50	0.50
query6	1.12	0.71	0.72
query7	0.02	0.01	0.02
query8	0.05	0.04	0.04
query9	0.52	0.48	0.49
query10	0.54	0.54	0.54
query11	0.16	0.11	0.11
query12	0.14	0.12	0.12
query13	0.58	0.59	0.59
query14	0.75	0.78	0.77
query15	0.82	0.82	0.81
query16	0.37	0.37	0.34
query17	0.99	1.01	0.95
query18	0.21	0.25	0.24
query19	1.76	1.71	1.65
query20	0.01	0.01	0.01
query21	15.57	0.67	0.66
query22	5.00	7.26	1.29
query23	18.29	1.43	1.26
query24	1.54	0.34	0.20
query25	0.15	0.08	0.08
query26	0.26	0.17	0.17
query27	0.08	0.08	0.08
query28	13.39	1.01	0.99
query29	13.17	3.30	3.24
query30	0.24	0.06	0.05
query31	2.86	0.38	0.37
query32	3.30	0.48	0.47
query33	2.88	2.87	2.92
query34	17.26	4.40	4.44
query35	4.48	4.52	4.49
query36	0.65	0.46	0.47
query37	0.18	0.15	0.15
query38	0.16	0.16	0.15
query39	0.04	0.03	0.04
query40	0.16	0.15	0.14
query41	0.09	0.05	0.05
query42	0.06	0.04	0.05
query43	0.04	0.03	0.04
Total cold run time: 110.43 s
Total hot run time: 29.73 s

doris-robot avatar May 22 '24 16:05 doris-robot

run buildall

zclllyybb avatar May 22 '24 17:05 zclllyybb

clang-tidy review says "All clean, LGTM! :+1:"

github-actions[bot] avatar May 22 '24 17:05 github-actions[bot]

TeamCity be ut coverage result: Function Coverage: 35.66% (9013/25276) Line Coverage: 27.31% (74508/272840) Region Coverage: 26.54% (38552/145286) Branch Coverage: 23.39% (19665/84066) Coverage Report: http://coverage.selectdb-in.cc/coverage/fbeebf4b5ed5be3be2a6b7e2a4899ef229c8ea66_fbeebf4b5ed5be3be2a6b7e2a4899ef229c8ea66/report/index.html

doris-robot avatar May 22 '24 17:05 doris-robot

TPC-H: Total hot run time: 41004 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit fbeebf4b5ed5be3be2a6b7e2a4899ef229c8ea66, data reload: false

------ Round 1 ----------------------------------
q1	17730	4494	4263	4263
q2	2019	183	202	183
q3	10538	1213	1139	1139
q4	10175	826	714	714
q5	7527	2774	2753	2753
q6	217	129	131	129
q7	984	607	613	607
q8	9283	2195	2152	2152
q9	9246	6724	6782	6724
q10	9083	3786	3879	3786
q11	466	234	238	234
q12	517	227	230	227
q13	18856	3184	3189	3184
q14	273	231	221	221
q15	509	464	467	464
q16	525	399	393	393
q17	1011	757	676	676
q18	8523	7997	7754	7754
q19	2743	1561	1593	1561
q20	662	320	330	320
q21	5203	3889	3244	3244
q22	355	276	280	276
Total cold run time: 116445 ms
Total hot run time: 41004 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4519	4444	4256	4256
q2	370	271	274	271
q3	2997	2828	2712	2712
q4	1857	1574	1554	1554
q5	5306	5236	5290	5236
q6	215	123	126	123
q7	2151	1792	1672	1672
q8	3211	3363	3340	3340
q9	8426	8349	8436	8349
q10	3908	3713	3621	3621
q11	570	502	481	481
q12	776	613	589	589
q13	16351	3009	3014	3009
q14	277	270	255	255
q15	512	472	471	471
q16	481	417	450	417
q17	1760	1478	1443	1443
q18	7708	7578	7446	7446
q19	1672	1550	1512	1512
q20	2034	1768	1749	1749
q21	7507	4689	4708	4689
q22	569	484	469	469
Total cold run time: 73177 ms
Total hot run time: 53664 ms

doris-robot avatar May 23 '24 04:05 doris-robot

TPC-DS: Total hot run time: 169566 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit fbeebf4b5ed5be3be2a6b7e2a4899ef229c8ea66, data reload: false

query1	918	384	378	378
query2	6444	2382	2459	2382
query3	6638	206	207	206
query4	19462	17423	17253	17253
query5	4097	413	423	413
query6	263	164	147	147
query7	4578	307	293	293
query8	234	189	178	178
query9	8515	2384	2346	2346
query10	456	277	267	267
query11	10538	9998	10040	9998
query12	141	93	90	90
query13	1645	376	370	370
query14	8552	7501	7551	7501
query15	210	175	176	175
query16	7888	275	277	275
query17	1695	547	555	547
query18	1994	317	275	275
query19	206	153	152	152
query20	94	87	84	84
query21	197	128	128	128
query22	4302	4054	3891	3891
query23	33642	33215	33060	33060
query24	10457	2952	2834	2834
query25	573	359	356	356
query26	706	152	154	152
query27	2187	307	318	307
query28	6013	2037	2052	2037
query29	848	617	596	596
query30	317	174	172	172
query31	979	758	734	734
query32	90	51	52	51
query33	699	271	269	269
query34	876	483	474	474
query35	742	598	581	581
query36	1058	897	944	897
query37	110	71	74	71
query38	2915	2792	2749	2749
query39	880	785	805	785
query40	197	129	124	124
query41	50	44	44	44
query42	102	95	96	95
query43	629	566	569	566
query44	1116	728	728	728
query45	184	170	164	164
query46	1076	718	690	690
query47	1864	1760	1758	1758
query48	361	287	297	287
query49	934	382	378	378
query50	760	372	391	372
query51	6863	6844	6718	6718
query52	100	92	90	90
query53	351	292	286	286
query54	883	428	416	416
query55	74	72	75	72
query56	263	251	248	248
query57	1109	1025	1064	1025
query58	233	214	207	207
query59	3536	3186	3143	3143
query60	271	246	256	246
query61	91	86	91	86
query62	627	457	446	446
query63	308	282	290	282
query64	8522	2195	1782	1782
query65	3142	3088	3070	3070
query66	799	332	345	332
query67	15084	14806	14716	14716
query68	4544	533	535	533
query69	437	269	267	267
query70	1184	1160	1086	1086
query71	382	267	265	265
query72	7345	2721	2543	2543
query73	720	326	323	323
query74	5975	5584	5601	5584
query75	3353	2620	2596	2596
query76	2664	998	1007	998
query77	402	261	267	261
query78	10256	10012	9806	9806
query79	2177	506	510	506
query80	1021	488	422	422
query81	540	246	242	242
query82	646	96	90	90
query83	240	186	184	184
query84	247	84	82	82
query85	1792	266	255	255
query86	532	296	301	296
query87	3308	3075	3127	3075
query88	4173	2350	2334	2334
query89	491	399	375	375
query90	2033	183	182	182
query91	173	95	96	95
query92	64	48	46	46
query93	2194	513	492	492
query94	1226	178	181	178
query95	402	300	308	300
query96	592	270	263	263
query97	3201	2992	3029	2992
query98	234	217	217	217
query99	1206	861	833	833
Total cold run time: 265442 ms
Total hot run time: 169566 ms

doris-robot avatar May 23 '24 05:05 doris-robot

TPC-H: Total hot run time: 42273 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit fbeebf4b5ed5be3be2a6b7e2a4899ef229c8ea66, data reload: false

------ Round 1 ----------------------------------
q1	17595	4626	4239	4239
q2	2019	193	194	193
q3	10502	1286	1264	1264
q4	10209	880	805	805
q5	7487	2836	2788	2788
q6	220	130	132	130
q7	962	601	620	601
q8	9233	2179	2107	2107
q9	9129	6756	6720	6720
q10	9524	3870	3930	3870
q11	448	246	238	238
q12	457	227	222	222
q13	18104	3205	3269	3205
q14	252	211	216	211
q15	498	472	471	471
q16	500	426	394	394
q17	981	781	731	731
q18	8576	7947	7865	7865
q19	4615	1586	1563	1563
q20	649	329	330	329
q21	5199	4103	4044	4044
q22	358	283	284	283
Total cold run time: 117517 ms
Total hot run time: 42273 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4571	4424	4390	4390
q2	387	289	269	269
q3	3181	3019	2815	2815
q4	1895	1577	1677	1577
q5	5511	5527	5512	5512
q6	223	125	126	125
q7	2156	1806	1844	1806
q8	3237	3397	3392	3392
q9	8758	8729	8619	8619
q10	3943	3813	3851	3813
q11	591	520	506	506
q12	786	635	694	635
q13	15853	3167	3163	3163
q14	286	270	265	265
q15	527	473	484	473
q16	496	432	425	425
q17	1789	1499	1464	1464
q18	7796	7648	7482	7482
q19	1658	1537	1584	1537
q20	2035	1790	1808	1790
q21	8725	4800	4698	4698
q22	557	494	482	482
Total cold run time: 74961 ms
Total hot run time: 55238 ms

doris-robot avatar May 23 '24 05:05 doris-robot

ClickBench: Total hot run time: 30.89 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit fbeebf4b5ed5be3be2a6b7e2a4899ef229c8ea66, data reload: false

query1	0.03	0.03	0.03
query2	0.09	0.04	0.04
query3	0.22	0.05	0.05
query4	1.67	0.10	0.09
query5	0.50	0.50	0.52
query6	1.13	0.72	0.72
query7	0.02	0.02	0.02
query8	0.06	0.04	0.04
query9	0.54	0.49	0.48
query10	0.54	0.54	0.55
query11	0.15	0.11	0.11
query12	0.14	0.12	0.11
query13	0.59	0.58	0.59
query14	0.82	0.77	0.80
query15	0.84	0.80	0.82
query16	0.37	0.36	0.37
query17	0.99	1.01	0.99
query18	0.20	0.27	0.23
query19	1.87	1.69	1.77
query20	0.01	0.01	0.01
query21	15.44	0.70	0.67
query22	4.67	6.55	2.20
query23	18.29	1.42	1.29
query24	1.84	0.21	0.23
query25	0.14	0.10	0.08
query26	0.26	0.16	0.15
query27	0.08	0.08	0.08
query28	13.36	1.02	1.00
query29	12.85	3.33	3.31
query30	0.24	0.05	0.07
query31	2.86	0.39	0.39
query32	3.28	0.47	0.47
query33	2.90	2.90	2.90
query34	17.01	4.45	4.46
query35	4.49	4.46	4.60
query36	0.64	0.45	0.46
query37	0.18	0.15	0.16
query38	0.15	0.15	0.14
query39	0.05	0.03	0.03
query40	0.16	0.15	0.14
query41	0.09	0.05	0.04
query42	0.05	0.04	0.04
query43	0.04	0.03	0.04
Total cold run time: 109.85 s
Total hot run time: 30.89 s

doris-robot avatar May 23 '24 05:05 doris-robot

TPC-DS: Total hot run time: 168684 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit fbeebf4b5ed5be3be2a6b7e2a4899ef229c8ea66, data reload: false

query1	923	394	364	364
query2	6445	2436	2461	2436
query3	6652	210	217	210
query4	19350	17190	17138	17138
query5	4200	413	409	409
query6	245	154	149	149
query7	4587	295	289	289
query8	236	184	186	184
query9	8394	2345	2350	2345
query10	444	273	250	250
query11	10563	10148	10061	10061
query12	149	93	87	87
query13	1643	397	364	364
query14	8448	6960	6528	6528
query15	210	171	170	170
query16	7658	262	258	258
query17	1310	511	511	511
query18	1942	275	267	267
query19	199	164	153	153
query20	96	83	85	83
query21	193	131	125	125
query22	4204	4015	3816	3816
query23	33814	33146	33032	33032
query24	7250	2825	2785	2785
query25	566	355	371	355
query26	705	152	158	152
query27	2172	320	326	320
query28	4493	2028	2037	2028
query29	846	614	635	614
query30	242	169	174	169
query31	966	758	740	740
query32	90	52	54	52
query33	506	274	258	258
query34	845	475	466	466
query35	698	603	605	603
query36	1059	943	888	888
query37	105	71	68	68
query38	2889	2795	2798	2795
query39	823	789	800	789
query40	193	126	122	122
query41	47	43	45	43
query42	104	93	91	91
query43	575	570	552	552
query44	1039	719	741	719
query45	185	163	158	158
query46	1065	705	721	705
query47	1875	1774	1783	1774
query48	365	289	300	289
query49	871	370	376	370
query50	768	374	385	374
query51	6896	6864	6875	6864
query52	104	93	88	88
query53	346	276	273	273
query54	519	426	412	412
query55	74	71	70	70
query56	253	244	244	244
query57	1124	1030	1030	1030
query58	233	230	208	208
query59	3388	3213	3241	3213
query60	275	252	257	252
query61	88	116	88	88
query62	593	448	466	448
query63	307	281	280	280
query64	8441	2219	1705	1705
query65	3153	3108	3145	3108
query66	806	325	330	325
query67	15182	14885	14693	14693
query68	4536	526	536	526
query69	438	265	262	262
query70	1204	1064	1142	1064
query71	353	268	262	262
query72	6886	5342	2706	2706
query73	711	320	321	320
query74	5948	5623	5608	5608
query75	3264	2601	2592	2592
query76	2321	1033	992	992
query77	390	262	261	261
query78	10275	9822	9791	9791
query79	1759	516	518	516
query80	1103	425	443	425
query81	548	247	244	244
query82	949	97	97	97
query83	248	175	169	169
query84	248	91	87	87
query85	1076	267	256	256
query86	437	304	290	290
query87	3279	3086	3178	3086
query88	3173	2322	2318	2318
query89	477	385	383	383
query90	2038	187	181	181
query91	123	97	94	94
query92	59	46	47	46
query93	2054	511	496	496
query94	1152	183	179	179
query95	398	303	310	303
query96	602	269	265	265
query97	3170	3003	3067	3003
query98	245	234	218	218
query99	1129	835	848	835
Total cold run time: 255622 ms
Total hot run time: 168684 ms

doris-robot avatar May 23 '24 05:05 doris-robot

ClickBench: Total hot run time: 31.04 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit fbeebf4b5ed5be3be2a6b7e2a4899ef229c8ea66, data reload: false

query1	0.04	0.04	0.04
query2	0.08	0.04	0.04
query3	0.23	0.05	0.05
query4	1.68	0.09	0.08
query5	0.50	0.49	0.51
query6	1.12	0.72	0.72
query7	0.02	0.01	0.02
query8	0.05	0.05	0.04
query9	0.53	0.50	0.50
query10	0.54	0.55	0.54
query11	0.15	0.11	0.11
query12	0.15	0.12	0.12
query13	0.60	0.59	0.60
query14	0.78	0.77	0.77
query15	0.83	0.80	0.80
query16	0.37	0.37	0.38
query17	0.94	0.97	0.94
query18	0.22	0.25	0.22
query19	1.77	1.65	1.68
query20	0.01	0.02	0.01
query21	15.54	0.67	0.65
query22	3.85	7.30	2.46
query23	18.29	1.35	1.29
query24	1.58	0.31	0.22
query25	0.16	0.09	0.08
query26	0.26	0.17	0.16
query27	0.08	0.08	0.08
query28	13.40	1.01	0.99
query29	13.02	3.33	3.26
query30	0.24	0.07	0.05
query31	2.87	0.38	0.40
query32	3.27	0.47	0.47
query33	2.89	2.92	3.00
query34	17.02	4.45	4.40
query35	4.50	4.51	4.48
query36	0.69	0.49	0.49
query37	0.17	0.16	0.15
query38	0.15	0.15	0.16
query39	0.05	0.03	0.04
query40	0.16	0.14	0.13
query41	0.09	0.05	0.04
query42	0.06	0.04	0.04
query43	0.03	0.03	0.04
Total cold run time: 108.98 s
Total hot run time: 31.04 s

doris-robot avatar May 23 '24 05:05 doris-robot