doris icon indicating copy to clipboard operation
doris copied to clipboard

[opt](function)Optimize the array-element_at function.

Open Mryange opened this issue 1 year ago • 18 comments

Proposed changes

This is just a minor optimization, changing column to columnint64.

Mryange avatar Aug 28 '24 09:08 Mryange

Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.

doris-robot avatar Aug 28 '24 09:08 doris-robot

run buildall

Mryange avatar Aug 28 '24 09:08 Mryange

clang-tidy review says "All clean, LGTM! :+1:"

github-actions[bot] avatar Aug 28 '24 09:08 github-actions[bot]

TPC-H: Total hot run time: 37942 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 670a74a266b9ae85657cde1dc244dd983fde2f5f, data reload: false

------ Round 1 ----------------------------------
q1	17662	4382	4297	4297
q2	2024	181	175	175
q3	11707	980	1058	980
q4	10539	748	718	718
q5	7796	2818	2825	2818
q6	225	136	134	134
q7	971	608	586	586
q8	9316	2069	2097	2069
q9	7220	6514	6543	6514
q10	6999	2203	2154	2154
q11	465	244	241	241
q12	400	222	222	222
q13	17763	3038	3013	3013
q14	278	245	241	241
q15	535	484	486	484
q16	583	487	496	487
q17	971	619	755	619
q18	7253	7008	6838	6838
q19	1394	1024	1041	1024
q20	666	342	338	338
q21	3841	3190	2967	2967
q22	1122	1057	1023	1023
Total cold run time: 109730 ms
Total hot run time: 37942 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4339	4282	4233	4233
q2	377	270	274	270
q3	2953	2665	2648	2648
q4	1930	1622	1637	1622
q5	5524	5698	5738	5698
q6	234	148	144	144
q7	2274	1856	1849	1849
q8	3305	3432	3437	3432
q9	8837	8859	8842	8842
q10	3556	3414	3385	3385
q11	599	504	513	504
q12	847	680	692	680
q13	15920	3105	3240	3105
q14	327	283	298	283
q15	543	500	494	494
q16	650	573	586	573
q17	1851	1559	1507	1507
q18	8187	7965	7961	7961
q19	1712	1633	1509	1509
q20	2149	1901	1949	1901
q21	5738	5404	5380	5380
q22	1134	1086	1063	1063
Total cold run time: 72986 ms
Total hot run time: 57083 ms

doris-robot avatar Aug 28 '24 10:08 doris-robot

TPC-DS: Total hot run time: 192428 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 670a74a266b9ae85657cde1dc244dd983fde2f5f, data reload: false

query1	1257	896	875	875
query2	6334	1903	1872	1872
query3	10600	4078	4055	4055
query4	59266	24415	23322	23322
query5	5590	498	492	492
query6	430	167	160	160
query7	6011	300	306	300
query8	300	216	207	207
query9	8810	2494	2503	2494
query10	505	276	265	265
query11	18174	15045	15208	15045
query12	155	102	105	102
query13	1565	413	399	399
query14	10513	6910	7354	6910
query15	241	177	178	177
query16	7746	477	495	477
query17	1139	601	621	601
query18	2090	296	300	296
query19	301	153	155	153
query20	125	111	117	111
query21	211	102	103	102
query22	4738	4483	4524	4483
query23	34729	34241	33407	33407
query24	5884	2920	2877	2877
query25	536	364	379	364
query26	690	157	151	151
query27	1803	281	280	280
query28	3736	2130	2097	2097
query29	713	400	397	397
query30	241	157	168	157
query31	912	731	773	731
query32	79	52	56	52
query33	456	286	283	283
query34	859	480	474	474
query35	853	742	708	708
query36	1051	960	967	960
query37	146	89	90	89
query38	3875	3779	3912	3779
query39	1462	1387	1383	1383
query40	201	113	114	113
query41	47	45	44	44
query42	115	93	95	93
query43	507	483	470	470
query44	1084	736	736	736
query45	200	178	164	164
query46	1089	738	787	738
query47	1881	1804	1833	1804
query48	375	296	300	296
query49	751	414	430	414
query50	827	408	416	408
query51	7122	6958	7000	6958
query52	97	87	88	87
query53	249	180	182	180
query54	557	448	448	448
query55	75	76	76	76
query56	283	250	259	250
query57	1198	1113	1070	1070
query58	223	253	225	225
query59	3071	2779	2735	2735
query60	290	265	271	265
query61	102	98	96	96
query62	754	647	645	645
query63	223	215	185	185
query64	2843	660	644	644
query65	3232	3166	3164	3164
query66	627	330	337	330
query67	15496	15289	15514	15289
query68	3119	573	567	567
query69	388	285	286	285
query70	1169	1107	1056	1056
query71	329	269	275	269
query72	5427	4030	4056	4030
query73	752	328	334	328
query74	9091	8746	8689	8689
query75	3381	2678	2698	2678
query76	1406	1000	1049	1000
query77	547	311	321	311
query78	9653	9095	9023	9023
query79	1029	552	530	530
query80	678	501	495	495
query81	473	241	234	234
query82	241	148	144	144
query83	167	147	145	145
query84	254	78	76	76
query85	687	284	277	277
query86	359	278	296	278
query87	4326	4316	4174	4174
query88	3053	2328	2317	2317
query89	374	286	284	284
query90	2012	194	188	188
query91	122	96	97	96
query92	58	52	49	49
query93	1027	527	538	527
query94	672	298	292	292
query95	329	264	264	264
query96	584	272	267	267
query97	3254	3097	3103	3097
query98	229	213	205	205
query99	1528	1295	1239	1239
Total cold run time: 304363 ms
Total hot run time: 192428 ms

doris-robot avatar Aug 28 '24 10:08 doris-robot

ClickBench: Total hot run time: 32.32 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 670a74a266b9ae85657cde1dc244dd983fde2f5f, data reload: false

query1	0.04	0.05	0.04
query2	0.07	0.03	0.04
query3	0.22	0.06	0.05
query4	1.67	0.07	0.08
query5	0.49	0.48	0.49
query6	1.13	0.73	0.73
query7	0.01	0.01	0.01
query8	0.05	0.04	0.05
query9	0.54	0.46	0.48
query10	0.55	0.54	0.53
query11	0.15	0.12	0.12
query12	0.14	0.12	0.11
query13	0.61	0.58	0.59
query14	2.03	2.06	2.12
query15	0.85	0.80	0.82
query16	0.35	0.36	0.36
query17	1.01	1.06	1.06
query18	0.22	0.21	0.19
query19	1.82	1.79	1.73
query20	0.01	0.01	0.01
query21	15.40	0.68	0.66
query22	4.33	6.94	2.29
query23	18.25	1.30	1.34
query24	2.07	0.24	0.24
query25	0.15	0.08	0.08
query26	0.27	0.18	0.17
query27	0.08	0.07	0.08
query28	13.23	1.01	0.99
query29	12.64	3.36	3.32
query30	0.24	0.05	0.05
query31	2.90	0.40	0.40
query32	3.24	0.48	0.48
query33	2.99	2.96	2.99
query34	17.11	4.41	4.37
query35	4.46	4.40	4.44
query36	0.66	0.48	0.48
query37	0.19	0.16	0.16
query38	0.16	0.15	0.16
query39	0.05	0.04	0.04
query40	0.16	0.13	0.12
query41	0.10	0.04	0.06
query42	0.06	0.05	0.05
query43	0.05	0.04	0.04
Total cold run time: 110.75 s
Total hot run time: 32.32 s

doris-robot avatar Aug 28 '24 10:08 doris-robot

run buildall

Mryange avatar Aug 28 '24 10:08 Mryange

clang-tidy review says "All clean, LGTM! :+1:"

github-actions[bot] avatar Aug 28 '24 10:08 github-actions[bot]

TPC-H: Total hot run time: 38304 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 38f64df520211180feb86f46e37eada1080d584b, data reload: false

------ Round 1 ----------------------------------
q1	17625	4388	4281	4281
q2	2013	176	177	176
q3	10550	1263	1081	1081
q4	10261	755	809	755
q5	7801	2931	2810	2810
q6	229	142	141	141
q7	980	633	626	626
q8	9751	2102	2102	2102
q9	7439	6686	6551	6551
q10	7009	2258	2220	2220
q11	444	247	249	247
q12	397	223	221	221
q13	17783	3023	3017	3017
q14	270	240	252	240
q15	518	491	489	489
q16	575	511	490	490
q17	957	678	682	678
q18	7472	6923	6871	6871
q19	1390	1061	1025	1025
q20	692	343	336	336
q21	4325	2931	3030	2931
q22	1125	1016	1045	1016
Total cold run time: 109606 ms
Total hot run time: 38304 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4327	4294	4280	4280
q2	372	285	279	279
q3	2915	2692	2667	2667
q4	1924	1671	1649	1649
q5	5385	5371	5367	5367
q6	215	131	130	130
q7	2090	1742	1779	1742
q8	3203	3381	3355	3355
q9	8372	8377	8389	8377
q10	3470	3190	3183	3183
q11	606	501	503	501
q12	802	622	627	622
q13	11153	3083	3041	3041
q14	307	275	276	275
q15	522	492	484	484
q16	642	559	577	559
q17	1781	1486	1489	1486
q18	7849	7452	7406	7406
q19	1644	1485	1471	1471
q20	2073	1854	1821	1821
q21	5582	5322	5267	5267
q22	1118	1020	1032	1020
Total cold run time: 66352 ms
Total hot run time: 54982 ms

doris-robot avatar Aug 28 '24 11:08 doris-robot

TPC-DS: Total hot run time: 188420 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 38f64df520211180feb86f46e37eada1080d584b, data reload: false

query1	918	377	367	367
query2	6458	2001	2000	2000
query3	6639	214	222	214
query4	34271	23167	23115	23115
query5	4149	500	493	493
query6	260	169	171	169
query7	4581	305	296	296
query8	268	218	204	204
query9	8766	2487	2492	2487
query10	439	268	265	265
query11	16644	15004	14991	14991
query12	156	99	104	99
query13	1615	385	403	385
query14	9867	7091	7214	7091
query15	267	171	176	171
query16	7987	441	474	441
query17	1595	563	557	557
query18	2081	304	297	297
query19	322	152	152	152
query20	116	111	113	111
query21	212	110	107	107
query22	4407	4218	4008	4008
query23	34067	33541	33594	33541
query24	11237	2931	2934	2931
query25	640	401	399	399
query26	1183	162	161	161
query27	2785	290	286	286
query28	7633	2141	2124	2124
query29	818	431	425	425
query30	308	169	157	157
query31	983	786	794	786
query32	97	61	63	61
query33	770	291	296	291
query34	979	491	496	491
query35	878	745	729	729
query36	1104	945	944	944
query37	165	106	98	98
query38	3890	3821	3817	3817
query39	1450	1391	1382	1382
query40	204	122	120	120
query41	49	48	46	46
query42	112	98	97	97
query43	539	474	485	474
query44	1215	753	760	753
query45	201	174	176	174
query46	1111	754	749	749
query47	1867	1797	1786	1786
query48	384	300	295	295
query49	1104	438	437	437
query50	803	404	421	404
query51	7273	7163	6969	6969
query52	99	91	104	91
query53	258	188	183	183
query54	991	457	472	457
query55	82	79	82	79
query56	289	262	255	255
query57	1220	1064	1092	1064
query58	237	248	253	248
query59	2968	2888	2799	2799
query60	312	278	271	271
query61	120	119	120	119
query62	853	651	667	651
query63	230	195	187	187
query64	5465	703	654	654
query65	3248	3170	3116	3116
query66	1445	332	331	331
query67	15692	15451	15417	15417
query68	4602	567	568	567
query69	493	275	272	272
query70	1142	1131	1069	1069
query71	430	269	281	269
query72	7345	4027	4001	4001
query73	761	328	341	328
query74	9235	8851	8870	8851
query75	3829	2647	2687	2647
query76	3167	992	930	930
query77	532	315	305	305
query78	10487	9363	9129	9129
query79	2376	540	561	540
query80	877	512	493	493
query81	586	236	231	231
query82	771	148	149	148
query83	253	154	148	148
query84	235	78	79	78
query85	1352	288	271	271
query86	467	281	278	278
query87	4413	4156	4196	4156
query88	3636	2353	2329	2329
query89	385	292	295	292
query90	1916	194	195	194
query91	127	102	111	102
query92	66	51	50	50
query93	1451	551	538	538
query94	946	330	287	287
query95	353	259	257	257
query96	597	271	267	267
query97	3181	3077	3062	3062
query98	224	213	203	203
query99	1594	1281	1259	1259
Total cold run time: 297205 ms
Total hot run time: 188420 ms

doris-robot avatar Aug 28 '24 11:08 doris-robot

ClickBench: Total hot run time: 32.48 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 38f64df520211180feb86f46e37eada1080d584b, data reload: false

query1	0.05	0.04	0.04
query2	0.08	0.04	0.04
query3	0.23	0.05	0.05
query4	1.69	0.07	0.08
query5	0.49	0.48	0.50
query6	1.13	0.73	0.73
query7	0.02	0.02	0.02
query8	0.05	0.04	0.04
query9	0.55	0.50	0.50
query10	0.54	0.55	0.54
query11	0.16	0.11	0.11
query12	0.15	0.12	0.11
query13	0.61	0.58	0.58
query14	2.04	2.12	2.06
query15	0.89	0.83	0.81
query16	0.36	0.35	0.38
query17	0.97	1.01	0.97
query18	0.21	0.21	0.20
query19	1.86	1.90	1.82
query20	0.02	0.01	0.01
query21	15.40	0.66	0.65
query22	4.18	6.63	2.51
query23	18.30	1.36	1.21
query24	2.12	0.24	0.22
query25	0.16	0.07	0.08
query26	0.26	0.19	0.18
query27	0.07	0.07	0.07
query28	13.27	1.02	1.01
query29	12.65	3.36	3.35
query30	0.24	0.06	0.06
query31	2.86	0.42	0.38
query32	3.24	0.48	0.46
query33	2.95	3.02	2.97
query34	17.05	4.34	4.34
query35	4.46	4.43	4.40
query36	0.66	0.47	0.49
query37	0.19	0.16	0.16
query38	0.16	0.15	0.14
query39	0.05	0.04	0.04
query40	0.16	0.14	0.13
query41	0.09	0.05	0.04
query42	0.06	0.05	0.05
query43	0.05	0.04	0.05
Total cold run time: 110.73 s
Total hot run time: 32.48 s

doris-robot avatar Aug 28 '24 11:08 doris-robot

run buildall

Mryange avatar Aug 28 '24 11:08 Mryange

clang-tidy review says "All clean, LGTM! :+1:"

github-actions[bot] avatar Aug 28 '24 12:08 github-actions[bot]

run buildall

Mryange avatar Aug 28 '24 12:08 Mryange

clang-tidy review says "All clean, LGTM! :+1:"

github-actions[bot] avatar Aug 28 '24 12:08 github-actions[bot]

TPC-H: Total hot run time: 38253 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit fef30c25ebeea3b957fa326719750fc5b9c6e432, data reload: false

------ Round 1 ----------------------------------
q1	17627	4557	4330	4330
q2	2030	178	172	172
q3	10508	1162	1051	1051
q4	10147	723	725	723
q5	7730	2868	2848	2848
q6	230	138	139	138
q7	989	617	620	617
q8	9907	2078	2050	2050
q9	7403	6538	6497	6497
q10	7039	2238	2187	2187
q11	452	250	245	245
q12	405	221	219	219
q13	17782	3031	3073	3031
q14	269	240	248	240
q15	521	484	488	484
q16	607	496	505	496
q17	974	693	775	693
q18	7253	6950	6902	6902
q19	1385	1054	1032	1032
q20	683	357	342	342
q21	3954	3041	2908	2908
q22	1127	1051	1048	1048
Total cold run time: 109022 ms
Total hot run time: 38253 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4445	4303	4299	4299
q2	373	279	280	279
q3	2885	2657	2690	2657
q4	1925	1627	1654	1627
q5	5388	5405	5376	5376
q6	220	130	129	129
q7	2079	1748	1792	1748
q8	3170	3336	3328	3328
q9	8344	8412	8456	8412
q10	3455	3189	3224	3189
q11	582	512	513	512
q12	808	602	608	602
q13	10141	3071	2998	2998
q14	312	273	280	273
q15	525	477	476	476
q16	588	560	543	543
q17	1784	1477	1467	1467
q18	7671	7630	7447	7447
q19	1656	1379	1378	1378
q20	2058	1810	1836	1810
q21	5378	5251	5281	5251
q22	1153	1051	1065	1051
Total cold run time: 64940 ms
Total hot run time: 54852 ms

doris-robot avatar Aug 28 '24 12:08 doris-robot

TPC-DS: Total hot run time: 188761 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit fef30c25ebeea3b957fa326719750fc5b9c6e432, data reload: false

query1	915	372	362	362
query2	6476	1994	1908	1908
query3	6640	214	219	214
query4	31772	23165	23130	23130
query5	4188	494	488	488
query6	247	163	169	163
query7	4578	298	295	295
query8	269	202	208	202
query9	8483	2498	2481	2481
query10	446	279	266	266
query11	17870	14934	15178	14934
query12	153	102	97	97
query13	1627	392	375	375
query14	9869	7508	7393	7393
query15	289	179	181	179
query16	7398	466	474	466
query17	1647	572	574	572
query18	1893	306	295	295
query19	345	147	148	147
query20	116	111	109	109
query21	214	107	107	107
query22	4622	4369	4334	4334
query23	34033	33484	33152	33152
query24	11150	2943	2956	2943
query25	618	405	403	403
query26	972	163	164	163
query27	2542	287	290	287
query28	7216	2128	2120	2120
query29	744	440	430	430
query30	295	177	161	161
query31	1001	762	814	762
query32	105	58	64	58
query33	759	297	290	290
query34	941	491	479	479
query35	865	738	717	717
query36	1105	942	922	922
query37	151	103	88	88
query38	3966	3828	3875	3828
query39	1438	1377	1379	1377
query40	209	121	119	119
query41	51	50	48	48
query42	121	99	98	98
query43	521	476	479	476
query44	1246	756	745	745
query45	201	173	172	172
query46	1101	779	747	747
query47	1944	1843	1818	1818
query48	390	295	295	295
query49	1052	439	439	439
query50	817	417	425	417
query51	7260	7071	7098	7071
query52	101	92	91	91
query53	257	192	184	184
query54	1057	481	471	471
query55	79	76	79	76
query56	280	283	268	268
query57	1202	1103	1095	1095
query58	252	234	249	234
query59	2928	2858	2687	2687
query60	318	283	279	279
query61	120	119	118	118
query62	825	681	651	651
query63	226	190	186	186
query64	5411	695	650	650
query65	3220	3171	3146	3146
query66	1423	335	338	335
query67	15581	15486	15569	15486
query68	4714	562	552	552
query69	427	274	278	274
query70	1183	1124	1087	1087
query71	383	271	265	265
query72	6537	4068	4037	4037
query73	757	334	332	332
query74	9091	8788	8710	8710
query75	3486	2638	2666	2638
query76	2857	969	1013	969
query77	480	320	321	320
query78	9786	9157	9198	9157
query79	2355	541	546	541
query80	1138	522	492	492
query81	576	235	232	232
query82	759	145	145	145
query83	214	151	152	151
query84	238	79	75	75
query85	1598	329	275	275
query86	466	287	297	287
query87	4336	4251	4232	4232
query88	3608	2344	2325	2325
query89	382	286	289	286
query90	1796	194	196	194
query91	125	106	124	106
query92	70	52	51	51
query93	1831	558	545	545
query94	842	307	303	303
query95	350	263	260	260
query96	596	272	277	272
query97	3208	3059	3091	3059
query98	226	210	209	209
query99	1700	1304	1281	1281
Total cold run time: 292266 ms
Total hot run time: 188761 ms

doris-robot avatar Aug 28 '24 13:08 doris-robot

ClickBench: Total hot run time: 32.75 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit fef30c25ebeea3b957fa326719750fc5b9c6e432, data reload: false

query1	0.04	0.04	0.03
query2	0.09	0.04	0.04
query3	0.22	0.06	0.06
query4	1.66	0.08	0.08
query5	0.52	0.51	0.48
query6	1.13	0.72	0.73
query7	0.02	0.02	0.02
query8	0.05	0.05	0.04
query9	0.55	0.49	0.48
query10	0.55	0.54	0.56
query11	0.15	0.12	0.12
query12	0.15	0.13	0.12
query13	0.59	0.59	0.58
query14	2.05	2.10	2.13
query15	0.88	0.81	0.81
query16	0.37	0.38	0.38
query17	1.06	0.98	1.05
query18	0.21	0.20	0.20
query19	1.92	1.86	1.71
query20	0.01	0.01	0.01
query21	15.40	0.68	0.67
query22	4.12	6.50	2.55
query23	18.30	1.39	1.33
query24	2.14	0.21	0.22
query25	0.15	0.08	0.08
query26	0.25	0.18	0.17
query27	0.08	0.07	0.08
query28	13.24	1.01	1.00
query29	12.64	3.36	3.41
query30	0.23	0.06	0.05
query31	2.88	0.40	0.39
query32	3.26	0.48	0.47
query33	2.96	2.99	2.98
query34	16.99	4.39	4.42
query35	4.51	4.47	4.54
query36	0.65	0.46	0.46
query37	0.18	0.16	0.16
query38	0.15	0.15	0.15
query39	0.05	0.03	0.03
query40	0.16	0.14	0.12
query41	0.10	0.05	0.05
query42	0.06	0.05	0.05
query43	0.05	0.05	0.04
Total cold run time: 110.77 s
Total hot run time: 32.75 s

doris-robot avatar Aug 28 '24 13:08 doris-robot