doris icon indicating copy to clipboard operation
doris copied to clipboard

[profile](data sink) add InitBrpcStubTime in ExchangeSink

Open Mryange opened this issue 1 year ago • 11 comments

Proposed changes

Issue Number: close #xxx

Mryange avatar Jun 25 '24 02:06 Mryange

Thank you for your contribution to Apache Doris. Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website. See Doris Document.

doris-robot avatar Jun 25 '24 02:06 doris-robot

run buildall

Mryange avatar Jun 25 '24 02:06 Mryange

clang-tidy review says "All clean, LGTM! :+1:"

github-actions[bot] avatar Jun 25 '24 02:06 github-actions[bot]

TPC-H: Total hot run time: 40321 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 3a27fd4cadc48e8050b84d979ca6547587c8ecb5, data reload: false

------ Round 1 ----------------------------------
q1	18037	4575	4543	4543
q2	2213	191	186	186
q3	10482	1160	1159	1159
q4	10198	931	807	807
q5	7479	2705	2605	2605
q6	223	140	141	140
q7	949	597	627	597
q8	9251	2095	2079	2079
q9	9079	6520	6526	6520
q10	8949	3774	3757	3757
q11	463	241	236	236
q12	396	236	235	235
q13	18321	2987	3015	2987
q14	271	217	233	217
q15	513	488	461	461
q16	499	373	377	373
q17	973	675	697	675
q18	8075	7462	7448	7448
q19	5073	1417	1531	1417
q20	653	325	315	315
q21	4941	3223	4092	3223
q22	398	341	346	341
Total cold run time: 117436 ms
Total hot run time: 40321 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4442	4250	4273	4250
q2	383	276	263	263
q3	3007	2761	2757	2757
q4	1895	1620	1617	1617
q5	5229	5275	5291	5275
q6	217	134	131	131
q7	2121	1776	1776	1776
q8	3197	3365	3312	3312
q9	8393	8380	8336	8336
q10	3920	3680	3716	3680
q11	594	494	490	490
q12	776	596	637	596
q13	16552	3002	2979	2979
q14	291	270	254	254
q15	535	476	476	476
q16	491	412	408	408
q17	1764	1461	1492	1461
q18	7674	7574	7340	7340
q19	1681	1533	1513	1513
q20	1971	1813	1809	1809
q21	4993	4702	4706	4702
q22	649	540	531	531
Total cold run time: 70775 ms
Total hot run time: 53956 ms

doris-robot avatar Jun 25 '24 03:06 doris-robot

TPC-DS: Total hot run time: 173834 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 3a27fd4cadc48e8050b84d979ca6547587c8ecb5, data reload: false

query1	953	389	372	372
query2	6441	2347	2310	2310
query3	6641	209	196	196
query4	20989	17414	17421	17414
query5	4158	489	492	489
query6	255	158	168	158
query7	4592	310	301	301
query8	342	307	264	264
query9	8572	2484	2446	2446
query10	609	298	293	293
query11	10569	10042	10057	10042
query12	132	94	84	84
query13	1640	377	389	377
query14	9786	6564	7926	6564
query15	245	188	194	188
query16	7822	274	277	274
query17	1903	561	569	561
query18	1984	292	283	283
query19	210	163	161	161
query20	97	87	90	87
query21	217	138	131	131
query22	4423	3939	4326	3939
query23	33864	33236	33322	33236
query24	12085	2847	2826	2826
query25	694	407	398	398
query26	1821	161	158	158
query27	2972	314	329	314
query28	7637	2104	2096	2096
query29	1126	629	668	629
query30	292	155	151	151
query31	989	741	758	741
query32	93	56	57	56
query33	790	312	302	302
query34	902	479	492	479
query35	780	640	624	624
query36	1072	955	940	940
query37	274	74	77	74
query38	2925	2799	2744	2744
query39	859	832	800	800
query40	302	140	139	139
query41	56	59	53	53
query42	120	102	107	102
query43	610	551	562	551
query44	1233	730	745	730
query45	203	171	163	163
query46	1086	711	729	711
query47	1845	1775	1778	1775
query48	379	304	319	304
query49	1223	437	438	437
query50	781	409	413	409
query51	7018	6745	6742	6742
query52	117	92	97	92
query53	386	306	308	306
query54	1002	472	453	453
query55	75	79	76	76
query56	315	295	295	295
query57	1190	1060	1069	1060
query58	278	289	272	272
query59	3445	3464	3142	3142
query60	336	302	303	302
query61	115	111	113	111
query62	784	447	439	439
query63	333	297	298	297
query64	9892	2312	1833	1833
query65	3218	3139	3084	3084
query66	1368	337	335	335
query67	15846	15120	14846	14846
query68	8613	546	549	546
query69	682	478	425	425
query70	1211	1107	1157	1107
query71	515	305	281	281
query72	8725	5754	5707	5707
query73	1517	329	327	327
query74	6223	5517	5616	5517
query75	5226	2697	2646	2646
query76	4942	1007	932	932
query77	755	305	312	305
query78	10995	9955	9720	9720
query79	8766	522	519	519
query80	974	526	484	484
query81	546	221	221	221
query82	736	112	109	109
query83	353	172	172	172
query84	275	87	87	87
query85	1360	286	279	279
query86	406	323	311	311
query87	3354	3084	3138	3084
query88	4105	2438	2445	2438
query89	541	395	399	395
query90	2014	198	193	193
query91	132	103	102	102
query92	63	50	53	50
query93	6947	517	505	505
query94	1232	189	188	188
query95	411	320	333	320
query96	614	269	283	269
query97	3215	3040	3001	3001
query98	222	201	200	200
query99	1242	833	859	833
Total cold run time: 302223 ms
Total hot run time: 173834 ms

doris-robot avatar Jun 25 '24 03:06 doris-robot

ClickBench: Total hot run time: 30.34 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 3a27fd4cadc48e8050b84d979ca6547587c8ecb5, data reload: false

query1	0.04	0.04	0.03
query2	0.08	0.03	0.03
query3	0.22	0.04	0.04
query4	1.68	0.07	0.07
query5	0.50	0.47	0.50
query6	1.14	0.72	0.73
query7	0.02	0.02	0.01
query8	0.04	0.04	0.05
query9	0.54	0.49	0.49
query10	0.54	0.54	0.56
query11	0.14	0.11	0.12
query12	0.14	0.12	0.12
query13	0.60	0.59	0.58
query14	0.77	0.79	0.81
query15	0.83	0.81	0.82
query16	0.36	0.36	0.36
query17	1.01	1.07	1.04
query18	0.21	0.22	0.26
query19	1.82	1.72	1.77
query20	0.01	0.01	0.01
query21	15.46	0.67	0.65
query22	4.81	7.13	1.63
query23	18.31	1.49	1.29
query24	2.18	0.23	0.22
query25	0.15	0.08	0.08
query26	0.28	0.17	0.17
query27	0.08	0.08	0.08
query28	13.20	1.02	1.00
query29	12.60	3.30	3.29
query30	0.25	0.07	0.06
query31	2.85	0.39	0.39
query32	3.27	0.47	0.48
query33	2.88	2.93	2.87
query34	17.30	4.45	4.42
query35	4.45	4.49	4.48
query36	0.66	0.50	0.46
query37	0.21	0.16	0.15
query38	0.15	0.14	0.14
query39	0.04	0.04	0.03
query40	0.17	0.14	0.14
query41	0.09	0.05	0.04
query42	0.06	0.05	0.05
query43	0.04	0.04	0.03
Total cold run time: 110.18 s
Total hot run time: 30.34 s

doris-robot avatar Jun 25 '24 03:06 doris-robot

clang-tidy review says "All clean, LGTM! :+1:"

github-actions[bot] avatar Jul 01 '24 02:07 github-actions[bot]

run buildall

Mryange avatar Jul 01 '24 07:07 Mryange

TPC-H: Total hot run time: 39938 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 113504dcd6e7ec68c7b71c17e227b88c1723809e, data reload: false

------ Round 1 ----------------------------------
q1	17605	5015	4343	4343
q2	2031	188	189	188
q3	10469	1197	1032	1032
q4	10190	760	828	760
q5	7484	2686	2656	2656
q6	218	137	139	137
q7	970	602	610	602
q8	9224	2103	2098	2098
q9	8934	6503	6464	6464
q10	9064	3713	3714	3713
q11	490	236	241	236
q12	461	238	235	235
q13	17789	2967	2986	2967
q14	286	241	216	216
q15	533	508	490	490
q16	497	380	374	374
q17	989	620	691	620
q18	8031	7547	7425	7425
q19	7064	1483	1486	1483
q20	660	315	330	315
q21	5032	3247	3954	3247
q22	411	344	337	337
Total cold run time: 118432 ms
Total hot run time: 39938 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4400	4281	4249	4249
q2	389	286	271	271
q3	3064	2880	2963	2880
q4	2008	1831	1735	1735
q5	5575	5508	5494	5494
q6	225	134	137	134
q7	2322	1901	1863	1863
q8	3355	3557	3493	3493
q9	8757	8818	8850	8818
q10	4173	3770	3893	3770
q11	591	521	514	514
q12	829	650	667	650
q13	15966	3160	3171	3160
q14	293	280	279	279
q15	530	498	482	482
q16	476	452	443	443
q17	1869	1605	1574	1574
q18	8166	8097	7926	7926
q19	1768	1528	1568	1528
q20	2138	1896	1880	1880
q21	10584	4943	4896	4896
q22	626	552	601	552
Total cold run time: 78104 ms
Total hot run time: 56591 ms

doris-robot avatar Jul 01 '24 08:07 doris-robot

TPC-DS: Total hot run time: 173970 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 113504dcd6e7ec68c7b71c17e227b88c1723809e, data reload: false

query1	913	382	376	376
query2	6400	2405	2376	2376
query3	6637	205	223	205
query4	19457	17422	17304	17304
query5	3705	484	474	474
query6	253	160	164	160
query7	4589	304	291	291
query8	302	281	299	281
query9	8455	2378	2356	2356
query10	571	308	274	274
query11	10457	10128	9986	9986
query12	117	87	92	87
query13	1643	361	374	361
query14	10181	6986	7030	6986
query15	244	183	186	183
query16	7756	282	276	276
query17	1720	554	538	538
query18	1965	283	277	277
query19	205	156	158	156
query20	87	82	83	82
query21	207	133	131	131
query22	4228	4117	4099	4099
query23	33830	33679	33748	33679
query24	11154	2908	2874	2874
query25	617	397	409	397
query26	738	168	163	163
query27	2315	339	345	339
query28	5942	2118	2135	2118
query29	905	659	661	659
query30	244	155	155	155
query31	959	781	744	744
query32	91	55	58	55
query33	764	312	309	309
query34	953	484	482	482
query35	754	662	644	644
query36	1111	967	989	967
query37	143	86	88	86
query38	2973	2797	2848	2797
query39	901	853	820	820
query40	210	134	130	130
query41	55	56	55	55
query42	107	105	107	105
query43	604	561	545	545
query44	1180	726	740	726
query45	205	167	167	167
query46	1083	763	711	711
query47	1861	1770	1785	1770
query48	369	304	300	300
query49	851	515	409	409
query50	765	392	402	392
query51	6960	6813	6775	6775
query52	105	97	90	90
query53	364	295	284	284
query54	864	447	444	444
query55	76	85	78	78
query56	291	265	281	265
query57	1109	1022	1068	1022
query58	232	260	244	244
query59	3281	3096	3040	3040
query60	316	281	295	281
query61	113	91	91	91
query62	595	438	436	436
query63	319	284	296	284
query64	8666	2276	1755	1755
query65	3344	3099	3137	3099
query66	828	323	327	323
query67	15608	15007	15016	15007
query68	8593	541	552	541
query69	725	475	333	333
query70	1331	1097	1116	1097
query71	519	286	284	284
query72	9050	5573	5334	5334
query73	2259	330	331	330
query74	5900	5493	5451	5451
query75	5481	2659	2672	2659
query76	5029	952	950	950
query77	786	293	306	293
query78	10546	9760	9744	9744
query79	8066	518	522	518
query80	2332	474	469	469
query81	559	219	227	219
query82	576	147	105	105
query83	286	169	165	165
query84	275	84	87	84
query85	922	285	266	266
query86	357	330	306	306
query87	3254	3103	3115	3103
query88	4750	2379	2379	2379
query89	481	378	382	378
query90	1965	186	188	186
query91	132	98	98	98
query92	57	47	47	47
query93	6280	508	501	501
query94	1246	183	221	183
query95	404	313	312	312
query96	605	280	265	265
query97	3149	2985	2981	2981
query98	215	195	189	189
query99	1156	842	825	825
Total cold run time: 292133 ms
Total hot run time: 173970 ms

doris-robot avatar Jul 01 '24 08:07 doris-robot

ClickBench: Total hot run time: 30.3 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 113504dcd6e7ec68c7b71c17e227b88c1723809e, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.04	0.04
query3	0.22	0.05	0.04
query4	1.69	0.07	0.07
query5	0.50	0.49	0.49
query6	1.14	0.72	0.72
query7	0.02	0.01	0.01
query8	0.05	0.04	0.05
query9	0.54	0.47	0.48
query10	0.54	0.55	0.56
query11	0.14	0.11	0.11
query12	0.14	0.12	0.12
query13	0.59	0.59	0.60
query14	0.76	0.79	0.77
query15	0.83	0.81	0.81
query16	0.37	0.37	0.36
query17	0.97	1.02	0.96
query18	0.24	0.24	0.25
query19	1.77	1.72	1.85
query20	0.02	0.01	0.01
query21	15.43	0.75	0.66
query22	4.62	7.12	1.65
query23	18.26	1.42	1.27
query24	2.11	0.23	0.22
query25	0.16	0.09	0.08
query26	0.27	0.18	0.18
query27	0.09	0.08	0.07
query28	13.26	1.01	0.99
query29	12.57	3.30	3.33
query30	0.26	0.06	0.07
query31	2.89	0.38	0.37
query32	3.28	0.47	0.48
query33	2.92	2.98	2.91
query34	17.16	4.40	4.45
query35	4.50	4.47	4.56
query36	0.65	0.47	0.47
query37	0.18	0.16	0.16
query38	0.16	0.15	0.14
query39	0.04	0.03	0.03
query40	0.17	0.14	0.13
query41	0.09	0.05	0.04
query42	0.06	0.05	0.04
query43	0.05	0.04	0.04
Total cold run time: 109.83 s
Total hot run time: 30.3 s

doris-robot avatar Jul 01 '24 09:07 doris-robot

run buildall

Mryange avatar Jul 08 '24 03:07 Mryange

TPC-H: Total hot run time: 40014 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 113504dcd6e7ec68c7b71c17e227b88c1723809e, data reload: false

------ Round 1 ----------------------------------
q1	17898	4455	4397	4397
q2	2521	200	197	197
q3	11454	1250	1164	1164
q4	10863	810	756	756
q5	7679	2695	2659	2659
q6	221	138	140	138
q7	964	619	614	614
q8	9424	2078	2047	2047
q9	9017	6544	6499	6499
q10	8956	3696	3684	3684
q11	448	243	238	238
q12	400	228	224	224
q13	17777	2991	2986	2986
q14	267	232	224	224
q15	530	482	485	482
q16	507	386	369	369
q17	961	609	710	609
q18	8099	7492	7551	7492
q19	1654	1447	1507	1447
q20	656	338	326	326
q21	5010	3123	3232	3123
q22	392	341	339	339
Total cold run time: 115698 ms
Total hot run time: 40014 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4321	4237	4190	4190
q2	374	262	254	254
q3	2898	2706	2707	2706
q4	1874	1606	1614	1606
q5	5241	5268	5237	5237
q6	219	129	128	128
q7	2105	1741	1739	1739
q8	3178	3346	3281	3281
q9	8368	8309	8304	8304
q10	3896	3713	3661	3661
q11	593	484	476	476
q12	802	617	601	601
q13	17344	2994	3004	2994
q14	280	274	268	268
q15	516	468	474	468
q16	466	405	413	405
q17	1758	1472	1477	1472
q18	7662	7602	7381	7381
q19	5020	1533	1572	1533
q20	2000	1762	1788	1762
q21	4977	4695	4745	4695
q22	625	548	544	544
Total cold run time: 74517 ms
Total hot run time: 53705 ms

doris-robot avatar Jul 08 '24 04:07 doris-robot

TPC-DS: Total hot run time: 172550 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 113504dcd6e7ec68c7b71c17e227b88c1723809e, data reload: false

query1	944	374	366	366
query2	6456	2431	2335	2335
query3	6649	204	214	204
query4	28253	17423	17378	17378
query5	4211	480	489	480
query6	269	188	165	165
query7	4601	309	306	306
query8	330	281	287	281
query9	8372	2392	2354	2354
query10	627	310	312	310
query11	10462	9977	9919	9919
query12	129	81	82	81
query13	1653	373	378	373
query14	10037	7764	7483	7483
query15	228	186	187	186
query16	7712	311	314	311
query17	1797	576	530	530
query18	1683	272	274	272
query19	191	152	147	147
query20	90	82	81	81
query21	207	132	127	127
query22	4205	3996	3958	3958
query23	33760	33080	32976	32976
query24	11927	2829	2824	2824
query25	652	364	374	364
query26	1774	161	158	158
query27	2955	314	314	314
query28	7542	2040	2043	2040
query29	1053	636	629	629
query30	285	150	147	147
query31	934	736	725	725
query32	91	56	52	52
query33	769	294	323	294
query34	935	495	486	486
query35	740	641	641	641
query36	1131	900	947	900
query37	200	84	72	72
query38	2841	2746	2735	2735
query39	861	827	821	821
query40	280	126	124	124
query41	54	50	51	50
query42	110	97	102	97
query43	561	534	543	534
query44	1219	742	745	742
query45	186	158	156	156
query46	1063	754	705	705
query47	1847	1766	1800	1766
query48	372	301	305	301
query49	1190	410	417	410
query50	767	398	401	398
query51	6882	6826	6713	6713
query52	99	90	91	90
query53	360	288	282	282
query54	1006	445	448	445
query55	75	77	72	72
query56	287	265	276	265
query57	1178	1070	1043	1043
query58	260	276	248	248
query59	3220	3216	3141	3141
query60	319	281	288	281
query61	98	98	95	95
query62	639	462	475	462
query63	318	289	289	289
query64	10484	2179	1653	1653
query65	3197	3085	3109	3085
query66	1341	333	337	333
query67	15415	14985	14861	14861
query68	4589	524	525	524
query69	472	322	321	321
query70	1176	1140	1127	1127
query71	384	275	295	275
query72	7084	5317	5462	5317
query73	738	326	327	326
query74	5892	5542	5445	5445
query75	3388	2677	2673	2673
query76	2503	939	969	939
query77	444	312	299	299
query78	9303	9327	8918	8918
query79	3317	515	523	515
query80	1843	468	470	468
query81	581	218	217	217
query82	1034	109	105	105
query83	280	171	170	170
query84	256	92	88	88
query85	2141	365	368	365
query86	483	322	339	322
query87	3263	3080	3132	3080
query88	4631	2494	2467	2467
query89	479	378	391	378
query90	1852	196	198	196
query91	150	119	120	119
query92	63	52	54	52
query93	3846	505	514	505
query94	1289	223	227	223
query95	418	329	339	329
query96	606	277	270	270
query97	3174	3045	3031	3031
query98	225	215	197	197
query99	1178	823	871	823
Total cold run time: 287465 ms
Total hot run time: 172550 ms

doris-robot avatar Jul 08 '24 04:07 doris-robot

ClickBench: Total hot run time: 30.52 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 113504dcd6e7ec68c7b71c17e227b88c1723809e, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.04	0.05
query3	0.24	0.05	0.05
query4	1.67	0.07	0.07
query5	0.49	0.50	0.48
query6	1.14	0.73	0.73
query7	0.02	0.02	0.01
query8	0.05	0.04	0.04
query9	0.55	0.49	0.48
query10	0.55	0.54	0.55
query11	0.16	0.11	0.12
query12	0.14	0.12	0.12
query13	0.60	0.59	0.58
query14	0.79	0.77	0.77
query15	0.85	0.82	0.82
query16	0.37	0.35	0.34
query17	0.96	0.97	0.96
query18	0.23	0.23	0.28
query19	1.76	1.75	1.65
query20	0.02	0.01	0.00
query21	15.40	0.79	0.65
query22	3.67	8.01	1.77
query23	18.22	1.38	1.38
query24	2.14	0.22	0.22
query25	0.16	0.08	0.10
query26	0.29	0.22	0.22
query27	0.45	0.24	0.23
query28	13.24	1.02	0.99
query29	12.58	3.37	3.30
query30	0.25	0.06	0.05
query31	2.88	0.39	0.37
query32	3.27	0.49	0.48
query33	2.93	2.97	2.96
query34	16.87	4.38	4.35
query35	4.49	4.42	4.46
query36	0.65	0.45	0.48
query37	0.18	0.14	0.15
query38	0.15	0.14	0.14
query39	0.05	0.03	0.04
query40	0.15	0.13	0.12
query41	0.09	0.04	0.05
query42	0.05	0.05	0.04
query43	0.05	0.04	0.04
Total cold run time: 108.92 s
Total hot run time: 30.52 s

doris-robot avatar Jul 08 '24 04:07 doris-robot

run buildall

Mryange avatar Jul 19 '24 07:07 Mryange

clang-tidy review says "All clean, LGTM! :+1:"

github-actions[bot] avatar Jul 19 '24 08:07 github-actions[bot]