Skip to content

Conversation

@xinyiZzz
Copy link
Contributor

@xinyiZzz xinyiZzz commented Aug 6, 2024

Allocator save TLS MemTracker during first alloc, which is used to release memory after TLS attach task ends.

@doris-robot
Copy link

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website.
See Doris Document.

@github-actions github-actions bot added the doing label Aug 6, 2024
@github-actions
Copy link
Contributor

github-actions bot commented Aug 6, 2024

clang-tidy review says "All clean, LGTM! 👍"

@xinyiZzz xinyiZzz force-pushed the 20240806_fix_allocator branch from c5fb74c to 67c7e0a Compare August 6, 2024 10:14
@xinyiZzz
Copy link
Contributor Author

xinyiZzz commented Aug 6, 2024

run buildall

@github-actions
Copy link
Contributor

github-actions bot commented Aug 6, 2024

clang-tidy review says "All clean, LGTM! 👍"

@xinyiZzz
Copy link
Contributor Author

xinyiZzz commented Aug 6, 2024

run buildall

@github-actions
Copy link
Contributor

github-actions bot commented Aug 6, 2024

clang-tidy review says "All clean, LGTM! 👍"

@doris-robot
Copy link

TPC-H: Total hot run time: 42265 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit a9624e13f0889576b6484905aaa7cfe81ff45f38, data reload: false

------ Round 1 ----------------------------------
q1	18097	4318	4281	4281
q2	2407	214	213	213
q3	12170	1415	1391	1391
q4	10824	880	909	880
q5	8284	2995	2998	2995
q6	227	147	144	144
q7	1055	634	626	626
q8	9435	1800	1975	1800
q9	8524	6641	6633	6633
q10	8696	3888	3884	3884
q11	421	250	249	249
q12	419	233	234	233
q13	17777	2938	2954	2938
q14	275	242	236	236
q15	529	479	478	478
q16	524	443	465	443
q17	987	930	910	910
q18	8093	7329	7265	7265
q19	1407	1244	1238	1238
q20	582	334	350	334
q21	5376	4815	4840	4815
q22	358	281	279	279
Total cold run time: 116467 ms
Total hot run time: 42265 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4083	4056	4019	4019
q2	332	231	219	219
q3	2998	3026	3004	3004
q4	1904	1900	1926	1900
q5	5265	5268	5241	5241
q6	218	129	133	129
q7	2055	1695	1638	1638
q8	3219	3269	3251	3251
q9	8393	8337	8318	8318
q10	3755	3847	3822	3822
q11	561	451	448	448
q12	741	546	545	545
q13	13747	2947	2926	2926
q14	288	256	253	253
q15	517	479	476	476
q16	494	463	455	455
q17	1738	1726	1727	1726
q18	7872	7242	7177	7177
q19	1689	1701	1700	1700
q20	1966	1770	1744	1744
q21	5418	5171	5237	5171
q22	511	449	459	449
Total cold run time: 67764 ms
Total hot run time: 54611 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 168755 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit a9624e13f0889576b6484905aaa7cfe81ff45f38, data reload: false

query1	924	383	367	367
query2	6487	1785	1790	1785
query3	6677	213	222	213
query4	20108	17510	17569	17510
query5	4310	514	510	510
query6	288	167	166	166
query7	4600	309	292	292
query8	256	206	195	195
query9	8542	2377	2372	2372
query10	460	291	267	267
query11	10469	10275	9938	9938
query12	139	92	87	87
query13	1649	386	371	371
query14	8617	7358	6848	6848
query15	222	163	168	163
query16	7111	506	451	451
query17	964	564	569	564
query18	1929	290	289	289
query19	194	151	153	151
query20	95	91	88	88
query21	208	101	101	101
query22	4264	4115	3921	3921
query23	33903	33029	32941	32941
query24	10358	3022	3027	3022
query25	697	408	407	407
query26	1795	153	156	153
query27	2917	287	278	278
query28	6852	2047	2052	2047
query29	1349	438	439	438
query30	285	155	151	151
query31	947	757	762	757
query32	103	56	59	56
query33	706	319	326	319
query34	933	480	492	480
query35	853	749	740	740
query36	1009	859	898	859
query37	296	168	84	84
query38	2850	2762	2775	2762
query39	887	824	816	816
query40	285	111	130	111
query41	46	43	47	43
query42	115	105	102	102
query43	470	419	431	419
query44	1206	720	729	720
query45	201	179	172	172
query46	1078	828	784	784
query47	1803	1730	1719	1719
query48	364	291	295	291
query49	1195	433	430	430
query50	905	442	435	435
query51	6727	6729	6679	6679
query52	108	95	90	90
query53	253	182	182	182
query54	658	473	458	458
query55	75	77	77	77
query56	280	257	266	257
query57	1163	1025	1065	1025
query58	291	259	275	259
query59	2645	2517	2343	2343
query60	311	270	276	270
query61	94	93	95	93
query62	917	674	664	664
query63	217	191	180	180
query64	5920	1929	1884	1884
query65	3172	3117	3081	3081
query66	1447	344	339	339
query67	15228	14878	14688	14688
query68	4617	563	594	563
query69	525	303	315	303
query70	1103	1056	1048	1048
query71	463	275	282	275
query72	7908	2669	2475	2475
query73	771	340	331	331
query74	6070	5680	5637	5637
query75	3911	2730	2750	2730
query76	2871	1180	1246	1180
query77	704	343	312	312
query78	9485	8858	8825	8825
query79	2727	541	534	534
query80	1038	510	507	507
query81	559	234	229	229
query82	908	141	137	137
query83	331	180	174	174
query84	265	79	84	79
query85	1475	326	302	302
query86	471	300	290	290
query87	3289	3055	3104	3055
query88	3945	2477	2464	2464
query89	384	304	283	283
query90	2022	195	190	190
query91	124	101	101	101
query92	63	51	50	50
query93	2264	634	632	632
query94	1031	299	281	281
query95	388	271	273	271
query96	636	288	285	285
query97	3206	3060	3013	3013
query98	261	199	197	197
query99	1675	1278	1248	1248
Total cold run time: 267917 ms
Total hot run time: 168755 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 31.33 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit a9624e13f0889576b6484905aaa7cfe81ff45f38, data reload: false

query1	0.05	0.04	0.04
query2	0.08	0.04	0.04
query3	0.22	0.05	0.05
query4	1.68	0.07	0.07
query5	0.49	0.50	0.48
query6	1.12	0.72	0.72
query7	0.02	0.02	0.01
query8	0.06	0.04	0.04
query9	0.58	0.53	0.51
query10	0.58	0.56	0.56
query11	0.15	0.12	0.12
query12	0.15	0.11	0.12
query13	0.62	0.61	0.61
query14	1.71	1.73	1.72
query15	0.90	0.87	0.87
query16	0.36	0.35	0.34
query17	1.00	1.02	1.04
query18	0.23	0.21	0.20
query19	1.78	1.74	1.71
query20	0.01	0.01	0.01
query21	15.41	0.76	0.65
query22	4.61	6.90	1.55
query23	17.86	1.40	1.38
query24	2.25	0.23	0.22
query25	0.19	0.08	0.07
query26	0.32	0.23	0.21
query27	0.46	0.23	0.23
query28	13.20	1.01	0.97
query29	12.54	3.31	3.28
query30	0.26	0.06	0.06
query31	2.86	0.41	0.41
query32	3.24	0.49	0.48
query33	2.95	2.97	2.94
query34	15.42	4.26	4.26
query35	4.27	4.30	4.30
query36	0.67	0.49	0.48
query37	0.20	0.16	0.16
query38	0.17	0.15	0.15
query39	0.04	0.04	0.04
query40	0.15	0.14	0.12
query41	0.10	0.05	0.06
query42	0.06	0.05	0.05
query43	0.05	0.04	0.04
Total cold run time: 109.07 s
Total hot run time: 31.33 s

@xinyiZzz xinyiZzz force-pushed the 20240806_fix_allocator branch from a9624e1 to a68a94d Compare August 7, 2024 03:26
@xinyiZzz
Copy link
Contributor Author

xinyiZzz commented Aug 7, 2024

run buildall

Copy link
Contributor

@github-actions github-actions bot left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

clang-tidy made some suggestions

@xinyiZzz
Copy link
Contributor Author

xinyiZzz commented Aug 7, 2024

run buildall

1 similar comment
@xinyiZzz
Copy link
Contributor Author

xinyiZzz commented Aug 7, 2024

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 42037 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 6baff5a3fe70e327b150cc62dfcafc938564e378, data reload: false

------ Round 1 ----------------------------------
q1	17692	4210	4101	4101
q2	2016	199	210	199
q3	10516	1266	1335	1266
q4	10194	796	956	796
q5	7641	3022	2999	2999
q6	229	147	147	147
q7	1077	612	627	612
q8	9458	1917	1972	1917
q9	8462	6611	6627	6611
q10	8757	3885	3871	3871
q11	431	249	248	248
q12	416	231	233	231
q13	17763	2934	2965	2934
q14	271	241	250	241
q15	536	487	491	487
q16	679	596	579	579
q17	981	966	921	921
q18	7970	7348	7292	7292
q19	3232	1217	1222	1217
q20	557	320	347	320
q21	5343	4761	4839	4761
q22	359	289	287	287
Total cold run time: 114580 ms
Total hot run time: 42037 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4154	4014	4015	4014
q2	326	220	223	220
q3	3001	3145	3178	3145
q4	2054	1966	2028	1966
q5	5547	5482	5444	5444
q6	221	133	138	133
q7	2144	1829	1793	1793
q8	3298	3369	3364	3364
q9	8677	8722	8738	8722
q10	4010	3939	4030	3939
q11	569	454	466	454
q12	773	586	622	586
q13	16462	3124	3108	3108
q14	303	285	268	268
q15	541	493	487	487
q16	660	642	630	630
q17	1782	1729	1782	1729
q18	8351	7912	7708	7708
q19	3770	1748	1730	1730
q20	2059	1828	1823	1823
q21	5828	5274	5435	5274
q22	539	487	483	483
Total cold run time: 75069 ms
Total hot run time: 57020 ms

@xinyiZzz
Copy link
Contributor Author

xinyiZzz commented Aug 7, 2024

run buildall

1 similar comment
@xinyiZzz
Copy link
Contributor Author

xinyiZzz commented Aug 7, 2024

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 42107 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 3ec1cce88ffdc9bd6af17ef80cf431ff1d79a6ac, data reload: false

------ Round 1 ----------------------------------
q1	17614	4206	4095	4095
q2	2030	206	201	201
q3	10477	1334	1360	1334
q4	10185	801	912	801
q5	7659	3002	2983	2983
q6	227	143	143	143
q7	1072	619	602	602
q8	9443	1969	1985	1969
q9	8450	6650	6653	6650
q10	8741	3859	3840	3840
q11	441	251	262	251
q12	429	224	222	222
q13	17783	2925	2926	2925
q14	273	240	245	240
q15	529	485	488	485
q16	700	583	580	580
q17	991	951	934	934
q18	8149	7397	7298	7298
q19	1388	1223	1221	1221
q20	575	321	346	321
q21	5343	4894	4734	4734
q22	342	281	278	278
Total cold run time: 112841 ms
Total hot run time: 42107 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4041	4049	4050	4049
q2	325	229	225	225
q3	3003	2997	3011	2997
q4	1914	1865	1879	1865
q5	5262	5250	5265	5250
q6	222	133	132	132
q7	2031	1675	1675	1675
q8	3210	3316	3295	3295
q9	8269	8264	8288	8264
q10	3773	3856	3854	3854
q11	547	493	445	445
q12	718	593	560	560
q13	15961	2910	2967	2910
q14	284	260	267	260
q15	519	479	477	477
q16	648	606	614	606
q17	1748	1704	1710	1704
q18	7837	7339	7188	7188
q19	1708	1685	1699	1685
q20	2004	1784	1768	1768
q21	5467	5148	5261	5148
q22	515	465	477	465
Total cold run time: 70006 ms
Total hot run time: 54822 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 168545 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 3ec1cce88ffdc9bd6af17ef80cf431ff1d79a6ac, data reload: false

query1	913	377	372	372
query2	6497	1719	1700	1700
query3	6667	217	232	217
query4	20418	17591	17496	17496
query5	4283	539	533	533
query6	279	168	177	168
query7	4608	315	299	299
query8	258	199	198	198
query9	8502	2385	2371	2371
query10	479	264	261	261
query11	10598	10034	10098	10034
query12	131	87	88	87
query13	1633	385	393	385
query14	9248	7054	6221	6221
query15	219	174	169	169
query16	7113	442	462	442
query17	960	600	567	567
query18	1947	294	295	294
query19	194	155	151	151
query20	92	86	92	86
query21	212	108	99	99
query22	4268	4167	4193	4167
query23	33577	32954	32802	32802
query24	10266	3035	3074	3035
query25	692	381	388	381
query26	1775	151	150	150
query27	2847	277	285	277
query28	6923	2091	2080	2080
query29	1321	412	436	412
query30	291	154	154	154
query31	922	779	775	775
query32	99	53	55	53
query33	689	308	322	308
query34	920	472	487	472
query35	840	719	730	719
query36	983	866	855	855
query37	297	81	86	81
query38	2876	2800	2787	2787
query39	870	812	800	800
query40	276	134	112	112
query41	45	42	42	42
query42	128	100	102	100
query43	480	450	412	412
query44	1184	728	723	723
query45	216	176	173	173
query46	1089	813	785	785
query47	1825	1736	1761	1736
query48	368	299	297	297
query49	1180	437	433	433
query50	899	440	440	440
query51	6823	6716	6717	6716
query52	97	96	87	87
query53	254	180	178	178
query54	646	455	449	449
query55	79	78	79	78
query56	284	281	268	268
query57	1144	1054	1042	1042
query58	275	264	264	264
query59	2516	2491	2366	2366
query60	300	262	278	262
query61	99	96	98	96
query62	932	659	671	659
query63	226	183	177	177
query64	5824	1948	1892	1892
query65	3171	3121	3094	3094
query66	1461	344	333	333
query67	15189	14932	14687	14687
query68	4389	570	590	570
query69	444	315	303	303
query70	1081	1042	1104	1042
query71	437	280	278	278
query72	7192	2681	2537	2537
query73	777	343	347	343
query74	6088	5639	5682	5639
query75	3409	2744	2705	2705
query76	2609	1172	1257	1172
query77	433	315	330	315
query78	9537	8980	8865	8865
query79	1478	540	542	540
query80	1222	521	497	497
query81	564	229	226	226
query82	1003	138	137	137
query83	240	173	169	169
query84	273	80	83	80
query85	1324	321	366	321
query86	403	304	271	271
query87	3271	3105	3068	3068
query88	3031	2538	2516	2516
query89	377	288	289	288
query90	1829	195	199	195
query91	125	102	105	102
query92	68	52	52	52
query93	1418	613	613	613
query94	887	291	290	290
query95	383	262	261	261
query96	604	285	280	280
query97	3188	3056	3043	3043
query98	218	199	204	199
query99	1644	1269	1290	1269
Total cold run time: 262663 ms
Total hot run time: 168545 ms

class Allocator {
public:
Allocator();
Allocator(const Allocator& that) { tracker = that.tracker; }
Copy link
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

这个改写如果没有作用的话,先删了。

Copy link
Contributor Author

@xinyiZzz xinyiZzz Aug 7, 2024

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

fixed,目前应该没用,删了跑下流水线看看

@xinyiZzz
Copy link
Contributor Author

xinyiZzz commented Aug 7, 2024

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 42380 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 4076c710250b457e2c62970fe6e441264f35a539, data reload: false

------ Round 1 ----------------------------------
q1	17634	4165	4090	4090
q2	2023	202	203	202
q3	11356	1349	1370	1349
q4	10601	823	967	823
q5	7898	3125	3033	3033
q6	232	147	150	147
q7	1083	633	641	633
q8	9600	2001	1987	1987
q9	8693	6745	6638	6638
q10	8760	3888	3887	3887
q11	423	250	250	250
q12	415	225	226	225
q13	17773	2951	2950	2950
q14	282	255	242	242
q15	519	489	489	489
q16	661	561	553	553
q17	976	934	930	930
q18	8160	7363	7352	7352
q19	1607	1230	1219	1219
q20	579	338	345	338
q21	5288	4812	4769	4769
q22	350	274	279	274
Total cold run time: 114913 ms
Total hot run time: 42380 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4118	4098	4076	4076
q2	326	226	226	226
q3	3001	3180	3180	3180
q4	2037	2014	1956	1956
q5	5500	5462	5566	5462
q6	226	137	132	132
q7	2206	1833	1823	1823
q8	3319	3418	3288	3288
q9	8702	8707	8683	8683
q10	3916	4051	4037	4037
q11	553	460	460	460
q12	827	632	571	571
q13	12884	3162	3171	3162
q14	311	283	274	274
q15	536	496	478	478
q16	626	608	607	607
q17	1771	1756	1758	1756
q18	8349	7925	7362	7362
q19	1717	1716	1738	1716
q20	2009	1803	1835	1803
q21	5723	5480	5409	5409
q22	528	457	490	457
Total cold run time: 69185 ms
Total hot run time: 56918 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 170335 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 4076c710250b457e2c62970fe6e441264f35a539, data reload: false

query1	919	382	385	382
query2	6191	1760	1773	1760
query3	6656	213	228	213
query4	20507	17493	17429	17429
query5	3592	526	520	520
query6	300	163	165	163
query7	4611	294	304	294
query8	278	205	204	204
query9	8536	2437	2411	2411
query10	426	290	272	272
query11	10570	10268	10209	10209
query12	142	95	90	90
query13	1612	388	397	388
query14	9191	6818	7287	6818
query15	200	164	175	164
query16	7091	465	458	458
query17	939	567	551	551
query18	1856	276	282	276
query19	191	148	145	145
query20	94	85	86	85
query21	210	102	96	96
query22	4346	4293	4100	4100
query23	34331	33530	33660	33530
query24	10294	3045	3073	3045
query25	686	401	404	401
query26	1706	155	156	155
query27	2903	290	296	290
query28	7467	2165	2147	2147
query29	1216	428	426	426
query30	240	159	158	158
query31	957	801	779	779
query32	108	57	60	57
query33	708	308	322	308
query34	900	510	500	500
query35	897	726	703	703
query36	1010	847	885	847
query37	279	84	80	80
query38	2878	2794	2780	2780
query39	895	810	834	810
query40	254	110	110	110
query41	47	43	42	42
query42	119	101	100	100
query43	490	428	433	428
query44	1193	757	766	757
query45	213	179	178	178
query46	1106	831	782	782
query47	1900	1760	1764	1760
query48	367	294	290	290
query49	905	421	431	421
query50	904	434	442	434
query51	6749	6756	6732	6732
query52	101	96	89	89
query53	251	178	179	178
query54	638	450	452	450
query55	76	77	76	76
query56	283	256	247	247
query57	1194	1076	1038	1038
query58	280	270	259	259
query59	2684	2461	2377	2377
query60	295	271	267	267
query61	99	93	92	92
query62	876	657	662	657
query63	220	180	179	179
query64	5638	1917	1886	1886
query65	3154	3079	3106	3079
query66	1304	325	325	325
query67	15424	14792	14873	14792
query68	4240	580	592	580
query69	467	302	295	295
query70	1084	1061	1051	1051
query71	427	283	292	283
query72	7532	2684	2470	2470
query73	764	327	328	327
query74	6087	5760	5707	5707
query75	3464	2733	2698	2698
query76	2187	1195	1265	1195
query77	407	306	311	306
query78	9485	9080	8946	8946
query79	1365	552	536	536
query80	1038	500	502	500
query81	573	229	229	229
query82	1104	145	142	142
query83	236	188	167	167
query84	259	81	77	77
query85	1237	309	307	307
query86	422	288	328	288
query87	3317	3134	3085	3085
query88	3027	2497	2482	2482
query89	379	290	292	290
query90	1708	189	188	188
query91	123	104	101	101
query92	61	49	51	49
query93	1390	639	625	625
query94	768	302	313	302
query95	435	267	265	265
query96	602	292	283	283
query97	3246	3034	3047	3034
query98	219	207	196	196
query99	1616	1299	1262	1262
Total cold run time: 261966 ms
Total hot run time: 170335 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 33.32 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 4076c710250b457e2c62970fe6e441264f35a539, data reload: false

query1	0.05	0.04	0.04
query2	0.08	0.04	0.04
query3	0.22	0.05	0.05
query4	1.68	0.07	0.07
query5	0.48	0.48	0.48
query6	1.12	0.71	0.72
query7	0.02	0.01	0.01
query8	0.06	0.04	0.04
query9	0.57	0.52	0.53
query10	0.57	0.58	0.57
query11	0.15	0.11	0.12
query12	0.16	0.12	0.12
query13	0.61	0.61	0.60
query14	3.81	3.89	3.89
query15	1.00	0.86	0.87
query16	0.35	0.35	0.35
query17	0.98	1.01	1.04
query18	0.23	0.22	0.22
query19	1.96	1.89	1.74
query20	0.01	0.00	0.01
query21	15.34	0.67	0.66
query22	3.69	7.64	1.41
query23	17.92	1.34	1.33
query24	2.24	0.23	0.22
query25	0.19	0.08	0.08
query26	0.31	0.22	0.21
query27	0.46	0.24	0.23
query28	13.16	0.99	0.97
query29	12.55	3.25	3.25
query30	0.26	0.06	0.06
query31	3.31	0.40	0.41
query32	3.52	0.49	0.48
query33	2.91	2.94	2.95
query34	15.50	4.26	4.25
query35	4.29	4.32	4.31
query36	0.68	0.49	0.49
query37	0.19	0.16	0.16
query38	0.16	0.15	0.15
query39	0.04	0.03	0.04
query40	0.16	0.14	0.13
query41	0.10	0.04	0.04
query42	0.06	0.05	0.05
query43	0.05	0.05	0.04
Total cold run time: 111.2 s
Total hot run time: 33.32 s

@xinyiZzz
Copy link
Contributor Author

xinyiZzz commented Aug 8, 2024

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 39490 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit cd3d6d9f314971fd77bc4ef8b2f08e3e618f6086, data reload: false

------ Round 1 ----------------------------------
q1	17603	4647	4291	4291
q2	2019	174	171	171
q3	10492	1150	1175	1150
q4	10140	689	724	689
q5	7499	2529	2480	2480
q6	223	137	135	135
q7	979	597	594	594
q8	9223	2055	1916	1916
q9	8884	6569	6549	6549
q10	7045	2115	2179	2115
q11	464	239	240	239
q12	478	217	214	214
q13	17913	3031	2971	2971
q14	285	241	235	235
q15	526	499	474	474
q16	678	568	549	549
q17	983	620	779	620
q18	8105	7433	7350	7350
q19	5467	1035	1084	1035
q20	669	332	340	332
q21	5432	4370	4535	4370
q22	1108	1041	1011	1011
Total cold run time: 116215 ms
Total hot run time: 39490 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4488	4276	4235	4235
q2	377	279	269	269
q3	2892	2650	2743	2650
q4	1993	1742	1696	1696
q5	5567	5519	5512	5512
q6	232	127	130	127
q7	2133	1802	1820	1802
q8	3312	3451	3487	3451
q9	8900	8846	8848	8846
q10	3640	3202	3229	3202
q11	578	490	487	487
q12	860	636	652	636
q13	16071	3191	3123	3123
q14	325	281	289	281
q15	531	496	492	492
q16	679	646	643	643
q17	1821	1516	1555	1516
q18	8010	8012	7880	7880
q19	1764	1516	1561	1516
q20	2210	1870	1883	1870
q21	5462	5171	5285	5171
q22	1115	1047	1033	1033
Total cold run time: 72960 ms
Total hot run time: 56438 ms

@doris-robot
Copy link

TPC-H: Total hot run time: 39563 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit cd3d6d9f314971fd77bc4ef8b2f08e3e618f6086, data reload: false

------ Round 1 ----------------------------------
q1	17619	4340	4322	4322
q2	2028	178	177	177
q3	10473	1133	1117	1117
q4	10137	779	735	735
q5	7507	2551	2482	2482
q6	226	136	143	136
q7	966	584	595	584
q8	9224	1890	2027	1890
q9	8636	6561	6517	6517
q10	7056	2217	2123	2123
q11	467	237	242	237
q12	521	225	220	220
q13	17777	2981	2993	2981
q14	284	243	236	236
q15	521	483	490	483
q16	676	575	572	572
q17	974	606	741	606
q18	7992	7513	7386	7386
q19	5096	980	911	911
q20	660	324	319	319
q21	5305	4519	4618	4519
q22	1111	1018	1010	1010
Total cold run time: 115256 ms
Total hot run time: 39563 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4527	4260	4267	4260
q2	382	278	275	275
q3	2865	2593	2704	2593
q4	1972	1723	1703	1703
q5	5538	5511	5469	5469
q6	229	134	131	131
q7	2103	1738	1815	1738
q8	3256	3457	3436	3436
q9	8828	8689	8889	8689
q10	3524	3292	3343	3292
q11	576	499	499	499
q12	803	636	650	636
q13	17010	3208	3175	3175
q14	292	308	281	281
q15	531	497	502	497
q16	709	649	671	649
q17	1801	1544	1514	1514
q18	8050	7994	7755	7755
q19	1744	1585	1440	1440
q20	2127	1947	1886	1886
q21	8302	5394	5135	5135
q22	1086	1090	1070	1070
Total cold run time: 76255 ms
Total hot run time: 56123 ms

@xinyiZzz xinyiZzz force-pushed the 20240806_fix_allocator branch from cd3d6d9 to 1eae1e8 Compare August 8, 2024 06:34
@xinyiZzz
Copy link
Contributor Author

xinyiZzz commented Aug 8, 2024

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 40235 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 1eae1e8adcd9931a531b5484e43652f3cf5e67ba, data reload: false

------ Round 1 ----------------------------------
q1	17609	4508	4294	4294
q2	2016	180	181	180
q3	10490	1298	1108	1108
q4	10154	763	749	749
q5	7514	2630	2542	2542
q6	227	142	142	142
q7	976	601	604	601
q8	9438	1932	1951	1932
q9	10398	6570	6639	6570
q10	7107	2193	2247	2193
q11	497	247	245	245
q12	512	235	228	228
q13	18968	3004	2999	2999
q14	275	237	242	237
q15	530	484	504	484
q16	699	582	577	577
q17	993	718	697	697
q18	8229	7461	7438	7438
q19	1382	1096	1059	1059
q20	676	328	353	328
q21	5363	4731	4605	4605
q22	1124	1072	1027	1027
Total cold run time: 115177 ms
Total hot run time: 40235 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4363	4240	4240	4240
q2	388	294	270	270
q3	2902	2617	2591	2591
q4	1954	1615	1606	1606
q5	5268	5292	5331	5292
q6	219	132	133	132
q7	2090	1695	1666	1666
q8	3183	3332	3389	3332
q9	8472	8461	8438	8438
q10	3433	3186	3211	3186
q11	599	491	486	486
q12	822	609	601	601
q13	16720	2977	2973	2973
q14	310	288	275	275
q15	527	480	473	473
q16	669	606	650	606
q17	1825	1505	1494	1494
q18	7556	7550	7315	7315
q19	1653	1516	1528	1516
q20	2012	1809	1832	1809
q21	5317	5137	5153	5137
q22	1125	1070	1026	1026
Total cold run time: 71407 ms
Total hot run time: 54464 ms

@doris-robot
Copy link

TPC-H: Total hot run time: 39932 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 1eae1e8adcd9931a531b5484e43652f3cf5e67ba, data reload: false

------ Round 1 ----------------------------------
q1	17623	4440	4293	4293
q2	2022	179	182	179
q3	10524	1154	1068	1068
q4	10150	731	768	731
q5	7540	2562	2529	2529
q6	227	141	143	141
q7	975	597	591	591
q8	9233	1907	1930	1907
q9	8794	6564	6559	6559
q10	7094	2203	2234	2203
q11	469	253	245	245
q12	510	224	223	223
q13	17767	2962	2979	2962
q14	282	241	237	237
q15	534	500	502	500
q16	687	561	573	561
q17	970	691	728	691
q18	8197	7610	7464	7464
q19	1393	1108	1059	1059
q20	669	334	367	334
q21	5359	4431	4537	4431
q22	1108	1031	1024	1024
Total cold run time: 112127 ms
Total hot run time: 39932 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4343	4268	4290	4268
q2	379	278	269	269
q3	2897	2643	2627	2627
q4	1904	1594	1609	1594
q5	5235	5234	5245	5234
q6	228	133	130	130
q7	2044	1688	1680	1680
q8	3124	3363	3340	3340
q9	8431	8379	8357	8357
q10	3399	3184	3122	3122
q11	576	488	507	488
q12	804	623	627	623
q13	17612	2981	3005	2981
q14	300	275	274	274
q15	534	473	486	473
q16	667	631	617	617
q17	1771	1523	1471	1471
q18	7713	7441	7529	7441
q19	1644	1572	1560	1560
q20	2014	1827	1767	1767
q21	5302	5131	5131	5131
q22	1111	1006	1005	1005
Total cold run time: 72032 ms
Total hot run time: 54452 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 202429 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 1eae1e8adcd9931a531b5484e43652f3cf5e67ba, data reload: false

query1	953	414	387	387
query2	6437	1989	1932	1932
query3	6666	208	215	208
query4	34268	23251	23104	23104
query5	4202	491	508	491
query6	280	173	192	173
query7	4581	290	298	290
query8	246	206	193	193
query9	8656	2453	2424	2424
query10	969	894	893	893
query11	15994	14890	15004	14890
query12	147	109	96	96
query13	1646	382	369	369
query14	10603	7308	7919	7308
query15	439	324	337	324
query16	7936	495	394	394
query17	1742	582	561	561
query18	2155	410	370	370
query19	271	215	193	193
query20	114	108	106	106
query21	207	102	105	102
query22	4256	3969	3939	3939
query23	33927	33426	33322	33322
query24	11060	2927	2936	2927
query25	632	392	391	391
query26	1531	157	155	155
query27	2887	286	294	286
query28	7783	2117	2107	2107
query29	1008	435	430	430
query30	299	158	157	157
query31	959	734	734	734
query32	98	57	56	56
query33	755	303	290	290
query34	937	478	486	478
query35	997	865	859	859
query36	1102	923	917	917
query37	157	94	92	92
query38	4242	4167	4172	4167
query39	1421	1398	1395	1395
query40	278	119	120	119
query41	47	47	46	46
query42	111	101	98	98
query43	512	481	466	466
query44	1221	744	760	744
query45	406	382	401	382
query46	1109	808	794	794
query47	1847	1773	1767	1767
query48	383	301	389	301
query49	1139	420	439	420
query50	819	407	419	407
query51	6795	6629	6684	6629
query52	97	93	96	93
query53	252	183	181	181
query54	933	445	440	440
query55	76	76	74	74
query56	265	244	249	244
query57	1150	1083	1087	1083
query58	228	235	252	235
query59	2946	2721	2717	2717
query60	285	261	264	261
query61	99	97	103	97
query62	820	625	660	625
query63	216	185	185	185
query64	10395	2461	1956	1956
query65	3271	3140	3134	3134
query66	1384	336	337	336
query67	15414	14925	14652	14652
query68	6133	561	580	561
query69	479	413	417	413
query70	1222	1149	1136	1136
query71	546	277	274	274
query72	19791	16445	16785	16445
query73	789	328	331	328
query74	9355	8771	8765	8765
query75	4773	2620	2629	2620
query76	4033	1025	967	967
query77	728	313	310	310
query78	9700	8950	9051	8950
query79	7460	523	531	523
query80	1044	503	547	503
query81	613	235	243	235
query82	808	146	147	146
query83	327	146	146	146
query84	268	81	84	81
query85	1352	319	304	304
query86	374	291	311	291
query87	4795	4551	4515	4515
query88	4747	2389	2487	2389
query89	423	286	294	286
query90	2063	200	193	193
query91	147	124	125	124
query92	63	53	48	48
query93	5670	546	541	541
query94	925	279	288	279
query95	410	264	265	264
query96	619	272	272	272
query97	3221	3074	3088	3074
query98	212	199	195	195
query99	1552	1255	1268	1255
Total cold run time: 329703 ms
Total hot run time: 202429 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 33.98 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 1eae1e8adcd9931a531b5484e43652f3cf5e67ba, data reload: false

query1	0.04	0.04	0.04
query2	0.08	0.04	0.04
query3	0.23	0.04	0.05
query4	1.68	0.08	0.07
query5	0.51	0.48	0.48
query6	1.14	0.73	0.71
query7	0.02	0.01	0.02
query8	0.05	0.04	0.04
query9	0.56	0.49	0.49
query10	0.54	0.55	0.54
query11	0.15	0.11	0.12
query12	0.15	0.12	0.12
query13	0.61	0.62	0.58
query14	3.74	3.84	3.88
query15	0.94	0.82	0.81
query16	0.35	0.37	0.37
query17	1.01	0.99	0.96
query18	0.23	0.22	0.22
query19	1.83	2.03	1.70
query20	0.01	0.01	0.01
query21	15.34	0.67	0.66
query22	4.03	7.72	2.13
query23	18.27	1.37	1.34
query24	2.04	0.22	0.22
query25	0.15	0.09	0.08
query26	0.29	0.21	0.21
query27	0.46	0.23	0.23
query28	13.43	1.02	1.00
query29	12.64	3.30	3.27
query30	0.26	0.06	0.06
query31	2.86	0.40	0.40
query32	3.26	0.48	0.47
query33	2.83	2.91	2.87
query34	17.06	4.38	4.40
query35	4.47	4.41	4.41
query36	0.64	0.48	0.47
query37	0.18	0.17	0.17
query38	0.16	0.15	0.14
query39	0.05	0.04	0.04
query40	0.15	0.13	0.12
query41	0.10	0.05	0.05
query42	0.07	0.05	0.05
query43	0.04	0.05	0.03
Total cold run time: 112.65 s
Total hot run time: 33.98 s

@xinyiZzz
Copy link
Contributor Author

xinyiZzz commented Aug 8, 2024

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 40128 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 7fc58c287d527d26f15de492bf9de9f2301f288e, data reload: false

------ Round 1 ----------------------------------
q1	18058	4564	4375	4375
q2	2581	199	175	175
q3	12110	1169	1081	1081
q4	10339	765	784	765
q5	7539	2573	2612	2573
q6	228	139	143	139
q7	988	594	596	594
q8	9219	1949	1927	1927
q9	8713	6621	6594	6594
q10	7030	2176	2190	2176
q11	493	238	240	238
q12	397	221	226	221
q13	18765	2997	3011	2997
q14	289	240	237	237
q15	520	487	486	486
q16	666	574	569	569
q17	982	620	781	620
q18	8079	7479	7497	7479
q19	4370	1097	1008	1008
q20	693	337	340	337
q21	5367	4515	4578	4515
q22	1109	1054	1022	1022
Total cold run time: 118535 ms
Total hot run time: 40128 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4399	4264	4264	4264
q2	377	281	259	259
q3	2869	2583	2633	2583
q4	1871	1670	1546	1546
q5	5241	5251	5268	5251
q6	223	131	130	130
q7	2087	1651	1686	1651
q8	3179	3335	3317	3317
q9	8421	8427	8419	8419
q10	3416	3190	3157	3157
q11	613	487	495	487
q12	800	628	620	620
q13	16380	2985	2993	2985
q14	295	272	270	270
q15	521	474	470	470
q16	690	642	623	623
q17	1770	1495	1485	1485
q18	7743	7462	7400	7400
q19	1704	1637	1585	1585
q20	1988	1801	1783	1783
q21	5206	5030	5143	5030
q22	1099	1008	1029	1008
Total cold run time: 70892 ms
Total hot run time: 54323 ms

@github-actions
Copy link
Contributor

github-actions bot commented Aug 8, 2024

clang-tidy review says "All clean, LGTM! 👍"

@xinyiZzz xinyiZzz closed this Aug 26, 2024
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

Projects

None yet

Development

Successfully merging this pull request may close these issues.

3 participants