Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[feature](statistics)Support enable/disable auto analyze for table. #39532

Merged
merged 1 commit into from
Sep 3, 2024

Conversation

Jibing-Li
Copy link
Contributor

@Jibing-Li Jibing-Li commented Aug 18, 2024

Support enable/disable auto analyze for table by setting table properties.

ALTER TABLE table_name SET ("auto_analyze_policy" = "enable");
ALTER TABLE table_name SET ("auto_analyze_policy" = "disable");
ALTER TABLE table_name SET ("auto_analyze_policy" = "base_on_catalog");

@doris-robot
Copy link

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website.
See Doris Document.

@Jibing-Li
Copy link
Contributor Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 38195 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 80ee5dfc95b24fdc871cc5c0d6508d62616eecd9, data reload: false

------ Round 1 ----------------------------------
q1	18217	4746	4448	4448
q2	2877	210	210	210
q3	11120	1128	1114	1114
q4	11173	720	731	720
q5	7916	2895	2846	2846
q6	269	161	161	161
q7	1009	671	646	646
q8	9371	2100	2065	2065
q9	7365	6581	6567	6567
q10	7093	2210	2217	2210
q11	499	267	263	263
q12	413	247	252	247
q13	17813	2985	3027	2985
q14	299	248	255	248
q15	554	508	522	508
q16	527	403	399	399
q17	988	687	675	675
q18	7344	6847	6799	6799
q19	4923	1199	1112	1112
q20	707	353	341	341
q21	4358	2596	2704	2596
q22	1149	1063	1035	1035
Total cold run time: 115984 ms
Total hot run time: 38195 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4534	4347	4247	4247
q2	413	300	295	295
q3	2897	2656	2596	2596
q4	1908	1600	1631	1600
q5	5329	5422	5351	5351
q6	242	152	152	152
q7	2073	1719	1711	1711
q8	3227	3352	3341	3341
q9	8428	8399	8351	8351
q10	3426	3156	3172	3156
q11	619	514	543	514
q12	821	649	624	624
q13	16272	3016	2998	2998
q14	328	304	301	301
q15	566	523	532	523
q16	509	446	447	446
q17	1802	1485	1493	1485
q18	7780	7649	7599	7599
q19	1743	1717	1602	1602
q20	2061	1857	1809	1809
q21	10047	5168	5135	5135
q22	1145	1077	1047	1047
Total cold run time: 76170 ms
Total hot run time: 54883 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 190947 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 80ee5dfc95b24fdc871cc5c0d6508d62616eecd9, data reload: false

query1	980	401	390	390
query2	6738	1948	1939	1939
query3	6659	229	241	229
query4	33939	23236	23245	23236
query5	4368	684	704	684
query6	323	212	223	212
query7	4615	331	316	316
query8	464	426	420	420
query9	8727	2570	2558	2558
query10	516	352	334	334
query11	18083	15150	15139	15139
query12	188	133	131	131
query13	1717	446	448	446
query14	10029	7270	7065	7065
query15	279	193	191	191
query16	8188	516	489	489
query17	1679	601	583	583
query18	2187	343	366	343
query19	349	178	190	178
query20	140	135	138	135
query21	256	143	144	143
query22	4236	3999	3992	3992
query23	34130	33158	33256	33158
query24	11317	2975	2879	2879
query25	662	421	441	421
query26	1196	177	177	177
query27	2273	304	299	299
query28	7250	2147	2119	2119
query29	860	458	442	442
query30	342	187	182	182
query31	1061	855	849	849
query32	124	82	81	81
query33	809	347	336	336
query34	911	531	493	493
query35	898	764	771	764
query36	1111	952	978	952
query37	165	109	105	105
query38	3956	3863	3863	3863
query39	1531	1463	1481	1463
query40	245	153	155	153
query41	143	139	138	138
query42	142	117	122	117
query43	560	531	517	517
query44	1215	768	798	768
query45	220	195	195	195
query46	1136	768	800	768
query47	1891	1821	1839	1821
query48	417	337	325	325
query49	1200	596	602	596
query50	873	462	461	461
query51	6855	6867	6786	6786
query52	120	106	110	106
query53	303	230	225	225
query54	939	520	492	492
query55	91	91	89	89
query56	332	320	303	303
query57	1200	1111	1100	1100
query58	323	304	315	304
query59	3051	2821	2789	2789
query60	350	326	328	326
query61	146	147	148	147
query62	903	700	702	700
query63	263	227	224	224
query64	5272	2388	1863	1863
query65	3239	3158	3143	3143
query66	1161	690	680	680
query67	15667	15089	14904	14904
query68	6365	595	582	582
query69	746	441	346	346
query70	1241	1159	1129	1129
query71	557	319	313	313
query72	7590	2305	2113	2113
query73	838	354	354	354
query74	9263	8798	8871	8798
query75	5128	2750	2873	2750
query76	4273	995	1040	995
query77	878	448	438	438
query78	9865	9218	9185	9185
query79	4547	574	565	565
query80	2544	605	606	605
query81	638	256	262	256
query82	1523	161	162	161
query83	362	220	215	215
query84	296	97	102	97
query85	1608	356	349	349
query86	457	330	375	330
query87	4326	4330	4339	4330
query88	4503	2456	2447	2447
query89	476	327	326	326
query90	2032	233	234	233
query91	159	129	130	129
query92	91	78	76	76
query93	5003	560	554	554
query94	1050	316	335	316
query95	392	300	291	291
query96	617	292	285	285
query97	3262	3093	3062	3062
query98	241	230	229	229
query99	1795	1312	1336	1312
Total cold run time: 314179 ms
Total hot run time: 190947 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 31.34 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 80ee5dfc95b24fdc871cc5c0d6508d62616eecd9, data reload: false

query1	0.05	0.04	0.04
query2	0.09	0.04	0.04
query3	0.23	0.05	0.05
query4	1.67	0.08	0.08
query5	0.49	0.50	0.51
query6	1.12	0.73	0.73
query7	0.02	0.02	0.01
query8	0.06	0.06	0.05
query9	0.54	0.49	0.50
query10	0.54	0.53	0.53
query11	0.16	0.12	0.12
query12	0.15	0.13	0.13
query13	0.63	0.60	0.61
query14	0.76	0.77	0.78
query15	0.87	0.83	0.83
query16	0.38	0.38	0.38
query17	1.00	1.04	1.03
query18	0.24	0.23	0.21
query19	1.91	1.84	1.85
query20	0.02	0.01	0.01
query21	15.40	0.66	0.66
query22	5.05	6.60	1.83
query23	18.30	1.33	1.28
query24	2.13	0.22	0.22
query25	0.16	0.08	0.07
query26	0.31	0.24	0.23
query27	0.46	0.23	0.23
query28	13.22	1.02	1.01
query29	12.63	3.31	3.33
query30	0.43	0.24	0.23
query31	2.80	0.42	0.41
query32	3.24	0.49	0.48
query33	2.98	2.97	2.98
query34	16.94	4.35	4.33
query35	4.42	4.40	4.40
query36	0.66	0.50	0.52
query37	0.22	0.18	0.17
query38	0.17	0.17	0.18
query39	0.06	0.06	0.06
query40	0.19	0.16	0.15
query41	0.12	0.07	0.07
query42	0.08	0.06	0.07
query43	0.07	0.06	0.06
Total cold run time: 110.97 s
Total hot run time: 31.34 s

@Jibing-Li
Copy link
Contributor Author

run p0

@Jibing-Li
Copy link
Contributor Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 37851 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 28c7b9fd786b2823e86fe56d5ed0449c632d396f, data reload: false

------ Round 1 ----------------------------------
q1	17888	4788	4322	4322
q2	2059	205	223	205
q3	11740	1066	1142	1066
q4	10535	752	750	750
q5	7783	2807	2784	2784
q6	263	159	160	159
q7	1011	695	657	657
q8	9593	2101	2094	2094
q9	8769	6500	6552	6500
q10	7059	2256	2238	2238
q11	484	269	277	269
q12	424	266	249	249
q13	17777	2966	2963	2963
q14	291	249	246	246
q15	546	518	515	515
q16	524	403	398	398
q17	967	626	707	626
q18	7347	6697	6652	6652
q19	6798	1064	1103	1064
q20	696	347	341	341
q21	3910	2715	3052	2715
q22	1133	1038	1049	1038
Total cold run time: 117597 ms
Total hot run time: 37851 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4500	4297	4271	4271
q2	395	305	310	305
q3	2825	2603	2621	2603
q4	2002	1695	1679	1679
q5	5635	5687	5689	5687
q6	241	164	159	159
q7	2188	1803	1765	1765
q8	3284	3576	3785	3576
q9	8721	8742	8724	8724
q10	3551	3345	3303	3303
q11	620	540	537	537
q12	835	666	659	659
q13	17189	3247	3140	3140
q14	312	297	289	289
q15	555	527	513	513
q16	518	447	471	447
q17	1796	1517	1554	1517
q18	8226	7947	7725	7725
q19	4749	1528	1617	1528
q20	2232	1902	1847	1847
q21	14049	5186	5285	5186
q22	1161	1060	1094	1060
Total cold run time: 85584 ms
Total hot run time: 56520 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 195055 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 28c7b9fd786b2823e86fe56d5ed0449c632d396f, data reload: false

query1	1326	891	892	891
query2	6566	1997	1935	1935
query3	10644	3757	3818	3757
query4	58434	24767	23172	23172
query5	6026	716	699	699
query6	552	210	207	207
query7	6446	326	326	326
query8	538	435	438	435
query9	9259	2577	2565	2565
query10	627	342	346	342
query11	16755	15177	15385	15177
query12	199	167	129	129
query13	1697	435	445	435
query14	12572	7085	7454	7085
query15	246	193	194	193
query16	7729	544	484	484
query17	1230	620	614	614
query18	2136	347	329	329
query19	321	170	169	169
query20	155	137	135	135
query21	249	143	147	143
query22	4524	4563	4381	4381
query23	34351	33499	33848	33499
query24	5752	2925	2946	2925
query25	586	430	423	423
query26	715	177	176	176
query27	1797	309	306	306
query28	3954	2197	2189	2189
query29	766	446	438	438
query30	243	184	186	184
query31	1062	847	810	810
query32	120	77	78	77
query33	579	341	337	337
query34	891	509	493	493
query35	865	743	773	743
query36	1094	969	975	969
query37	155	102	102	102
query38	3903	3975	3800	3800
query39	1536	1477	1448	1448
query40	239	152	151	151
query41	153	160	138	138
query42	157	115	114	114
query43	556	511	521	511
query44	1101	774	785	774
query45	216	197	196	196
query46	1132	779	762	762
query47	1906	1820	1852	1820
query48	419	356	323	323
query49	906	577	573	573
query50	870	461	470	461
query51	6780	6873	6646	6646
query52	126	110	106	106
query53	291	222	223	222
query54	609	501	493	493
query55	90	86	88	86
query56	336	306	310	306
query57	1205	1113	1102	1102
query58	298	309	301	301
query59	2992	2915	2809	2809
query60	345	323	323	323
query61	151	148	148	148
query62	810	709	689	689
query63	251	230	229	229
query64	3932	2212	1856	1856
query65	3232	3146	3158	3146
query66	1042	673	671	671
query67	15212	14873	15003	14873
query68	6137	571	570	570
query69	646	409	326	326
query70	1198	1183	1121	1121
query71	538	315	328	315
query72	6787	2317	2057	2057
query73	817	359	351	351
query74	9373	8814	8807	8807
query75	3806	2770	2739	2739
query76	3459	1103	983	983
query77	848	435	433	433
query78	9888	9078	9057	9057
query79	7373	569	556	556
query80	2538	592	609	592
query81	616	258	257	257
query82	1261	152	153	152
query83	342	211	205	205
query84	283	93	93	93
query85	1227	353	351	351
query86	462	311	315	311
query87	4439	4196	4237	4196
query88	5358	2442	2470	2442
query89	440	326	326	326
query90	2047	228	228	228
query91	152	125	126	125
query92	86	76	73	73
query93	6114	548	556	548
query94	926	332	335	332
query95	382	294	293	293
query96	619	279	282	279
query97	3202	3091	3064	3064
query98	251	229	238	229
query99	1635	1293	1324	1293
Total cold run time: 335207 ms
Total hot run time: 195055 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 30.6 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 28c7b9fd786b2823e86fe56d5ed0449c632d396f, data reload: false

query1	0.04	0.05	0.04
query2	0.08	0.05	0.04
query3	0.23	0.06	0.05
query4	1.67	0.08	0.08
query5	0.51	0.47	0.50
query6	1.13	0.75	0.74
query7	0.02	0.02	0.01
query8	0.05	0.04	0.05
query9	0.54	0.49	0.48
query10	0.55	0.53	0.55
query11	0.16	0.12	0.12
query12	0.15	0.12	0.13
query13	0.61	0.60	0.59
query14	0.76	0.78	0.80
query15	0.86	0.81	0.84
query16	0.37	0.35	0.37
query17	0.97	1.03	0.96
query18	0.23	0.22	0.22
query19	1.83	1.68	1.73
query20	0.01	0.01	0.01
query21	15.39	0.66	0.65
query22	4.15	7.97	1.34
query23	18.28	1.33	1.32
query24	2.17	0.23	0.23
query25	0.15	0.09	0.09
query26	0.31	0.24	0.23
query27	0.46	0.22	0.23
query28	13.22	1.03	1.00
query29	12.63	3.36	3.33
query30	0.42	0.19	0.19
query31	2.81	0.42	0.40
query32	3.87	0.49	0.50
query33	2.96	2.98	2.96
query34	17.16	4.34	4.38
query35	4.39	4.44	4.47
query36	0.68	0.52	0.49
query37	0.21	0.17	0.18
query38	0.16	0.16	0.16
query39	0.07	0.06	0.06
query40	0.19	0.16	0.16
query41	0.11	0.07	0.07
query42	0.08	0.07	0.07
query43	0.07	0.07	0.07
Total cold run time: 110.71 s
Total hot run time: 30.6 s

@Jibing-Li Jibing-Li force-pushed the blackwhite branch 3 times, most recently from 3e479ea to 684d4e0 Compare August 19, 2024 06:25
@Jibing-Li Jibing-Li marked this pull request as ready for review August 19, 2024 06:29
@Jibing-Li
Copy link
Contributor Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 38149 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 684d4e02627d7ac2e3f1f0d6da726b80be3cd606, data reload: false

------ Round 1 ----------------------------------
q1	17850	4343	4277	4277
q2	2054	210	201	201
q3	11827	992	1171	992
q4	10528	754	718	718
q5	7790	2870	2860	2860
q6	272	157	156	156
q7	1025	667	642	642
q8	9588	2096	2111	2096
q9	8613	6540	6619	6540
q10	7065	2253	2282	2253
q11	477	268	274	268
q12	429	256	253	253
q13	18965	2988	2980	2980
q14	302	255	259	255
q15	572	520	527	520
q16	518	409	399	399
q17	983	598	742	598
q18	7307	6825	6757	6757
q19	6450	1033	1092	1033
q20	711	349	345	345
q21	3888	3067	2990	2990
q22	1093	1035	1016	1016
Total cold run time: 118307 ms
Total hot run time: 38149 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4664	4321	4331	4321
q2	408	311	303	303
q3	2896	2633	2733	2633
q4	1966	1706	1711	1706
q5	5662	5690	5630	5630
q6	245	145	149	145
q7	2147	1794	1750	1750
q8	3299	3538	3469	3469
q9	8812	8809	8806	8806
q10	3608	3313	3274	3274
q11	625	537	530	530
q12	842	704	670	670
q13	16930	3203	3082	3082
q14	321	286	308	286
q15	564	531	525	525
q16	510	466	480	466
q17	1811	1587	1550	1550
q18	8200	7806	7655	7655
q19	7395	1582	1577	1577
q20	2149	1880	1874	1874
q21	13888	5383	5301	5301
q22	1149	1052	1082	1052
Total cold run time: 88091 ms
Total hot run time: 56605 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 196112 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 684d4e02627d7ac2e3f1f0d6da726b80be3cd606, data reload: false

query1	1330	912	896	896
query2	6564	2021	1933	1933
query3	10604	4024	3785	3785
query4	56658	23960	23391	23391
query5	5725	715	722	715
query6	533	205	211	205
query7	6376	327	329	327
query8	552	451	448	448
query9	8953	2527	2514	2514
query10	571	344	336	336
query11	18620	15143	15315	15143
query12	207	141	142	141
query13	1746	436	447	436
query14	11801	8028	7458	7458
query15	307	205	193	193
query16	7039	511	513	511
query17	1179	623	625	623
query18	1217	348	369	348
query19	297	172	167	167
query20	142	133	138	133
query21	242	143	142	142
query22	4761	4324	4337	4324
query23	34466	33697	33993	33697
query24	5786	2941	3006	2941
query25	586	427	431	427
query26	742	186	186	186
query27	1911	311	307	307
query28	3611	2167	2133	2133
query29	676	437	452	437
query30	222	178	183	178
query31	1010	853	810	810
query32	105	76	77	76
query33	541	344	345	344
query34	899	506	492	492
query35	871	795	771	771
query36	1090	949	928	928
query37	151	109	104	104
query38	4060	3847	3868	3847
query39	1508	1454	1476	1454
query40	234	159	152	152
query41	139	139	142	139
query42	138	114	118	114
query43	538	510	529	510
query44	1122	778	792	778
query45	224	191	199	191
query46	1126	773	769	769
query47	1906	1828	1811	1811
query48	455	342	342	342
query49	928	586	580	580
query50	864	474	455	455
query51	6962	6834	6791	6791
query52	125	107	111	107
query53	301	226	225	225
query54	618	505	499	499
query55	89	91	89	89
query56	325	318	308	308
query57	1189	1140	1118	1118
query58	298	302	287	287
query59	3003	2810	2719	2719
query60	351	324	323	323
query61	153	150	147	147
query62	791	701	694	694
query63	257	250	231	231
query64	3137	1883	1900	1883
query65	3265	3195	3170	3170
query66	1033	677	668	668
query67	15322	14904	14850	14850
query68	5674	595	588	588
query69	618	348	314	314
query70	1222	1117	1154	1117
query71	541	318	313	313
query72	7500	2359	2152	2152
query73	797	355	353	353
query74	9278	8761	8821	8761
query75	3841	2789	2723	2723
query76	3524	1088	1009	1009
query77	654	437	440	437
query78	9806	9105	9128	9105
query79	2838	550	545	545
query80	1998	600	604	600
query81	589	259	260	259
query82	756	159	157	157
query83	340	216	211	211
query84	290	105	97	97
query85	1202	365	360	360
query86	475	330	316	316
query87	4417	4251	4162	4162
query88	4865	2477	2490	2477
query89	453	326	322	322
query90	2001	227	229	227
query91	157	128	127	127
query92	88	74	73	73
query93	5276	554	550	550
query94	938	336	333	333
query95	394	302	307	302
query96	631	291	286	286
query97	3285	3067	3057	3057
query98	249	233	231	231
query99	1589	1306	1297	1297
Total cold run time: 324838 ms
Total hot run time: 196112 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 31.04 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 684d4e02627d7ac2e3f1f0d6da726b80be3cd606, data reload: false

query1	0.05	0.04	0.04
query2	0.08	0.04	0.04
query3	0.23	0.06	0.06
query4	1.66	0.09	0.09
query5	0.48	0.47	0.48
query6	1.12	0.73	0.73
query7	0.02	0.02	0.02
query8	0.06	0.05	0.05
query9	0.55	0.49	0.50
query10	0.55	0.55	0.52
query11	0.17	0.13	0.12
query12	0.15	0.13	0.13
query13	0.63	0.61	0.59
query14	0.79	0.78	0.80
query15	0.86	0.82	0.82
query16	0.38	0.38	0.38
query17	0.98	0.98	1.00
query18	0.22	0.20	0.21
query19	1.85	1.73	1.75
query20	0.01	0.01	0.01
query21	15.39	0.66	0.65
query22	4.74	7.05	1.86
query23	18.27	1.43	1.33
query24	2.14	0.25	0.23
query25	0.17	0.09	0.09
query26	0.27	0.18	0.19
query27	0.10	0.08	0.08
query28	13.20	1.03	1.01
query29	12.72	3.36	3.32
query30	0.44	0.25	0.25
query31	2.83	0.41	0.40
query32	3.24	0.49	0.48
query33	2.96	2.94	2.96
query34	17.04	4.34	4.32
query35	4.40	4.41	4.45
query36	0.66	0.50	0.51
query37	0.22	0.18	0.18
query38	0.18	0.16	0.17
query39	0.06	0.05	0.05
query40	0.19	0.15	0.15
query41	0.12	0.07	0.07
query42	0.07	0.07	0.07
query43	0.06	0.06	0.07
Total cold run time: 110.31 s
Total hot run time: 31.04 s

@Jibing-Li Jibing-Li force-pushed the blackwhite branch 3 times, most recently from ffeff73 to 52bf9e1 Compare August 19, 2024 11:31
@Jibing-Li
Copy link
Contributor Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 38273 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 52bf9e1b44826f2cc174a89c59c9b3726683d5a0, data reload: false

------ Round 1 ----------------------------------
q1	18206	4469	4390	4390
q2	2701	207	217	207
q3	10774	1125	1170	1125
q4	11114	698	850	698
q5	8113	2867	2916	2867
q6	269	159	158	158
q7	1009	675	653	653
q8	9388	2110	2039	2039
q9	7327	6569	6550	6550
q10	7068	2227	2262	2227
q11	506	278	282	278
q12	429	265	260	260
q13	17808	3012	3031	3012
q14	305	269	287	269
q15	543	514	535	514
q16	525	401	407	401
q17	977	692	682	682
q18	7395	6882	6721	6721
q19	6685	1126	1063	1063
q20	698	341	343	341
q21	3853	3031	2776	2776
q22	1110	1043	1042	1042
Total cold run time: 116803 ms
Total hot run time: 38273 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4463	4373	4268	4268
q2	405	297	306	297
q3	2906	2660	2622	2622
q4	1897	1619	1640	1619
q5	5377	5395	5359	5359
q6	233	144	145	144
q7	2076	1677	1754	1677
q8	3196	3317	3329	3317
q9	8466	8321	8377	8321
q10	3422	3176	3173	3173
q11	620	546	534	534
q12	797	639	634	634
q13	16667	2992	2983	2983
q14	318	297	304	297
q15	554	505	502	502
q16	502	446	439	439
q17	1786	1482	1494	1482
q18	7611	7585	7401	7401
q19	1691	1552	1527	1527
q20	2028	1820	1819	1819
q21	9451	5175	5063	5063
q22	1121	1003	1077	1003
Total cold run time: 75587 ms
Total hot run time: 54481 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 191246 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 52bf9e1b44826f2cc174a89c59c9b3726683d5a0, data reload: false

query1	962	391	391	391
query2	6741	2015	1944	1944
query3	6667	225	234	225
query4	27939	23256	23278	23256
query5	4325	684	711	684
query6	322	217	214	214
query7	4630	331	331	331
query8	495	430	435	430
query9	8504	2544	2512	2512
query10	501	355	342	342
query11	16716	15073	15008	15008
query12	201	142	140	140
query13	1717	452	454	452
query14	10044	7390	7366	7366
query15	352	192	195	192
query16	8171	505	536	505
query17	1751	608	595	595
query18	2147	344	332	332
query19	364	180	171	171
query20	170	138	134	134
query21	249	145	142	142
query22	4234	4205	3978	3978
query23	34219	33368	33461	33368
query24	11172	2909	2975	2909
query25	642	421	437	421
query26	1159	190	185	185
query27	2250	300	301	300
query28	7297	2136	2106	2106
query29	856	439	454	439
query30	329	186	179	179
query31	1046	849	835	835
query32	122	79	83	79
query33	807	344	335	335
query34	888	510	511	510
query35	881	786	761	761
query36	1143	970	968	968
query37	173	104	105	104
query38	4030	3855	3843	3843
query39	1537	1462	1462	1462
query40	241	161	156	156
query41	142	140	140	140
query42	143	120	121	120
query43	565	519	526	519
query44	1276	791	803	791
query45	226	198	206	198
query46	1126	765	780	765
query47	1942	1852	1840	1840
query48	426	340	330	330
query49	1218	598	592	592
query50	871	475	471	471
query51	6817	6876	6798	6798
query52	125	111	116	111
query53	306	231	228	228
query54	999	520	501	501
query55	90	91	90	90
query56	345	307	317	307
query57	1194	1153	1119	1119
query58	303	301	315	301
query59	3042	2871	2809	2809
query60	361	330	345	330
query61	154	149	148	148
query62	882	729	709	709
query63	264	232	227	227
query64	5329	2377	1856	1856
query65	3214	3138	3162	3138
query66	1163	687	682	682
query67	15349	14932	15039	14932
query68	6871	597	583	583
query69	781	440	322	322
query70	1225	1204	1122	1122
query71	579	322	315	315
query72	7606	2416	2087	2087
query73	876	356	356	356
query74	9093	8797	8830	8797
query75	5059	2746	2782	2746
query76	4876	1064	1021	1021
query77	884	446	439	439
query78	9740	9304	9080	9080
query79	8349	558	553	553
query80	2344	614	603	603
query81	639	255	263	255
query82	803	160	158	158
query83	351	215	215	215
query84	295	98	96	96
query85	1448	412	346	346
query86	433	332	326	326
query87	4401	4269	4208	4208
query88	4657	2487	2478	2478
query89	576	338	327	327
query90	2029	230	230	230
query91	154	132	128	128
query92	93	76	76	76
query93	6325	559	547	547
query94	929	291	295	291
query95	386	286	287	286
query96	625	277	276	276
query97	3243	3089	3069	3069
query98	253	241	228	228
query99	1595	1326	1339	1326
Total cold run time: 311384 ms
Total hot run time: 191246 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 31.23 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 52bf9e1b44826f2cc174a89c59c9b3726683d5a0, data reload: false

query1	0.06	0.05	0.05
query2	0.08	0.05	0.05
query3	0.22	0.06	0.05
query4	1.67	0.09	0.10
query5	0.52	0.49	0.50
query6	1.12	0.74	0.73
query7	0.02	0.02	0.02
query8	0.06	0.05	0.05
query9	0.56	0.48	0.50
query10	0.54	0.55	0.55
query11	0.16	0.13	0.12
query12	0.16	0.13	0.13
query13	0.63	0.61	0.59
query14	0.77	0.79	0.78
query15	0.86	0.84	0.82
query16	0.36	0.38	0.37
query17	0.97	0.97	1.00
query18	0.21	0.19	0.20
query19	1.83	1.73	1.68
query20	0.01	0.01	0.01
query21	15.42	0.70	0.67
query22	3.57	8.00	2.10
query23	18.26	1.45	1.27
query24	2.06	0.24	0.22
query25	0.15	0.08	0.09
query26	0.27	0.19	0.18
query27	0.08	0.09	0.08
query28	13.24	1.06	1.02
query29	12.67	3.32	3.30
query30	0.44	0.25	0.24
query31	2.79	0.39	0.40
query32	3.26	0.49	0.48
query33	2.97	3.01	2.95
query34	17.16	4.35	4.41
query35	4.41	4.44	4.52
query36	0.67	0.49	0.49
query37	0.22	0.18	0.18
query38	0.18	0.18	0.18
query39	0.07	0.05	0.05
query40	0.18	0.15	0.16
query41	0.13	0.07	0.06
query42	0.08	0.07	0.07
query43	0.06	0.07	0.06
Total cold run time: 109.15 s
Total hot run time: 31.23 s

@Jibing-Li
Copy link
Contributor Author

run cloud_p1

@doris-robot
Copy link

ClickBench: Total hot run time: 32.26 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 2cd7d9392b160f2197abcb1bcc7dc985ea9a327f, data reload: false

query1	0.05	0.05	0.04
query2	0.08	0.04	0.04
query3	0.23	0.05	0.04
query4	1.68	0.07	0.07
query5	0.51	0.51	0.49
query6	1.14	0.71	0.73
query7	0.01	0.01	0.01
query8	0.04	0.04	0.04
query9	0.54	0.48	0.50
query10	0.54	0.55	0.54
query11	0.15	0.12	0.12
query12	0.15	0.11	0.11
query13	0.60	0.59	0.59
query14	2.09	2.06	2.10
query15	0.90	0.81	0.80
query16	0.37	0.38	0.37
query17	1.06	0.99	0.99
query18	0.21	0.19	0.20
query19	1.88	1.70	1.80
query20	0.01	0.01	0.01
query21	15.42	0.68	0.68
query22	4.16	6.55	2.19
query23	18.26	1.37	1.22
query24	2.11	0.25	0.23
query25	0.16	0.08	0.08
query26	0.27	0.18	0.18
query27	0.07	0.08	0.07
query28	13.17	1.01	1.00
query29	12.61	3.35	3.34
query30	0.24	0.05	0.06
query31	2.90	0.40	0.39
query32	3.25	0.47	0.47
query33	2.97	3.01	3.04
query34	16.99	4.43	4.44
query35	4.50	4.43	4.45
query36	0.67	0.49	0.47
query37	0.18	0.16	0.16
query38	0.17	0.15	0.15
query39	0.05	0.04	0.04
query40	0.16	0.13	0.13
query41	0.10	0.05	0.05
query42	0.07	0.06	0.05
query43	0.04	0.04	0.04
Total cold run time: 110.76 s
Total hot run time: 32.26 s

@Jibing-Li
Copy link
Contributor Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 38070 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 27d8d54d9e79618b25d4b6fdfcb9cbc32b069c8d, data reload: false

------ Round 1 ----------------------------------
q1	17615	4419	4324	4324
q2	2018	184	176	176
q3	11834	947	1054	947
q4	10521	772	708	708
q5	7756	2799	2847	2799
q6	229	142	142	142
q7	965	615	597	597
q8	9331	2068	2068	2068
q9	6917	6552	6586	6552
q10	7033	2243	2199	2199
q11	451	240	243	240
q12	393	224	226	224
q13	19100	3101	3042	3042
q14	286	235	232	232
q15	523	494	487	487
q16	579	527	502	502
q17	993	677	630	630
q18	7250	6812	6827	6812
q19	1386	985	1127	985
q20	681	344	348	344
q21	4076	3160	3031	3031
q22	1155	1029	1037	1029
Total cold run time: 111092 ms
Total hot run time: 38070 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4312	4278	4273	4273
q2	385	279	272	272
q3	2907	2673	2659	2659
q4	1930	1630	1622	1622
q5	5671	5706	5724	5706
q6	232	142	136	136
q7	2261	1848	1805	1805
q8	3353	3434	3486	3434
q9	8879	8924	8875	8875
q10	3628	3449	3356	3356
q11	613	509	521	509
q12	834	696	647	647
q13	16110	3206	3285	3206
q14	330	309	286	286
q15	534	497	505	497
q16	607	587	568	568
q17	1852	1538	1535	1535
q18	8081	7792	7921	7792
q19	1744	1638	1616	1616
q20	2218	1933	1953	1933
q21	5725	5407	5381	5381
q22	1184	1070	1075	1070
Total cold run time: 73390 ms
Total hot run time: 57178 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 192635 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 27d8d54d9e79618b25d4b6fdfcb9cbc32b069c8d, data reload: false

query1	1278	899	845	845
query2	6409	2009	1900	1900
query3	10760	3906	4124	3906
query4	59808	26832	23386	23386
query5	5473	501	497	497
query6	414	172	176	172
query7	5920	307	299	299
query8	286	219	202	202
query9	8956	2477	2473	2473
query10	491	267	269	267
query11	18372	15092	15518	15092
query12	153	102	102	102
query13	1567	394	378	378
query14	11203	6971	7441	6971
query15	259	169	182	169
query16	7438	509	520	509
query17	1143	585	574	574
query18	1886	289	290	289
query19	292	146	138	138
query20	121	110	111	110
query21	202	104	105	104
query22	4779	4451	4754	4451
query23	34391	33433	33271	33271
query24	5899	2838	2783	2783
query25	523	382	396	382
query26	686	160	158	158
query27	1784	281	294	281
query28	3545	2120	2113	2113
query29	716	431	430	430
query30	233	158	154	154
query31	949	756	714	714
query32	80	57	55	55
query33	418	282	284	282
query34	852	476	473	473
query35	835	747	695	695
query36	1065	938	945	938
query37	147	92	96	92
query38	3963	3965	3910	3910
query39	1436	1395	1404	1395
query40	195	115	113	113
query41	45	47	45	45
query42	117	101	95	95
query43	507	479	480	479
query44	1068	746	741	741
query45	195	168	168	168
query46	1097	748	750	748
query47	1900	1794	1827	1794
query48	382	294	290	290
query49	755	430	426	426
query50	842	416	413	413
query51	7062	7154	7058	7058
query52	96	86	89	86
query53	251	181	184	181
query54	544	445	450	445
query55	78	75	76	75
query56	282	253	277	253
query57	1173	1069	1106	1069
query58	229	229	235	229
query59	3117	2785	2820	2785
query60	302	277	266	266
query61	120	118	114	114
query62	741	631	634	631
query63	226	183	183	183
query64	2906	808	655	655
query65	3206	3141	3195	3141
query66	674	339	326	326
query67	15469	15355	15176	15176
query68	2986	572	592	572
query69	409	271	277	271
query70	1154	1139	1100	1100
query71	369	273	275	273
query72	6227	4023	4001	4001
query73	747	330	330	330
query74	9191	8861	8856	8856
query75	3372	2692	2697	2692
query76	1517	1086	938	938
query77	522	326	311	311
query78	9555	9121	9086	9086
query79	1052	545	523	523
query80	673	490	508	490
query81	472	235	237	235
query82	246	142	151	142
query83	170	146	149	146
query84	251	78	74	74
query85	674	290	318	290
query86	320	293	277	277
query87	4460	4264	4330	4264
query88	3020	2351	2308	2308
query89	393	285	287	285
query90	1923	194	190	190
query91	122	96	100	96
query92	61	54	49	49
query93	1041	542	541	541
query94	692	296	298	296
query95	328	259	260	259
query96	587	273	264	264
query97	3215	3070	3063	3063
query98	228	195	206	195
query99	1504	1293	1273	1273
Total cold run time: 305792 ms
Total hot run time: 192635 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 32.12 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 27d8d54d9e79618b25d4b6fdfcb9cbc32b069c8d, data reload: false

query1	0.05	0.05	0.03
query2	0.08	0.04	0.04
query3	0.23	0.05	0.05
query4	1.69	0.07	0.06
query5	0.51	0.52	0.49
query6	1.12	0.73	0.73
query7	0.02	0.02	0.01
query8	0.05	0.05	0.05
query9	0.54	0.48	0.49
query10	0.55	0.54	0.55
query11	0.15	0.12	0.12
query12	0.16	0.12	0.13
query13	0.62	0.59	0.59
query14	2.09	2.03	2.12
query15	0.86	0.83	0.82
query16	0.39	0.38	0.38
query17	1.07	1.00	1.06
query18	0.22	0.20	0.21
query19	1.95	1.91	1.90
query20	0.02	0.01	0.02
query21	15.42	0.67	0.66
query22	4.37	7.47	1.87
query23	18.28	1.37	1.25
query24	2.18	0.23	0.22
query25	0.14	0.07	0.08
query26	0.27	0.18	0.17
query27	0.07	0.07	0.08
query28	13.16	1.03	1.00
query29	12.64	3.35	3.33
query30	0.23	0.06	0.06
query31	2.88	0.40	0.39
query32	3.28	0.49	0.47
query33	3.02	2.99	3.02
query34	16.95	4.41	4.45
query35	4.49	4.45	4.50
query36	0.66	0.47	0.46
query37	0.20	0.16	0.16
query38	0.16	0.14	0.15
query39	0.04	0.04	0.04
query40	0.15	0.13	0.13
query41	0.10	0.05	0.05
query42	0.06	0.05	0.04
query43	0.04	0.04	0.04
Total cold run time: 111.16 s
Total hot run time: 32.12 s

@Jibing-Li
Copy link
Contributor Author

run feut

@Jibing-Li
Copy link
Contributor Author

run buildall

Copy link
Contributor

@morningman morningman left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

LGTM

Copy link
Contributor

github-actions bot commented Sep 2, 2024

PR approved by at least one committer and no changes requested.

@github-actions github-actions bot added approved Indicates a PR has been approved by one committer. reviewed labels Sep 2, 2024
Copy link
Contributor

github-actions bot commented Sep 2, 2024

PR approved by anyone and no changes requested.

@doris-robot
Copy link

TPC-H: Total hot run time: 38250 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit dfc16e92934834f40291c9533d3b2a5d03327527, data reload: false

------ Round 1 ----------------------------------
q1	18590	4525	4356	4356
q2	2027	180	173	173
q3	10488	1181	1103	1103
q4	10143	747	729	729
q5	7726	2851	2804	2804
q6	228	138	143	138
q7	979	607	593	593
q8	9318	2069	2072	2069
q9	7285	6549	6566	6549
q10	7011	2194	2205	2194
q11	453	245	248	245
q12	399	226	238	226
q13	18701	3101	3094	3094
q14	277	238	247	238
q15	533	489	484	484
q16	581	509	518	509
q17	988	684	730	684
q18	7348	6759	6803	6759
q19	1395	1040	1113	1040
q20	695	330	326	326
q21	3929	2929	3012	2929
q22	1140	1013	1008	1008
Total cold run time: 110234 ms
Total hot run time: 38250 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4448	4331	4287	4287
q2	385	280	277	277
q3	2880	2704	2678	2678
q4	1954	1643	1684	1643
q5	5445	5418	5385	5385
q6	225	135	133	133
q7	2087	1736	1724	1724
q8	3227	3349	3356	3349
q9	8505	8506	8456	8456
q10	3458	3194	3193	3193
q11	592	493	486	486
q12	810	603	596	596
q13	11822	3160	3094	3094
q14	294	273	277	273
q15	504	474	487	474
q16	598	579	593	579
q17	1782	1464	1502	1464
q18	7690	7587	7596	7587
q19	1673	1619	1582	1582
q20	2088	1794	1829	1794
q21	5493	5391	5203	5203
q22	1141	1059	1042	1042
Total cold run time: 67101 ms
Total hot run time: 55299 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 188598 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit dfc16e92934834f40291c9533d3b2a5d03327527, data reload: false

query1	925	377	371	371
query2	6465	1995	1949	1949
query3	6645	206	214	206
query4	27933	23302	23123	23123
query5	4153	518	512	512
query6	281	169	172	169
query7	4576	293	292	292
query8	257	210	200	200
query9	8519	2480	2491	2480
query10	441	292	275	275
query11	17836	15009	15128	15009
query12	155	109	99	99
query13	1616	365	371	365
query14	9434	7224	7419	7224
query15	280	165	176	165
query16	7938	492	490	490
query17	1561	559	572	559
query18	1838	301	300	300
query19	262	154	150	150
query20	121	117	134	117
query21	216	102	101	101
query22	4528	4159	4116	4116
query23	34133	33471	33339	33339
query24	11012	2947	2866	2866
query25	613	393	380	380
query26	1133	155	162	155
query27	2750	289	276	276
query28	7441	2083	2051	2051
query29	771	412	410	410
query30	314	164	154	154
query31	978	746	786	746
query32	99	60	63	60
query33	766	293	290	290
query34	993	487	493	487
query35	878	713	724	713
query36	1103	927	939	927
query37	158	86	94	86
query38	4026	3970	3925	3925
query39	1444	1370	1374	1370
query40	202	118	115	115
query41	49	43	45	43
query42	126	100	98	98
query43	536	490	491	490
query44	1168	762	753	753
query45	194	167	164	164
query46	1107	773	790	773
query47	1885	1787	1825	1787
query48	383	284	320	284
query49	1090	432	434	432
query50	833	418	410	410
query51	7281	7101	6996	6996
query52	101	88	91	88
query53	265	189	187	187
query54	948	475	495	475
query55	81	74	86	74
query56	298	260	251	251
query57	1184	1071	1061	1061
query58	242	226	244	226
query59	3071	2893	2850	2850
query60	297	276	275	275
query61	103	100	102	100
query62	837	655	628	628
query63	226	191	187	187
query64	4637	775	665	665
query65	3218	3136	3139	3136
query66	1360	333	331	331
query67	15783	15389	15394	15389
query68	3364	590	576	576
query69	401	280	286	280
query70	1101	1161	1136	1136
query71	341	276	287	276
query72	6394	3943	4020	3943
query73	769	329	336	329
query74	9225	8828	8795	8795
query75	3398	2697	2750	2697
query76	1939	1003	992	992
query77	506	335	323	323
query78	9565	9158	9116	9116
query79	1018	552	564	552
query80	709	498	527	498
query81	464	239	235	235
query82	237	152	150	150
query83	173	156	153	153
query84	235	84	83	83
query85	687	292	284	284
query86	304	293	292	292
query87	4444	4206	4265	4206
query88	2969	2324	2336	2324
query89	380	290	288	288
query90	1909	200	198	198
query91	152	121	115	115
query92	68	116	49	49
query93	1048	541	537	537
query94	836	303	300	300
query95	359	256	254	254
query96	592	267	261	261
query97	3198	3087	3071	3071
query98	222	206	202	202
query99	1464	1376	1308	1308
Total cold run time: 280568 ms
Total hot run time: 188598 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 32.32 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit dfc16e92934834f40291c9533d3b2a5d03327527, data reload: false

query1	0.05	0.05	0.04
query2	0.08	0.04	0.04
query3	0.23	0.05	0.06
query4	1.66	0.09	0.10
query5	0.50	0.48	0.49
query6	1.13	0.73	0.72
query7	0.02	0.01	0.01
query8	0.06	0.04	0.05
query9	0.54	0.48	0.50
query10	0.54	0.53	0.54
query11	0.15	0.11	0.11
query12	0.15	0.12	0.12
query13	0.60	0.59	0.59
query14	2.05	2.05	2.09
query15	0.88	0.82	0.82
query16	0.37	0.37	0.36
query17	1.01	1.02	1.04
query18	0.21	0.20	0.19
query19	1.78	1.76	1.74
query20	0.02	0.01	0.01
query21	15.39	0.66	0.65
query22	4.93	5.80	2.11
query23	18.29	1.35	1.31
query24	2.10	0.22	0.21
query25	0.15	0.08	0.08
query26	0.28	0.18	0.18
query27	0.08	0.08	0.07
query28	13.28	1.02	1.00
query29	12.61	3.33	3.37
query30	0.24	0.06	0.05
query31	2.89	0.40	0.39
query32	3.24	0.48	0.46
query33	2.94	3.07	3.02
query34	17.22	4.43	4.43
query35	4.51	4.52	4.48
query36	0.65	0.48	0.47
query37	0.18	0.16	0.15
query38	0.17	0.15	0.15
query39	0.05	0.04	0.04
query40	0.15	0.12	0.12
query41	0.09	0.05	0.05
query42	0.06	0.05	0.04
query43	0.04	0.04	0.05
Total cold run time: 111.57 s
Total hot run time: 32.32 s

@Jibing-Li Jibing-Li merged commit 8c6da41 into apache:master Sep 3, 2024
26 of 28 checks passed
@Jibing-Li Jibing-Li deleted the blackwhite branch September 3, 2024 08:36
Jibing-Li added a commit to Jibing-Li/incubator-doris that referenced this pull request Oct 15, 2024
…pache#39532)

Support enable/disable auto analyze for table by setting table
properties.
```
ALTER TABLE table_name SET ("auto_analyze_policy" = "enable");
ALTER TABLE table_name SET ("auto_analyze_policy" = "disable");
ALTER TABLE table_name SET ("auto_analyze_policy" = "base_on_catalog");
```
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
approved Indicates a PR has been approved by one committer. dev/3.0.3-merged reviewed
Projects
None yet
Development

Successfully merging this pull request may close these issues.

4 participants