Skip to content

Conversation

@xiedeyantu
Copy link
Member

Proposed changes

TopN should forbid two-phase topN if child is DistributionSpecGather.

@doris-robot
Copy link

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website.
See Doris Document.

keanji-x
keanji-x previously approved these changes Jun 26, 2024
@github-actions
Copy link
Contributor

PR approved by at least one committer and no changes requested.

@github-actions github-actions bot added approved Indicates a PR has been approved by one committer. reviewed labels Jun 26, 2024
@github-actions
Copy link
Contributor

PR approved by anyone and no changes requested.

Copy link
Contributor

@morrySnow morrySnow left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

add case please

@xiedeyantu
Copy link
Member Author

run buildall

@github-actions github-actions bot removed the approved Indicates a PR has been approved by one committer. label Jun 26, 2024
@doris-robot
Copy link

TPC-H: Total hot run time: 39957 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 2940fa69eec6f5efcee5e363dc9360a19c2e0d74, data reload: false

------ Round 1 ----------------------------------
q1	17623	4507	4268	4268
q2	2028	192	202	192
q3	10819	1270	1088	1088
q4	11186	793	799	793
q5	7554	2760	2643	2643
q6	224	139	138	138
q7	964	608	625	608
q8	9305	2141	2127	2127
q9	9273	6636	6601	6601
q10	9107	3685	3724	3685
q11	456	239	239	239
q12	440	240	232	232
q13	18053	2958	3015	2958
q14	266	228	215	215
q15	528	470	475	470
q16	512	372	378	372
q17	965	690	712	690
q18	8128	7359	7407	7359
q19	5967	1484	1470	1470
q20	661	334	324	324
q21	4846	3156	3312	3156
q22	389	342	329	329
Total cold run time: 119294 ms
Total hot run time: 39957 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4413	4237	4258	4237
q2	388	273	262	262
q3	3120	2915	2919	2915
q4	2018	1711	1665	1665
q5	5473	5493	5401	5401
q6	228	142	132	132
q7	2276	1869	1891	1869
q8	3343	3411	3384	3384
q9	8651	8573	8691	8573
q10	4076	3876	3815	3815
q11	588	494	509	494
q12	811	692	635	635
q13	16644	3223	3150	3150
q14	320	300	296	296
q15	535	489	499	489
q16	504	442	443	442
q17	1837	1513	1505	1505
q18	8173	8050	7811	7811
q19	1786	1529	1539	1529
q20	2047	1833	1830	1830
q21	4965	4871	4836	4836
q22	640	555	565	555
Total cold run time: 72836 ms
Total hot run time: 55825 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 174210 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 2940fa69eec6f5efcee5e363dc9360a19c2e0d74, data reload: false

query1	943	399	382	382
query2	6319	2405	2382	2382
query3	6658	202	212	202
query4	18882	17434	17407	17407
query5	3663	476	477	476
query6	272	196	175	175
query7	4597	307	300	300
query8	343	282	288	282
query9	8696	2442	2415	2415
query10	562	296	280	280
query11	10629	10039	10047	10039
query12	135	87	79	79
query13	1643	364	357	357
query14	10138	6789	7756	6789
query15	241	182	190	182
query16	7743	270	267	267
query17	1893	557	511	511
query18	1932	273	268	268
query19	189	147	150	147
query20	86	78	78	78
query21	221	129	126	126
query22	4445	4051	4088	4051
query23	33834	33705	33739	33705
query24	12130	2913	2819	2819
query25	688	369	378	369
query26	1785	162	155	155
query27	2990	322	322	322
query28	7134	2178	2160	2160
query29	1127	654	633	633
query30	249	158	162	158
query31	1008	752	758	752
query32	97	52	53	52
query33	769	313	316	313
query34	984	478	511	478
query35	776	669	672	669
query36	1142	996	972	972
query37	263	86	79	79
query38	3043	2901	2884	2884
query39	884	834	789	789
query40	257	129	127	127
query41	56	53	55	53
query42	116	103	101	101
query43	601	575	532	532
query44	1214	741	731	731
query45	195	168	167	167
query46	1085	746	714	714
query47	1839	1765	1803	1765
query48	365	310	304	304
query49	955	411	447	411
query50	765	384	385	384
query51	6983	6873	6724	6724
query52	102	91	87	87
query53	362	283	293	283
query54	947	434	439	434
query55	76	75	73	73
query56	274	249	259	249
query57	1158	1046	1052	1046
query58	250	240	239	239
query59	3386	3238	3038	3038
query60	294	270	264	264
query61	95	88	93	88
query62	601	434	437	434
query63	325	293	290	290
query64	9732	2230	1736	1736
query65	3173	3111	3090	3090
query66	1278	322	332	322
query67	15498	15083	14949	14949
query68	5562	532	546	532
query69	614	545	415	415
query70	1194	1165	1128	1128
query71	451	269	273	269
query72	7249	5578	5672	5578
query73	773	329	328	328
query74	5923	5563	5476	5476
query75	3829	2667	2681	2667
query76	3606	953	984	953
query77	603	302	292	292
query78	10347	9749	9792	9749
query79	1501	506	516	506
query80	1971	451	515	451
query81	594	221	224	221
query82	439	100	100	100
query83	297	167	166	166
query84	265	85	85	85
query85	1048	306	284	284
query86	385	307	310	307
query87	3318	3104	3110	3104
query88	4189	2458	2452	2452
query89	473	397	389	389
query90	1791	182	180	180
query91	128	97	96	96
query92	62	48	48	48
query93	2030	502	502	502
query94	1178	190	191	190
query95	402	310	309	309
query96	588	283	269	269
query97	3219	3037	3004	3004
query98	223	196	191	191
query99	1056	856	830	830
Total cold run time: 276423 ms
Total hot run time: 174210 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 30.38 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 2940fa69eec6f5efcee5e363dc9360a19c2e0d74, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.04	0.04
query3	0.22	0.04	0.04
query4	1.69	0.07	0.07
query5	0.51	0.48	0.50
query6	1.14	0.73	0.72
query7	0.02	0.02	0.02
query8	0.06	0.05	0.05
query9	0.55	0.50	0.49
query10	0.53	0.54	0.54
query11	0.15	0.12	0.12
query12	0.15	0.12	0.12
query13	0.60	0.58	0.59
query14	0.77	0.79	0.78
query15	0.83	0.82	0.80
query16	0.36	0.40	0.35
query17	0.97	0.95	1.00
query18	0.22	0.23	0.24
query19	1.83	1.68	1.74
query20	0.01	0.01	0.01
query21	15.47	0.73	0.64
query22	4.81	6.57	1.77
query23	18.23	1.37	1.39
query24	2.18	0.22	0.22
query25	0.16	0.09	0.09
query26	0.26	0.18	0.17
query27	0.07	0.09	0.08
query28	13.20	1.01	0.99
query29	12.58	3.24	3.22
query30	0.26	0.05	0.05
query31	2.89	0.40	0.39
query32	3.24	0.48	0.48
query33	2.90	2.87	2.94
query34	17.18	4.44	4.40
query35	4.48	4.47	4.46
query36	0.66	0.46	0.46
query37	0.17	0.15	0.15
query38	0.15	0.14	0.14
query39	0.05	0.04	0.04
query40	0.17	0.15	0.15
query41	0.09	0.05	0.05
query42	0.06	0.05	0.05
query43	0.04	0.04	0.04
Total cold run time: 110.03 s
Total hot run time: 30.38 s

@xiedeyantu
Copy link
Member Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 41939 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 3ed1e08a2cb5f7ddd4c0c8ff4e6f9e13664295d1, data reload: false

------ Round 1 ----------------------------------
q1	17677	5019	4812	4812
q2	2019	192	194	192
q3	10445	1313	1132	1132
q4	10202	782	850	782
q5	7533	2851	2836	2836
q6	245	139	137	137
q7	1046	603	603	603
q8	9232	2296	2294	2294
q9	8980	6893	6939	6893
q10	9050	3888	3877	3877
q11	456	239	240	239
q12	436	241	239	239
q13	18916	2957	3003	2957
q14	291	221	224	221
q15	536	488	479	479
q16	552	378	379	378
q17	1033	730	668	668
q18	8111	7630	7520	7520
q19	7461	1657	1607	1607
q20	701	338	326	326
q21	5133	3410	4263	3410
q22	416	337	341	337
Total cold run time: 120471 ms
Total hot run time: 41939 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4834	4696	4681	4681
q2	413	283	263	263
q3	3144	2861	2885	2861
q4	1957	1688	1634	1634
q5	5437	5430	5446	5430
q6	236	130	130	130
q7	2227	1770	1784	1770
q8	3456	3622	3628	3622
q9	8499	8530	8446	8446
q10	4110	3845	3795	3795
q11	615	513	509	509
q12	809	602	612	602
q13	17607	3014	2995	2995
q14	311	264	278	264
q15	536	469	491	469
q16	490	413	420	413
q17	1966	1559	1549	1549
q18	7740	7433	7408	7408
q19	1863	1721	1778	1721
q20	2061	1788	1741	1741
q21	5138	4929	4932	4929
q22	670	547	573	547
Total cold run time: 74119 ms
Total hot run time: 55779 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 173811 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 3ed1e08a2cb5f7ddd4c0c8ff4e6f9e13664295d1, data reload: false

query1	921	375	375	375
query2	6451	2554	2508	2508
query3	6644	213	219	213
query4	21159	17587	17313	17313
query5	4219	473	464	464
query6	307	174	192	174
query7	4606	290	295	290
query8	338	293	298	293
query9	8528	2329	2343	2329
query10	634	338	274	274
query11	10797	10384	10207	10207
query12	138	84	81	81
query13	1650	367	385	367
query14	10236	7571	7610	7571
query15	260	198	193	193
query16	8197	265	270	265
query17	1902	539	527	527
query18	2112	265	273	265
query19	191	163	159	159
query20	91	81	84	81
query21	220	143	146	143
query22	4641	4252	4189	4189
query23	33619	32904	33211	32904
query24	11024	2900	2859	2859
query25	620	356	359	356
query26	1358	151	152	151
query27	2948	327	308	308
query28	7596	2011	1992	1992
query29	878	608	635	608
query30	290	148	151	148
query31	941	722	736	722
query32	93	50	55	50
query33	765	302	280	280
query34	961	462	475	462
query35	746	621	611	611
query36	1089	945	938	938
query37	159	71	67	67
query38	2898	2773	2730	2730
query39	859	790	797	790
query40	213	125	122	122
query41	56	51	51	51
query42	121	98	101	98
query43	635	572	527	527
query44	1229	730	727	727
query45	193	171	172	171
query46	1068	696	722	696
query47	1886	1758	1756	1756
query48	371	300	304	300
query49	1085	411	410	410
query50	769	392	394	392
query51	6968	6816	6710	6710
query52	105	93	103	93
query53	359	289	299	289
query54	886	439	437	437
query55	74	78	78	78
query56	277	266	266	266
query57	1140	1074	1056	1056
query58	260	259	251	251
query59	3272	3350	3100	3100
query60	285	284	277	277
query61	92	128	92	92
query62	660	437	461	437
query63	313	298	286	286
query64	8908	2233	1727	1727
query65	3171	3092	3077	3077
query66	948	344	334	334
query67	15374	15209	14931	14931
query68	4558	535	535	535
query69	455	302	297	297
query70	1180	1118	1106	1106
query71	394	329	279	279
query72	7120	6007	5354	5354
query73	753	325	321	321
query74	6044	5520	5505	5505
query75	3552	2628	2664	2628
query76	2795	1027	956	956
query77	465	310	297	297
query78	10452	9948	9826	9826
query79	2538	524	519	519
query80	1685	463	468	463
query81	572	220	223	220
query82	757	101	104	101
query83	290	170	177	170
query84	262	89	86	86
query85	2078	293	276	276
query86	475	313	314	313
query87	3275	3092	3100	3092
query88	4027	2455	2437	2437
query89	475	390	379	379
query90	1824	197	193	193
query91	133	102	99	99
query92	68	58	50	50
query93	1895	494	499	494
query94	1247	190	187	187
query95	404	316	398	316
query96	583	269	270	269
query97	3247	3051	3096	3051
query98	217	207	198	198
query99	1310	853	846	846
Total cold run time: 276934 ms
Total hot run time: 173811 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 30.88 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 3ed1e08a2cb5f7ddd4c0c8ff4e6f9e13664295d1, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.03	0.04
query3	0.23	0.06	0.05
query4	1.68	0.08	0.10
query5	0.51	0.50	0.50
query6	1.13	0.72	0.71
query7	0.03	0.01	0.01
query8	0.06	0.04	0.05
query9	0.55	0.49	0.48
query10	0.54	0.54	0.54
query11	0.16	0.11	0.11
query12	0.14	0.12	0.12
query13	0.60	0.59	0.60
query14	0.78	0.77	0.78
query15	0.82	0.83	0.81
query16	0.34	0.35	0.36
query17	1.00	0.95	1.03
query18	0.24	0.25	0.24
query19	1.78	1.65	1.71
query20	0.02	0.01	0.01
query21	15.45	0.77	0.67
query22	3.85	7.44	2.29
query23	18.30	1.39	1.31
query24	2.12	0.21	0.22
query25	0.14	0.10	0.07
query26	0.26	0.17	0.17
query27	0.08	0.08	0.08
query28	13.25	1.02	1.00
query29	12.66	3.29	3.25
query30	0.25	0.06	0.06
query31	2.87	0.39	0.40
query32	3.27	0.47	0.48
query33	2.92	2.91	2.92
query34	17.03	4.42	4.43
query35	4.47	4.47	4.58
query36	0.66	0.48	0.47
query37	0.18	0.15	0.15
query38	0.15	0.15	0.14
query39	0.04	0.04	0.03
query40	0.17	0.15	0.14
query41	0.09	0.04	0.05
query42	0.06	0.04	0.05
query43	0.04	0.04	0.03
Total cold run time: 109.04 s
Total hot run time: 30.88 s

@xiedeyantu
Copy link
Member Author

xiedeyantu commented Jun 27, 2024

run p0

@doris-robot
Copy link

TPC-H: Total hot run time: 40069 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 3ed1e08a2cb5f7ddd4c0c8ff4e6f9e13664295d1, data reload: false

------ Round 1 ----------------------------------
q1	18037	4503	4378	4378
q2	2364	192	194	192
q3	10482	1190	1208	1190
q4	10196	824	774	774
q5	7457	2644	2611	2611
q6	218	133	136	133
q7	936	592	608	592
q8	9217	2061	2063	2061
q9	8726	6461	6491	6461
q10	8921	3737	3742	3737
q11	481	239	236	236
q12	405	230	231	230
q13	17761	2985	2993	2985
q14	277	224	231	224
q15	527	476	492	476
q16	533	386	376	376
q17	964	639	680	639
q18	8051	7534	7449	7449
q19	7939	1573	1474	1474
q20	666	322	323	322
q21	4832	3198	3307	3198
q22	409	331	332	331
Total cold run time: 119399 ms
Total hot run time: 40069 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4532	4239	4275	4239
q2	370	270	271	270
q3	2957	2769	2750	2750
q4	1854	1569	1586	1569
q5	5282	5271	5264	5264
q6	216	131	130	130
q7	2089	1750	1757	1750
q8	3154	3341	3283	3283
q9	8357	8309	8310	8309
q10	3886	3649	3683	3649
q11	598	489	507	489
q12	772	628	576	576
q13	17434	3012	2972	2972
q14	290	261	270	261
q15	525	477	479	477
q16	480	406	427	406
q17	1760	1476	1478	1476
q18	7565	7509	7471	7471
q19	1696	1550	1605	1550
q20	1986	1801	1774	1774
q21	4815	4646	4635	4635
q22	621	523	555	523
Total cold run time: 71239 ms
Total hot run time: 53823 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 173147 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 3ed1e08a2cb5f7ddd4c0c8ff4e6f9e13664295d1, data reload: false

query1	916	384	370	370
query2	6461	2380	2371	2371
query3	6694	204	209	204
query4	18745	17546	17169	17169
query5	4178	483	456	456
query6	280	189	171	171
query7	4595	308	304	304
query8	311	292	278	278
query9	8483	2420	2410	2410
query10	623	305	287	287
query11	10570	10035	10051	10035
query12	131	94	85	85
query13	1651	375	373	373
query14	9629	6845	7768	6845
query15	225	188	189	188
query16	7896	281	279	279
query17	1904	551	540	540
query18	2030	276	283	276
query19	206	155	160	155
query20	90	87	85	85
query21	216	128	131	128
query22	4251	4126	4037	4037
query23	33651	33100	33147	33100
query24	11113	2761	2868	2761
query25	660	375	389	375
query26	1624	156	156	156
query27	2929	313	319	313
query28	7613	2079	2081	2079
query29	1031	655	624	624
query30	288	153	156	153
query31	955	737	756	737
query32	98	54	58	54
query33	795	303	299	299
query34	907	463	470	463
query35	749	648	653	648
query36	1163	938	958	938
query37	160	72	70	70
query38	2883	2744	2775	2744
query39	873	790	784	784
query40	296	129	134	129
query41	56	53	56	53
query42	131	113	102	102
query43	591	535	545	535
query44	1256	739	731	731
query45	201	165	174	165
query46	1098	711	714	711
query47	1870	1761	1766	1761
query48	380	302	301	301
query49	1187	424	424	424
query50	764	386	395	386
query51	6872	6841	6706	6706
query52	101	100	92	92
query53	367	306	300	300
query54	1003	481	451	451
query55	78	75	76	75
query56	302	284	279	279
query57	1148	1037	1053	1037
query58	261	245	250	245
query59	3360	3445	3210	3210
query60	308	274	299	274
query61	92	90	101	90
query62	648	456	490	456
query63	320	286	287	286
query64	9925	2213	1771	1771
query65	3351	3099	3109	3099
query66	1386	340	337	337
query67	15571	15047	14878	14878
query68	8713	559	564	559
query69	719	477	447	447
query70	1345	1119	1166	1119
query71	525	281	271	271
query72	8576	5441	5684	5441
query73	2171	326	328	326
query74	5820	5451	5456	5451
query75	5234	2637	2652	2637
query76	5156	952	954	952
query77	768	297	303	297
query78	10500	10001	9754	9754
query79	7690	514	530	514
query80	1018	488	491	488
query81	549	226	218	218
query82	751	102	102	102
query83	346	170	166	166
query84	263	85	80	80
query85	1378	268	263	263
query86	402	326	322	322
query87	3286	3109	3081	3081
query88	4394	2374	2354	2354
query89	514	396	387	387
query90	1990	185	185	185
query91	125	139	98	98
query92	64	49	50	49
query93	6008	517	514	514
query94	1173	191	188	188
query95	396	318	316	316
query96	599	269	274	269
query97	3199	3048	3053	3048
query98	218	207	192	192
query99	1197	843	831	831
Total cold run time: 295587 ms
Total hot run time: 173147 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 30.45 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 3ed1e08a2cb5f7ddd4c0c8ff4e6f9e13664295d1, data reload: false

query1	0.04	0.04	0.03
query2	0.08	0.04	0.04
query3	0.23	0.06	0.05
query4	1.67	0.07	0.08
query5	0.52	0.51	0.50
query6	1.13	0.73	0.73
query7	0.02	0.02	0.01
query8	0.06	0.05	0.05
query9	0.56	0.49	0.49
query10	0.55	0.54	0.56
query11	0.15	0.11	0.12
query12	0.15	0.12	0.12
query13	0.59	0.59	0.61
query14	0.76	0.80	0.79
query15	0.84	0.80	0.80
query16	0.37	0.37	0.37
query17	0.98	0.99	0.98
query18	0.22	0.26	0.24
query19	1.76	1.66	1.74
query20	0.01	0.00	0.01
query21	15.45	0.76	0.67
query22	4.10	8.10	1.73
query23	18.25	1.40	1.30
query24	1.89	0.28	0.21
query25	0.15	0.09	0.09
query26	0.26	0.17	0.17
query27	0.08	0.07	0.08
query28	13.25	1.01	1.00
query29	12.65	3.32	3.28
query30	0.26	0.06	0.05
query31	2.88	0.39	0.40
query32	3.23	0.47	0.47
query33	2.88	2.92	2.88
query34	17.16	4.43	4.43
query35	4.50	4.51	4.48
query36	0.65	0.46	0.48
query37	0.18	0.15	0.16
query38	0.15	0.16	0.15
query39	0.04	0.03	0.03
query40	0.18	0.15	0.14
query41	0.10	0.05	0.05
query42	0.05	0.05	0.04
query43	0.04	0.04	0.04
Total cold run time: 109.07 s
Total hot run time: 30.45 s

@xiedeyantu
Copy link
Member Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 39547 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 3ed1e08a2cb5f7ddd4c0c8ff4e6f9e13664295d1, data reload: false

------ Round 1 ----------------------------------
q1	17616	4298	4229	4229
q2	2020	196	197	196
q3	10418	1198	1065	1065
q4	10185	892	815	815
q5	7477	2645	2553	2553
q6	215	134	137	134
q7	943	588	605	588
q8	9237	2054	2038	2038
q9	8969	6446	6454	6446
q10	8994	3730	3736	3730
q11	451	242	242	242
q12	453	229	230	229
q13	17767	2975	2985	2975
q14	265	222	222	222
q15	511	489	480	480
q16	518	381	383	381
q17	949	637	721	637
q18	7954	7502	7281	7281
q19	5964	1494	1455	1455
q20	648	331	331	331
q21	4922	3184	3932	3184
q22	400	343	336	336
Total cold run time: 116876 ms
Total hot run time: 39547 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4334	4619	4244	4244
q2	360	270	271	270
q3	3048	2846	2876	2846
q4	2025	1722	1741	1722
q5	5630	5470	5537	5470
q6	222	132	129	129
q7	2203	1898	1856	1856
q8	3276	3385	3414	3385
q9	8708	8698	8876	8698
q10	4094	3974	3764	3764
q11	592	486	499	486
q12	803	641	662	641
q13	17147	3119	3185	3119
q14	308	267	300	267
q15	537	468	481	468
q16	478	440	425	425
q17	1787	1539	1528	1528
q18	8120	7820	7668	7668
q19	1730	1527	1701	1527
q20	2138	1885	1872	1872
q21	5196	4933	4856	4856
q22	623	536	546	536
Total cold run time: 73359 ms
Total hot run time: 55777 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 174896 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 3ed1e08a2cb5f7ddd4c0c8ff4e6f9e13664295d1, data reload: false

query1	908	372	380	372
query2	6435	2483	2448	2448
query3	6640	203	214	203
query4	21081	18190	17420	17420
query5	3606	473	473	473
query6	255	162	171	162
query7	4591	296	297	296
query8	296	295	286	286
query9	8610	2473	2452	2452
query10	566	299	282	282
query11	10546	10044	9956	9956
query12	119	90	81	81
query13	1656	367	361	361
query14	9570	7762	7593	7593
query15	275	186	190	186
query16	8056	285	291	285
query17	1868	551	529	529
query18	2059	287	280	280
query19	194	154	157	154
query20	91	82	83	82
query21	208	133	127	127
query22	4301	4086	4253	4086
query23	33778	33729	33456	33456
query24	11194	2873	2886	2873
query25	631	403	394	394
query26	1160	158	160	158
query27	2572	328	328	328
query28	7574	2156	2153	2153
query29	919	653	626	626
query30	235	167	164	164
query31	971	764	747	747
query32	103	65	58	58
query33	765	309	307	307
query34	989	484	486	484
query35	780	658	662	658
query36	1117	962	948	948
query37	167	79	77	77
query38	2967	2786	2832	2786
query39	907	820	802	802
query40	216	125	129	125
query41	54	52	59	52
query42	120	102	105	102
query43	605	562	556	556
query44	1246	742	723	723
query45	190	159	168	159
query46	1076	726	731	726
query47	1848	1757	1767	1757
query48	370	304	299	299
query49	847	412	411	411
query50	758	386	400	386
query51	6850	6820	6791	6791
query52	104	88	98	88
query53	352	282	284	282
query54	875	445	441	441
query55	75	76	74	74
query56	278	258	285	258
query57	1170	1049	1073	1049
query58	250	241	244	241
query59	3465	3119	3276	3119
query60	304	294	274	274
query61	96	92	89	89
query62	604	473	445	445
query63	315	288	289	288
query64	8793	2277	1717	1717
query65	3208	3098	3097	3097
query66	738	320	334	320
query67	15466	14934	14913	14913
query68	8594	545	554	545
query69	727	463	410	410
query70	1385	1089	1144	1089
query71	540	279	281	279
query72	9195	5543	5368	5368
query73	2213	324	328	324
query74	5828	5489	5561	5489
query75	5476	2696	2662	2662
query76	5156	967	931	931
query77	793	312	304	304
query78	10545	9850	9840	9840
query79	7553	515	505	505
query80	1028	469	482	469
query81	548	219	221	219
query82	798	104	107	104
query83	392	171	168	168
query84	277	85	89	85
query85	1407	290	281	281
query86	397	307	279	279
query87	3285	3101	3081	3081
query88	4324	2461	2435	2435
query89	497	383	380	380
query90	2000	190	190	190
query91	131	100	104	100
query92	61	55	55	55
query93	5593	512	501	501
query94	1182	225	194	194
query95	423	331	327	327
query96	609	273	277	273
query97	3200	3065	3066	3065
query98	224	208	187	187
query99	1180	842	850	842
Total cold run time: 294594 ms
Total hot run time: 174896 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 31.25 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 3ed1e08a2cb5f7ddd4c0c8ff4e6f9e13664295d1, data reload: false

query1	0.04	0.04	0.03
query2	0.08	0.04	0.04
query3	0.23	0.06	0.06
query4	1.66	0.10	0.10
query5	0.49	0.49	0.50
query6	1.13	0.74	0.72
query7	0.02	0.01	0.02
query8	0.05	0.04	0.04
query9	0.54	0.51	0.48
query10	0.55	0.54	0.54
query11	0.16	0.11	0.12
query12	0.15	0.12	0.12
query13	0.60	0.59	0.61
query14	0.77	0.79	0.78
query15	0.83	0.84	0.80
query16	0.35	0.35	0.36
query17	0.97	1.03	1.03
query18	0.21	0.24	0.23
query19	1.75	1.68	1.70
query20	0.01	0.01	0.01
query21	15.46	0.80	0.67
query22	3.76	6.84	2.48
query23	18.31	1.38	1.28
query24	2.19	0.23	0.22
query25	0.14	0.09	0.09
query26	0.27	0.18	0.17
query27	0.07	0.08	0.07
query28	13.14	1.02	1.00
query29	12.64	3.28	3.28
query30	0.25	0.06	0.06
query31	2.87	0.41	0.37
query32	3.26	0.47	0.48
query33	2.85	2.91	2.96
query34	17.19	4.46	4.44
query35	4.49	4.46	4.49
query36	0.65	0.46	0.48
query37	0.18	0.15	0.16
query38	0.15	0.14	0.14
query39	0.05	0.03	0.03
query40	0.16	0.15	0.17
query41	0.09	0.05	0.05
query42	0.06	0.05	0.05
query43	0.04	0.04	0.04
Total cold run time: 108.86 s
Total hot run time: 31.25 s

@xiedeyantu
Copy link
Member Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 39694 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 3ed1e08a2cb5f7ddd4c0c8ff4e6f9e13664295d1, data reload: false

------ Round 1 ----------------------------------
q1	17621	4293	4253	4253
q2	2019	211	203	203
q3	10441	1162	1101	1101
q4	10199	732	754	732
q5	7464	2625	2611	2611
q6	220	134	137	134
q7	947	584	592	584
q8	9238	2065	2035	2035
q9	8977	6504	6451	6451
q10	8944	3710	3734	3710
q11	442	236	233	233
q12	502	220	233	220
q13	17772	2965	2983	2965
q14	259	214	212	212
q15	527	473	491	473
q16	506	371	373	371
q17	968	784	717	717
q18	8103	7497	7539	7497
q19	3942	1463	1406	1406
q20	655	301	321	301
q21	4934	3128	3852	3128
q22	401	357	357	357
Total cold run time: 115081 ms
Total hot run time: 39694 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4419	4239	4272	4239
q2	358	265	259	259
q3	2967	2728	2980	2728
q4	1966	1727	1763	1727
q5	5651	5558	5530	5530
q6	226	129	128	128
q7	2210	1800	1904	1800
q8	3251	3419	3424	3419
q9	8930	8840	9014	8840
q10	4205	4118	3897	3897
q11	611	506	538	506
q12	844	684	678	678
q13	16254	3208	3254	3208
q14	313	263	286	263
q15	524	501	488	488
q16	511	424	429	424
q17	1830	1516	1507	1507
q18	8265	8003	7789	7789
q19	2241	1655	1627	1627
q20	2149	1896	1846	1846
q21	7873	4934	4865	4865
q22	612	535	571	535
Total cold run time: 76210 ms
Total hot run time: 56303 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 174657 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 3ed1e08a2cb5f7ddd4c0c8ff4e6f9e13664295d1, data reload: false

query1	918	377	377	377
query2	6480	2546	2389	2389
query3	6635	208	210	208
query4	18897	17566	17426	17426
query5	3607	482	470	470
query6	258	163	153	153
query7	4583	293	297	293
query8	329	312	300	300
query9	8800	2445	2432	2432
query10	577	294	285	285
query11	10594	10035	9908	9908
query12	116	88	81	81
query13	1652	389	364	364
query14	9788	7433	8032	7433
query15	285	194	196	194
query16	7959	284	277	277
query17	1882	579	556	556
query18	1932	278	273	273
query19	203	162	153	153
query20	87	82	83	82
query21	219	130	123	123
query22	4446	4182	4182	4182
query23	33745	33696	33586	33586
query24	11034	2850	2827	2827
query25	586	408	401	401
query26	694	157	161	157
query27	2310	331	347	331
query28	6173	2160	2138	2138
query29	897	653	617	617
query30	253	156	158	156
query31	1009	801	773	773
query32	97	56	57	56
query33	719	311	309	309
query34	889	492	496	492
query35	789	659	721	659
query36	1113	982	975	975
query37	143	76	75	75
query38	2947	2801	2788	2788
query39	891	812	803	803
query40	202	121	131	121
query41	54	53	53	53
query42	124	97	103	97
query43	602	527	573	527
query44	1162	740	717	717
query45	193	167	168	167
query46	1069	709	729	709
query47	1876	1767	1795	1767
query48	386	291	307	291
query49	841	405	411	405
query50	768	387	394	387
query51	6855	6786	6743	6743
query52	104	92	94	92
query53	360	290	290	290
query54	928	457	432	432
query55	70	70	71	70
query56	281	256	262	256
query57	1154	1062	1085	1062
query58	258	229	230	229
query59	3336	3177	3334	3177
query60	325	283	282	282
query61	93	120	89	89
query62	629	433	459	433
query63	316	287	289	287
query64	8470	2253	1738	1738
query65	3138	3129	3092	3092
query66	739	324	324	324
query67	15679	15107	14889	14889
query68	8537	549	532	532
query69	707	460	415	415
query70	1366	1120	1011	1011
query71	506	280	268	268
query72	8558	5498	5563	5498
query73	2228	326	321	321
query74	6153	5480	5530	5480
query75	4971	2684	2661	2661
query76	5110	918	919	918
query77	742	295	291	291
query78	10440	9762	9757	9757
query79	4584	512	501	501
query80	2568	478	470	470
query81	605	224	230	224
query82	285	101	109	101
query83	313	170	172	170
query84	274	85	90	85
query85	878	337	271	271
query86	362	337	336	336
query87	3283	3053	3091	3053
query88	4425	2437	2438	2437
query89	484	403	386	386
query90	1898	186	182	182
query91	125	98	98	98
query92	59	48	48	48
query93	4752	507	505	505
query94	1262	192	188	188
query95	399	324	320	320
query96	621	269	264	264
query97	3236	3033	3000	3000
query98	215	201	199	199
query99	1162	839	853	839
Total cold run time: 285656 ms
Total hot run time: 174657 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 30.61 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 3ed1e08a2cb5f7ddd4c0c8ff4e6f9e13664295d1, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.04	0.04
query3	0.22	0.06	0.05
query4	1.67	0.07	0.07
query5	0.48	0.48	0.47
query6	1.13	0.72	0.72
query7	0.03	0.01	0.01
query8	0.06	0.05	0.05
query9	0.56	0.50	0.49
query10	0.54	0.54	0.54
query11	0.15	0.11	0.11
query12	0.15	0.11	0.12
query13	0.60	0.59	0.60
query14	0.77	0.79	0.76
query15	0.82	0.81	0.81
query16	0.36	0.36	0.36
query17	1.02	1.01	0.98
query18	0.20	0.28	0.26
query19	1.86	1.82	1.74
query20	0.02	0.01	0.01
query21	15.43	0.76	0.67
query22	4.18	7.31	1.89
query23	18.28	1.35	1.26
query24	2.14	0.22	0.22
query25	0.15	0.10	0.09
query26	0.26	0.16	0.17
query27	0.07	0.08	0.09
query28	13.26	1.01	1.00
query29	12.61	3.29	3.29
query30	0.25	0.05	0.06
query31	2.87	0.40	0.39
query32	3.27	0.46	0.47
query33	2.92	2.89	2.94
query34	17.30	4.39	4.40
query35	4.49	4.52	4.50
query36	0.64	0.48	0.47
query37	0.18	0.15	0.16
query38	0.15	0.15	0.14
query39	0.04	0.03	0.04
query40	0.18	0.14	0.14
query41	0.09	0.05	0.05
query42	0.06	0.05	0.05
query43	0.05	0.04	0.04
Total cold run time: 109.63 s
Total hot run time: 30.61 s

@xiedeyantu
Copy link
Member Author

run buildall

@github-actions github-actions bot added the approved Indicates a PR has been approved by one committer. label Jul 1, 2024
@github-actions
Copy link
Contributor

github-actions bot commented Jul 1, 2024

PR approved by at least one committer and no changes requested.

@xiedeyantu
Copy link
Member Author

run buildall

@github-actions github-actions bot removed the approved Indicates a PR has been approved by one committer. label Jul 3, 2024
@doris-robot
Copy link

TPC-H: Total hot run time: 40096 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit fc1e2eb4dbb0ddb7e39b696c9dff4699683baec8, data reload: false

------ Round 1 ----------------------------------
q1	18462	4444	4390	4390
q2	2502	203	203	203
q3	12257	1161	1211	1161
q4	10339	830	869	830
q5	7565	2691	2682	2682
q6	223	137	141	137
q7	963	609	613	609
q8	9231	2094	2089	2089
q9	9025	6495	6478	6478
q10	8955	3697	3750	3697
q11	506	241	241	241
q12	403	257	238	238
q13	18748	2974	2997	2974
q14	263	218	224	218
q15	520	492	489	489
q16	522	380	373	373
q17	977	627	746	627
q18	8068	7518	7381	7381
q19	6239	1467	1457	1457
q20	671	332	322	322
q21	4920	3164	3908	3164
q22	396	336	346	336
Total cold run time: 121755 ms
Total hot run time: 40096 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4390	4255	4225	4225
q2	383	276	265	265
q3	2992	2737	2740	2737
q4	1874	1619	1649	1619
q5	5245	5297	5274	5274
q6	218	131	132	131
q7	2154	1657	1754	1657
q8	3200	3341	3296	3296
q9	8382	8411	8347	8347
q10	3847	3683	3652	3652
q11	569	479	498	479
q12	793	643	603	603
q13	17359	2992	2981	2981
q14	311	256	262	256
q15	525	472	478	472
q16	465	413	421	413
q17	1782	1489	1467	1467
q18	7658	7576	7243	7243
q19	1677	1415	1612	1415
q20	1956	1799	1787	1787
q21	4779	4601	4876	4601
q22	596	565	545	545
Total cold run time: 71155 ms
Total hot run time: 53465 ms

@xiedeyantu
Copy link
Member Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 40104 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 439aaa43e0f8e3cca62cfa0a7436d05a6a7be1bf, data reload: false

------ Round 1 ----------------------------------
q1	17614	6325	4303	4303
q2	2026	196	191	191
q3	10565	1151	1076	1076
q4	10335	880	824	824
q5	7477	2683	2602	2602
q6	225	139	139	139
q7	946	594	608	594
q8	9226	2103	2068	2068
q9	8962	6519	6533	6519
q10	9013	3752	3752	3752
q11	443	242	240	240
q12	431	242	236	236
q13	19286	3020	2977	2977
q14	260	232	228	228
q15	528	514	482	482
q16	529	375	379	375
q17	1011	709	704	704
q18	8183	7450	7562	7450
q19	1677	1522	1372	1372
q20	663	331	340	331
q21	5006	3302	4034	3302
q22	399	339	345	339
Total cold run time: 114805 ms
Total hot run time: 40104 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4346	4235	4257	4235
q2	373	274	260	260
q3	2985	2777	2813	2777
q4	1896	1608	1643	1608
q5	5266	5302	5294	5294
q6	220	128	129	128
q7	2125	1740	1701	1701
q8	3181	3369	3330	3330
q9	8386	8326	8373	8326
q10	3871	3679	3660	3660
q11	583	488	495	488
q12	810	628	600	600
q13	16335	3011	3005	3005
q14	287	271	253	253
q15	512	477	488	477
q16	462	421	418	418
q17	1768	1489	1446	1446
q18	7673	7595	7346	7346
q19	1659	1569	1571	1569
q20	1964	1795	1761	1761
q21	4982	4741	4714	4714
q22	594	561	521	521
Total cold run time: 70278 ms
Total hot run time: 53917 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 169987 ms
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 439aaa43e0f8e3cca62cfa0a7436d05a6a7be1bf, data reload: false

query1	912	384	375	375
query2	6471	2409	2224	2224
query3	6645	203	206	203
query4	23624	17395	17369	17369
query5	4175	489	470	470
query6	254	175	166	166
query7	4600	312	294	294
query8	304	291	275	275
query9	8510	2391	2367	2367
query10	632	304	286	286
query11	10456	10027	9926	9926
query12	142	84	82	82
query13	1639	371	382	371
query14	10273	7804	6258	6258
query15	234	181	191	181
query16	8151	277	280	277
query17	1872	555	546	546
query18	2101	280	283	280
query19	203	157	159	157
query20	94	86	87	86
query21	220	140	131	131
query22	4464	4108	4052	4052
query23	33831	33090	33075	33075
query24	12003	2854	2877	2854
query25	668	382	390	382
query26	1762	169	162	162
query27	3036	321	320	320
query28	7704	2095	2071	2071
query29	1088	619	598	598
query30	276	150	150	150
query31	967	717	733	717
query32	97	57	56	56
query33	792	284	276	276
query34	1014	473	475	473
query35	748	637	608	608
query36	1119	939	927	927
query37	283	73	77	73
query38	2844	2771	2762	2762
query39	879	804	808	804
query40	280	125	125	125
query41	55	51	53	51
query42	113	96	103	96
query43	597	547	550	547
query44	1221	743	737	737
query45	192	161	162	161
query46	1079	740	722	722
query47	1853	1762	1772	1762
query48	365	302	296	296
query49	1208	410	403	403
query50	767	383	379	379
query51	6864	6824	6801	6801
query52	111	91	96	91
query53	363	286	285	285
query54	959	464	448	448
query55	77	73	76	73
query56	287	260	265	260
query57	1133	1034	1058	1034
query58	253	247	250	247
query59	3331	3137	3207	3137
query60	304	282	276	276
query61	98	97	120	97
query62	644	438	437	437
query63	324	289	288	288
query64	9899	2240	1791	1791
query65	3234	3107	3125	3107
query66	1372	346	325	325
query67	15367	14943	15133	14943
query68	4843	550	544	544
query69	539	323	311	311
query70	1184	1103	1151	1103
query71	441	281	283	281
query72	7830	5738	2761	2761
query73	736	327	324	324
query74	5933	5527	5498	5498
query75	3800	2672	2648	2648
query76	3115	941	914	914
query77	507	306	343	306
query78	10242	9862	9807	9807
query79	2305	498	513	498
query80	1079	487	484	484
query81	551	220	219	219
query82	824	110	108	108
query83	267	166	171	166
query84	243	87	85	85
query85	1998	280	278	278
query86	459	320	325	320
query87	3283	3099	3090	3090
query88	4132	2445	2437	2437
query89	477	395	398	395
query90	2037	188	197	188
query91	134	119	104	104
query92	61	50	53	50
query93	2361	512	515	512
query94	1392	253	199	199
query95	446	326	313	313
query96	624	279	274	274
query97	3300	3123	3099	3099
query98	219	206	205	205
query99	1170	863	871	863
Total cold run time: 283969 ms
Total hot run time: 169987 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 30.52 s
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 439aaa43e0f8e3cca62cfa0a7436d05a6a7be1bf, data reload: false

query1	0.04	0.03	0.04
query2	0.09	0.03	0.04
query3	0.23	0.05	0.05
query4	1.68	0.08	0.07
query5	0.47	0.50	0.47
query6	1.15	0.73	0.73
query7	0.02	0.01	0.02
query8	0.05	0.04	0.04
query9	0.54	0.49	0.48
query10	0.55	0.54	0.55
query11	0.16	0.11	0.11
query12	0.15	0.12	0.14
query13	0.59	0.59	0.57
query14	0.77	0.78	0.79
query15	0.83	0.81	0.82
query16	0.36	0.36	0.37
query17	1.03	0.98	0.96
query18	0.25	0.22	0.24
query19	1.82	1.71	1.80
query20	0.01	0.00	0.00
query21	15.49	0.76	0.66
query22	4.62	6.85	1.97
query23	18.28	1.34	1.27
query24	2.12	0.23	0.23
query25	0.15	0.07	0.08
query26	0.24	0.16	0.17
query27	0.08	0.09	0.08
query28	13.22	1.01	1.00
query29	12.56	3.25	3.24
query30	0.26	0.06	0.06
query31	2.86	0.39	0.38
query32	3.27	0.48	0.46
query33	2.93	2.85	2.97
query34	17.07	4.47	4.47
query35	4.53	4.52	4.45
query36	0.66	0.47	0.47
query37	0.18	0.16	0.15
query38	0.15	0.14	0.16
query39	0.05	0.04	0.04
query40	0.17	0.14	0.15
query41	0.10	0.05	0.05
query42	0.06	0.05	0.05
query43	0.04	0.04	0.04
Total cold run time: 109.88 s
Total hot run time: 30.52 s

@github-actions
Copy link
Contributor

github-actions bot commented Jul 3, 2024

PR approved by at least one committer and no changes requested.

@github-actions github-actions bot added the approved Indicates a PR has been approved by one committer. label Jul 3, 2024
@morrySnow morrySnow merged commit cc14cd5 into apache:master Jul 3, 2024
dataroaring pushed a commit that referenced this pull request Jul 17, 2024
…tionSpecGather (#36877)

TopN should forbid two-phase topN if child is DistributionSpecGather.
morrySnow pushed a commit that referenced this pull request Jul 23, 2024
@gavinchou gavinchou mentioned this pull request Aug 19, 2024
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

approved Indicates a PR has been approved by one committer. dev/2.1.6-merged dev/3.0.1-merged reviewed

Projects

None yet

Development

Successfully merging this pull request may close these issues.

5 participants