[opt](Nereids) support where, group by, having, order by clause without from clause in query statement

[starocean999]

Proposed changes

pick from master #27006

Further comments

If this is a relatively large or complex change, kick off the discussion at dev@doris.apache.org by explaining why you chose the solution you did and what alternatives you considered, etc...

[doris-robot]

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website.
See Doris Document.

[starocean999]

run buildall

[doris-robot]

TPC-H: Total hot run time: 49479 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit cdc598c1f07af5cda51484ac7b79ffea5a564ffa, data reload: false

------ Round 1 ----------------------------------
q1	17689	4383	4386	4383
q2	2044	153	141	141
q3	10477	1921	1884	1884
q4	10317	1243	1318	1243
q5	8438	3897	3929	3897
q6	236	124	123	123
q7	2048	1597	1598	1597
q8	9563	2722	2688	2688
q9	14054	10202	10054	10054
q10	8637	3520	3521	3520
q11	418	243	247	243
q12	469	298	301	298
q13	18332	3966	4033	3966
q14	361	319	337	319
q15	512	461	460	460
q16	661	570	569	569
q17	1130	925	927	925
q18	7168	6906	6815	6815
q19	1694	1566	1570	1566
q20	531	310	300	300
q21	4389	4111	4096	4096
q22	498	392	392	392
Total cold run time: 119666 ms
Total hot run time: 49479 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4284	4255	4265	4255
q2	317	221	224	221
q3	4180	4090	4178	4090
q4	2755	2740	2744	2740
q5	7096	7021	7074	7021
q6	236	117	118	117
q7	3266	2871	2886	2871
q8	4336	4478	4451	4451
q9	16868	16811	16696	16696
q10	4264	4232	4254	4232
q11	768	670	692	670
q12	1019	862	855	855
q13	6864	3729	3705	3705
q14	460	416	423	416
q15	514	461	468	461
q16	732	675	680	675
q17	3950	3887	3870	3870
q18	8741	8694	8710	8694
q19	1736	1702	1671	1671
q20	2354	2149	2116	2116
q21	8528	8424	8443	8424
q22	1045	921	928	921
Total cold run time: 84313 ms
Total hot run time: 79172 ms

[doris-robot]

TPC-DS: Total hot run time: 202160 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit cdc598c1f07af5cda51484ac7b79ffea5a564ffa, data reload: false

query1	915	383	380	380
query2	6520	2811	2640	2640
query3	6916	202	199	199
query4	21373	18109	18070	18070
query5	19732	6490	6530	6490
query6	295	225	239	225
query7	4243	304	306	304
query8	261	293	239	239
query9	3184	2720	2637	2637
query10	426	296	312	296
query11	11349	10721	10682	10682
query12	117	78	70	70
query13	5579	707	698	698
query14	18011	13081	13238	13081
query15	361	220	225	220
query16	6440	282	259	259
query17	1508	1484	890	890
query18	2253	413	400	400
query19	209	147	149	147
query20	79	78	80	78
query21	190	96	89	89
query22	5180	5052	4934	4934
query23	32468	31917	31841	31841
query24	6905	6516	6602	6516
query25	531	425	418	418
query26	535	161	161	161
query27	1902	294	298	294
query28	6143	2396	2364	2364
query29	2944	2960	2633	2633
query30	249	169	167	167
query31	914	724	748	724
query32	68	61	66	61
query33	394	255	246	246
query34	846	479	474	474
query35	1132	902	922	902
query36	1354	1159	1151	1151
query37	94	61	62	61
query38	3077	2879	2881	2879
query39	1382	1350	1330	1330
query40	202	97	95	95
query41	38	35	35	35
query42	81	77	84	77
query43	783	693	644	644
query44	1142	743	733	733
query45	238	230	236	230
query46	1223	965	986	965
query47	1883	1708	1717	1708
query48	1010	722	717	717
query49	630	372	374	372
query50	883	597	603	597
query51	4694	4654	4691	4654
query52	91	92	81	81
query53	441	328	315	315
query54	2645	2483	2472	2472
query55	87	77	82	77
query56	218	213	218	213
query57	1231	1151	1039	1039
query58	213	194	203	194
query59	3996	3795	4083	3795
query60	218	186	207	186
query61	89	88	91	88
query62	851	465	543	465
query63	470	348	338	338
query64	2407	1498	1445	1445
query65	3625	3555	3577	3555
query66	843	374	375	374
query67	15294	15237	14680	14680
query68	10351	666	666	666
query69	577	356	356	356
query70	1849	1351	1331	1331
query71	413	323	323	323
query72	6494	3446	3433	3433
query73	742	323	324	323
query74	6354	5839	5830	5830
query75	5489	3732	3811	3732
query76	6853	1134	1178	1134
query77	1169	258	254	254
query78	12508	11910	11670	11670
query79	10408	662	641	641
query80	1269	417	397	397
query81	464	233	239	233
query82	831	99	97	97
query83	163	136	134	134
query84	251	69	70	69
query85	868	305	302	302
query86	342	290	291	290
query87	3267	3018	3003	3003
query88	4298	2329	2331	2329
query89	483	296	304	296
query90	1947	217	210	210
query91	168	140	132	132
query92	57	50	60	50
query93	6947	570	567	567
query94	734	205	211	205
query95	1117	1067	1063	1063
query96	639	330	345	330
query97	6410	6325	6472	6325
query98	196	171	175	171
query99	3097	897	870	870
Total cold run time: 318360 ms
Total hot run time: 202160 ms

[doris-robot]

ClickBench: Total hot run time: 30.94 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit cdc598c1f07af5cda51484ac7b79ffea5a564ffa, data reload: false

query1	0.02	0.02	0.02
query2	0.07	0.02	0.02
query3	0.25	0.04	0.05
query4	1.80	0.06	0.06
query5	0.54	0.52	0.53
query6	1.23	0.62	0.60
query7	0.01	0.01	0.01
query8	0.03	0.02	0.02
query9	0.53	0.48	0.49
query10	0.54	0.53	0.54
query11	0.12	0.10	0.09
query12	0.12	0.10	0.10
query13	0.62	0.61	0.61
query14	0.80	0.77	0.80
query15	0.78	0.77	0.77
query16	0.37	0.39	0.37
query17	0.98	1.02	1.02
query18	0.22	0.27	0.25
query19	1.92	1.84	1.85
query20	0.02	0.01	0.01
query21	15.49	0.55	0.56
query22	2.14	2.65	1.50
query23	17.03	1.06	1.07
query24	7.52	1.50	1.11
query25	0.38	0.10	0.07
query26	0.86	0.16	0.16
query27	0.03	0.03	0.04
query28	5.05	0.75	0.76
query29	12.63	2.38	2.27
query30	0.59	0.59	0.53
query31	2.81	0.39	0.37
query32	3.38	0.50	0.49
query33	3.06	3.10	3.07
query34	15.25	4.79	4.77
query35	4.82	4.84	4.81
query36	1.06	1.01	1.04
query37	0.06	0.05	0.05
query38	0.04	0.02	0.02
query39	0.02	0.02	0.01
query40	0.16	0.14	0.14
query41	0.07	0.02	0.01
query42	0.02	0.02	0.01
query43	0.02	0.02	0.02
Total cold run time: 103.46 s
Total hot run time: 30.94 s

[doris-robot]

Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'

Load test result on commit cdc598c1f07af5cda51484ac7b79ffea5a564ffa with default session variables
Stream load json:         20 seconds loaded 2358488459 Bytes, about 112 MB/s
Stream load orc:          58 seconds loaded 1101869774 Bytes, about 18 MB/s
Stream load parquet:      31 seconds loaded 861443392 Bytes, about 26 MB/s
Insert into select:       21.1 seconds inserted 10000000 Rows, about 473K ops/s

[starocean999]

run buildall

[doris-robot]

TPC-H: Total hot run time: 49843 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit f86c90764700fc205c99d8650fd9122eae680e37, data reload: false

------ Round 1 ----------------------------------
q1	18008	4637	4613	4613
q2	2471	170	151	151
q3	11082	1915	1975	1915
q4	10103	1237	1301	1237
q5	8425	3932	3895	3895
q6	234	127	124	124
q7	2032	1636	1597	1597
q8	9326	2727	2703	2703
q9	10655	10177	10350	10177
q10	8612	3527	3497	3497
q11	433	241	252	241
q12	467	300	300	300
q13	18372	3975	4016	3975
q14	354	336	336	336
q15	521	457	460	457
q16	695	569	574	569
q17	1122	929	971	929
q18	7242	6770	6934	6770
q19	1753	1573	1559	1559
q20	524	318	299	299
q21	4421	4187	4113	4113
q22	497	386	395	386
Total cold run time: 117349 ms
Total hot run time: 49843 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4343	4256	4291	4256
q2	323	224	221	221
q3	4153	4172	4145	4145
q4	2756	2733	2738	2733
q5	7184	7089	7056	7056
q6	235	121	121	121
q7	3238	2830	2845	2830
q8	4352	4450	4498	4450
q9	16898	16630	16836	16630
q10	4246	4266	4238	4238
q11	790	696	692	692
q12	1050	860	865	860
q13	7580	3721	3745	3721
q14	447	417	419	417
q15	525	468	468	468
q16	737	682	678	678
q17	3936	3894	3805	3805
q18	8728	8725	8877	8725
q19	1700	1688	1648	1648
q20	2369	2130	2099	2099
q21	8456	8430	8452	8430
q22	1069	959	916	916
Total cold run time: 85115 ms
Total hot run time: 79139 ms

[doris-robot]

TPC-DS: Total hot run time: 203526 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit f86c90764700fc205c99d8650fd9122eae680e37, data reload: false

query1	921	388	376	376
query2	6531	2852	2879	2852
query3	6924	203	202	202
query4	20438	18175	17910	17910
query5	19723	6516	6478	6478
query6	281	219	233	219
query7	4173	300	300	300
query8	256	248	245	245
query9	3123	2702	2613	2613
query10	415	292	302	292
query11	11309	10738	10801	10738
query12	122	84	80	80
query13	5578	694	684	684
query14	17731	13610	13165	13165
query15	363	230	222	222
query16	6458	283	263	263
query17	1739	1454	883	883
query18	2306	407	415	407
query19	209	144	158	144
query20	79	78	82	78
query21	188	90	98	90
query22	5248	5163	5105	5105
query23	32799	31854	31906	31854
query24	6958	6449	6471	6449
query25	494	426	413	413
query26	522	161	157	157
query27	1906	295	297	295
query28	6170	2385	2324	2324
query29	2954	2861	2664	2664
query30	250	163	168	163
query31	921	768	755	755
query32	72	61	63	61
query33	381	260	237	237
query34	865	471	486	471
query35	1131	923	944	923
query36	1337	1289	1132	1132
query37	91	63	58	58
query38	3075	2976	2908	2908
query39	1382	1321	1335	1321
query40	202	92	93	92
query41	38	36	36	36
query42	88	87	87	87
query43	678	726	655	655
query44	1123	736	733	733
query45	243	229	233	229
query46	1241	947	953	947
query47	1759	1949	1658	1658
query48	1022	705	703	703
query49	633	360	372	360
query50	854	587	598	587
query51	4706	4695	4708	4695
query52	95	77	90	77
query53	443	316	319	316
query54	2660	2431	2430	2430
query55	91	85	77	77
query56	246	201	211	201
query57	1336	1143	1087	1087
query58	206	187	207	187
query59	4333	3794	3872	3794
query60	199	198	206	198
query61	88	91	83	83
query62	856	502	468	468
query63	474	338	340	338
query64	2513	1456	1444	1444
query65	3625	3549	3531	3531
query66	780	367	383	367
query67	16920	16073	15549	15549
query68	8717	659	652	652
query69	591	339	346	339
query70	1529	1497	1604	1497
query71	421	318	325	318
query72	6528	3435	3389	3389
query73	731	327	328	327
query74	6439	5827	5955	5827
query75	4970	3683	3690	3683
query76	5018	1120	1212	1120
query77	689	263	251	251
query78	12629	13066	11999	11999
query79	9279	642	680	642
query80	786	390	401	390
query81	508	241	227	227
query82	297	101	97	97
query83	164	134	129	129
query84	258	70	69	69
query85	762	290	290	290
query86	338	288	296	288
query87	3267	3053	3048	3048
query88	4700	2331	2327	2327
query89	438	294	283	283
query90	1908	220	209	209
query91	163	135	133	133
query92	59	57	51	51
query93	3940	587	585	585
query94	700	209	208	208
query95	1133	1067	1042	1042
query96	648	324	339	324
query97	6498	6328	6395	6328
query98	185	180	174	174
query99	2890	820	872	820
Total cold run time: 310058 ms
Total hot run time: 203526 ms

[doris-robot]

ClickBench: Total hot run time: 31.15 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit f86c90764700fc205c99d8650fd9122eae680e37, data reload: false

query1	0.02	0.02	0.02
query2	0.07	0.02	0.02
query3	0.25	0.04	0.04
query4	1.80	0.06	0.06
query5	0.53	0.52	0.51
query6	1.29	0.62	0.63
query7	0.01	0.02	0.01
query8	0.03	0.02	0.03
query9	0.53	0.50	0.48
query10	0.54	0.52	0.53
query11	0.11	0.09	0.09
query12	0.11	0.09	0.10
query13	0.62	0.60	0.61
query14	0.77	0.78	0.80
query15	0.78	0.77	0.77
query16	0.36	0.38	0.36
query17	0.96	0.97	1.00
query18	0.22	0.27	0.22
query19	1.94	1.88	1.78
query20	0.02	0.01	0.01
query21	15.51	0.55	0.54
query22	1.96	1.71	1.76
query23	17.36	1.11	0.94
query24	5.25	1.48	1.37
query25	0.34	0.14	0.04
query26	0.61	0.15	0.16
query27	0.04	0.05	0.03
query28	7.72	0.72	0.69
query29	12.75	2.36	2.37
query30	0.62	0.53	0.53
query31	2.81	0.40	0.37
query32	3.35	0.50	0.50
query33	3.06	3.08	3.05
query34	15.29	4.78	4.79
query35	4.84	4.86	4.84
query36	1.06	1.05	1.03
query37	0.06	0.05	0.04
query38	0.03	0.02	0.02
query39	0.02	0.02	0.01
query40	0.16	0.14	0.14
query41	0.07	0.02	0.01
query42	0.03	0.01	0.02
query43	0.02	0.02	0.02
Total cold run time: 103.92 s
Total hot run time: 31.15 s

[doris-robot]

Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'

Load test result on commit f86c90764700fc205c99d8650fd9122eae680e37 with default session variables
Stream load json:         20 seconds loaded 2358488459 Bytes, about 112 MB/s
Stream load orc:          58 seconds loaded 1101869774 Bytes, about 18 MB/s
Stream load parquet:      31 seconds loaded 861443392 Bytes, about 26 MB/s
Insert into select:       21.6 seconds inserted 10000000 Rows, about 462K ops/s

[starocean999]

run buildall

[doris-robot]

TPC-H: Total hot run time: 50259 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit c2118a67caa9b79d8f42cf38d7503c985905319c, data reload: false

------ Round 1 ----------------------------------
q1	17560	4409	4277	4277
q2	2023	157	144	144
q3	10266	1881	1908	1881
q4	10106	1253	1340	1253
q5	8512	3961	3942	3942
q6	238	128	127	127
q7	2032	1591	1599	1591
q8	9253	2730	2717	2717
q9	11031	11529	10886	10886
q10	8592	3482	3530	3482
q11	415	249	251	249
q12	468	300	305	300
q13	18366	3970	4005	3970
q14	358	327	318	318
q15	514	470	458	458
q16	695	575	586	575
q17	1139	956	953	953
q18	7281	6791	6836	6791
q19	1720	1598	1557	1557
q20	557	305	305	305
q21	4432	4133	4097	4097
q22	490	386	399	386
Total cold run time: 116048 ms
Total hot run time: 50259 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4306	4275	4303	4275
q2	323	224	227	224
q3	4161	4175	4131	4131
q4	2734	2721	2735	2721
q5	7187	7145	7184	7145
q6	239	120	117	117
q7	3292	2825	2872	2825
q8	4331	4425	4445	4425
q9	17393	17046	17069	17046
q10	4259	4234	4246	4234
q11	737	654	647	647
q12	1032	863	869	863
q13	4468	3716	3697	3697
q14	452	421	423	421
q15	499	466	449	449
q16	724	674	680	674
q17	3793	3831	3843	3831
q18	8818	8703	8780	8703
q19	1710	1695	1601	1601
q20	2359	2147	2137	2137
q21	8486	8415	8484	8415
q22	1005	935	931	931
Total cold run time: 82308 ms
Total hot run time: 79512 ms

[doris-robot]

TPC-DS: Total hot run time: 202612 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit c2118a67caa9b79d8f42cf38d7503c985905319c, data reload: false

query1	924	393	369	369
query2	6524	2746	2735	2735
query3	6915	205	198	198
query4	19939	18003	17854	17854
query5	19736	6529	6485	6485
query6	287	221	235	221
query7	4150	311	316	311
query8	242	256	219	219
query9	3081	2659	2589	2589
query10	415	290	299	290
query11	11271	10702	10717	10702
query12	122	72	77	72
query13	5573	697	690	690
query14	17747	13301	13411	13301
query15	377	227	229	227
query16	6473	270	260	260
query17	1720	1474	874	874
query18	2306	405	400	400
query19	210	145	155	145
query20	79	80	80	80
query21	193	91	91	91
query22	5254	4998	5020	4998
query23	32732	32014	31873	31873
query24	6935	6464	6435	6435
query25	521	415	425	415
query26	538	161	159	159
query27	1872	294	301	294
query28	6198	2414	2350	2350
query29	2999	2625	2676	2625
query30	238	161	162	161
query31	918	728	750	728
query32	67	64	62	62
query33	401	250	254	250
query34	856	477	479	477
query35	1156	933	964	933
query36	1313	1047	1137	1047
query37	88	58	60	58
query38	3052	2925	2945	2925
query39	1356	1310	1333	1310
query40	206	95	93	93
query41	41	43	37	37
query42	83	84	82	82
query43	776	662	759	662
query44	1124	739	739	739
query45	244	233	224	224
query46	1231	966	969	966
query47	1769	1668	1638	1638
query48	1006	707	703	703
query49	615	372	370	370
query50	863	637	629	629
query51	4744	4638	4672	4638
query52	87	86	87	86
query53	448	320	318	318
query54	2654	2431	2420	2420
query55	92	87	81	81
query56	224	215	206	206
query57	1206	1127	1051	1051
query58	203	212	210	210
query59	4222	4099	4056	4056
query60	217	188	209	188
query61	89	84	84	84
query62	831	492	464	464
query63	476	347	343	343
query64	2538	1476	1469	1469
query65	3631	3604	3539	3539
query66	822	383	382	382
query67	15849	15141	15393	15141
query68	9620	650	648	648
query69	592	354	351	351
query70	1745	1423	1376	1376
query71	417	313	313	313
query72	6497	3432	3441	3432
query73	730	328	325	325
query74	6368	5883	5890	5883
query75	5312	3663	3755	3663
query76	6048	1136	1207	1136
query77	1017	260	253	253
query78	12946	11886	11660	11660
query79	8210	644	632	632
query80	1401	382	389	382
query81	495	238	229	229
query82	1571	100	97	97
query83	178	131	129	129
query84	255	69	71	69
query85	850	297	297	297
query86	342	310	297	297
query87	3171	3061	3010	3010
query88	4842	2333	2313	2313
query89	392	273	276	273
query90	1943	210	205	205
query91	165	132	164	132
query92	57	56	52	52
query93	6332	565	609	565
query94	691	202	203	202
query95	1111	1048	1035	1035
query96	645	332	321	321
query97	6599	6420	6352	6352
query98	195	176	164	164
query99	2843	784	953	784
Total cold run time: 314649 ms
Total hot run time: 202612 ms

[doris-robot]

ClickBench: Total hot run time: 30.46 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit c2118a67caa9b79d8f42cf38d7503c985905319c, data reload: false

query1	0.03	0.02	0.02
query2	0.07	0.02	0.03
query3	0.25	0.04	0.05
query4	1.78	0.07	0.06
query5	0.53	0.53	0.52
query6	1.24	0.63	0.62
query7	0.01	0.01	0.01
query8	0.03	0.03	0.02
query9	0.54	0.47	0.47
query10	0.55	0.52	0.54
query11	0.12	0.08	0.09
query12	0.11	0.09	0.09
query13	0.62	0.61	0.62
query14	0.78	0.79	0.78
query15	0.78	0.77	0.76
query16	0.39	0.37	0.36
query17	1.00	1.00	0.96
query18	0.23	0.25	0.24
query19	1.90	1.85	1.84
query20	0.01	0.01	0.02
query21	15.47	0.54	0.56
query22	2.04	2.18	1.32
query23	16.86	1.09	0.96
query24	7.94	1.46	1.01
query25	0.40	0.09	0.04
query26	0.88	0.15	0.14
query27	0.04	0.03	0.04
query28	4.81	0.74	0.78
query29	12.60	2.28	2.34
query30	0.60	0.52	0.51
query31	2.81	0.39	0.37
query32	3.40	0.50	0.49
query33	3.05	3.10	3.05
query34	15.24	4.82	4.82
query35	4.88	4.86	4.86
query36	1.04	1.02	1.02
query37	0.06	0.05	0.04
query38	0.04	0.02	0.02
query39	0.02	0.02	0.01
query40	0.16	0.14	0.14
query41	0.07	0.01	0.01
query42	0.02	0.01	0.01
query43	0.02	0.02	0.02
Total cold run time: 103.42 s
Total hot run time: 30.46 s

[doris-robot]

Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'

Load test result on commit c2118a67caa9b79d8f42cf38d7503c985905319c with default session variables
Stream load json:         20 seconds loaded 2358488459 Bytes, about 112 MB/s
Stream load orc:          59 seconds loaded 1101869774 Bytes, about 17 MB/s
Stream load parquet:      31 seconds loaded 861443392 Bytes, about 26 MB/s
Insert into select:       21.4 seconds inserted 10000000 Rows, about 467K ops/s