[feture](exchange) refine SenderQueue and add enable_exchange_pass_through

[Mryange]

Proposed changes

1. remove non pipeline code
2. use pass through in SenderQueue add block

mysql [test10]>set ENABLE_EXCHANGE_PASS_THROUGH = true;
Query OK, 0 rows affected (0.00 sec)

mysql [test10]>SELECT count() FROM strings WHERE long IN (SELECT long FROM strings);
+----------+
| count(*) |
+----------+
| 10000000 |
+----------+
1 row in set (27.87 sec)

mysql [test10]>set ENABLE_EXCHANGE_PASS_THROUGH = false;
Query OK, 0 rows affected (0.00 sec)

mysql [test10]>SELECT count() FROM strings WHERE long IN (SELECT long FROM strings);
+----------+
| count(*) |
+----------+
| 10000000 |
+----------+
1 row in set (33.11 sec)

[doris-robot]

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website.
See Doris Document.

[Mryange]

run buildall

[github-actions]

clang-tidy review says "All clean, LGTM! 👍"

[doris-robot]

TPC-H: Total hot run time: 39771 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 6a04792d5ce6947146b9dcd48913f62ac0a89627, data reload: false

------ Round 1 ----------------------------------
q1	18140	4523	4394	4394
q2	3079	197	196	196
q3	12229	1149	1159	1149
q4	10888	772	732	732
q5	7803	2705	2577	2577
q6	218	136	137	136
q7	962	602	598	598
q8	9226	2097	2068	2068
q9	8899	6503	6462	6462
q10	8879	3730	3661	3661
q11	456	211	210	210
q12	434	249	233	233
q13	17767	2972	2979	2972
q14	299	230	223	223
q15	528	488	480	480
q16	515	374	374	374
q17	964	615	713	615
q18	7980	7509	7431	7431
q19	7095	1526	1518	1518
q20	657	337	331	331
q21	4924	3169	3300	3169
q22	303	242	260	242
Total cold run time: 122245 ms
Total hot run time: 39771 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4393	4205	4277	4205
q2	363	267	266	266
q3	2994	2801	2736	2736
q4	1829	1580	1569	1569
q5	5248	5269	5300	5269
q6	217	131	132	131
q7	2128	1768	1802	1768
q8	3192	3364	3366	3364
q9	8269	8324	8381	8324
q10	3874	3634	3662	3634
q11	543	484	489	484
q12	803	614	655	614
q13	16411	2987	2980	2980
q14	293	281	268	268
q15	518	484	479	479
q16	460	405	414	405
q17	1759	1481	1463	1463
q18	7684	7421	7516	7421
q19	1700	1632	1529	1529
q20	1974	1809	1747	1747
q21	4926	4744	4674	4674
q22	564	500	471	471
Total cold run time: 70142 ms
Total hot run time: 53801 ms

[doris-robot]

TPC-DS: Total hot run time: 173243 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 6a04792d5ce6947146b9dcd48913f62ac0a89627, data reload: false

query1	923	375	370	370
query2	6473	2408	2476	2408
query3	6645	214	220	214
query4	19298	17717	17354	17354
query5	4173	489	469	469
query6	257	184	162	162
query7	4595	291	290	290
query8	312	294	289	289
query9	8533	2381	2352	2352
query10	626	318	293	293
query11	10428	10102	10034	10034
query12	127	90	87	87
query13	1657	393	376	376
query14	10185	7643	7441	7441
query15	276	179	190	179
query16	8128	289	272	272
query17	1885	572	563	563
query18	2101	282	282	282
query19	200	157	163	157
query20	96	81	83	81
query21	221	129	123	123
query22	4313	3956	3992	3956
query23	33656	33073	33004	33004
query24	11200	2840	2901	2840
query25	645	387	378	378
query26	1584	153	159	153
query27	2926	318	318	318
query28	7524	2045	2051	2045
query29	980	633	631	631
query30	268	152	157	152
query31	966	740	742	740
query32	95	54	55	54
query33	778	302	302	302
query34	907	460	495	460
query35	758	654	613	613
query36	1121	925	956	925
query37	163	76	76	76
query38	2891	2722	2750	2722
query39	843	813	799	799
query40	283	132	128	128
query41	59	55	54	54
query42	126	100	107	100
query43	600	548	573	548
query44	1156	722	709	709
query45	203	162	160	160
query46	1093	760	745	745
query47	1876	1743	1799	1743
query48	385	295	295	295
query49	1187	424	424	424
query50	775	396	395	395
query51	6914	6758	6657	6657
query52	104	99	92	92
query53	366	296	290	290
query54	956	431	427	427
query55	76	75	75	75
query56	305	281	392	281
query57	1109	1059	1047	1047
query58	250	249	246	246
query59	3572	3188	3215	3188
query60	304	272	276	272
query61	93	93	107	93
query62	654	452	452	452
query63	320	294	286	286
query64	9864	2255	1787	1787
query65	3180	3116	3126	3116
query66	1409	338	346	338
query67	15847	14847	15010	14847
query68	6968	549	554	549
query69	736	445	339	339
query70	1203	1114	1107	1107
query71	509	270	276	270
query72	8762	5365	5661	5365
query73	825	323	327	323
query74	5832	5445	5400	5400
query75	5143	2604	2691	2604
query76	5016	941	940	940
query77	759	301	297	297
query78	10453	9821	9753	9753
query79	7160	504	509	504
query80	939	486	473	473
query81	560	222	223	222
query82	817	109	103	103
query83	368	169	169	169
query84	270	83	87	83
query85	1444	329	271	271
query86	449	329	312	312
query87	3296	3045	3102	3045
query88	4565	2338	2379	2338
query89	498	383	375	375
query90	1996	186	184	184
query91	127	103	98	98
query92	59	49	49	49
query93	5654	513	508	508
query94	1265	188	186	186
query95	414	306	310	306
query96	618	267	265	265
query97	3197	3030	3009	3009
query98	221	197	195	195
query99	1172	842	845	842
Total cold run time: 293118 ms
Total hot run time: 173243 ms

[doris-robot]

ClickBench: Total hot run time: 30.75 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 6a04792d5ce6947146b9dcd48913f62ac0a89627, data reload: false

query1	0.04	0.04	0.03
query2	0.08	0.04	0.04
query3	0.23	0.06	0.05
query4	1.67	0.08	0.07
query5	0.50	0.47	0.47
query6	1.13	0.73	0.73
query7	0.02	0.01	0.01
query8	0.05	0.04	0.04
query9	0.54	0.48	0.49
query10	0.53	0.54	0.55
query11	0.15	0.11	0.12
query12	0.14	0.12	0.12
query13	0.60	0.59	0.58
query14	0.78	0.77	0.79
query15	0.88	0.81	0.81
query16	0.36	0.37	0.36
query17	1.02	1.01	1.02
query18	0.21	0.23	0.25
query19	1.83	1.83	1.76
query20	0.01	0.01	0.01
query21	15.50	0.75	0.65
query22	4.18	6.20	2.22
query23	18.30	1.39	1.21
query24	2.12	0.23	0.22
query25	0.14	0.09	0.08
query26	0.27	0.17	0.18
query27	0.08	0.08	0.09
query28	13.17	1.00	0.99
query29	12.65	3.24	3.25
query30	0.25	0.06	0.06
query31	2.85	0.38	0.39
query32	3.28	0.47	0.46
query33	2.94	2.88	2.96
query34	17.21	4.43	4.44
query35	4.51	4.46	4.42
query36	0.66	0.48	0.46
query37	0.19	0.15	0.15
query38	0.15	0.16	0.15
query39	0.04	0.03	0.03
query40	0.17	0.13	0.14
query41	0.09	0.04	0.05
query42	0.05	0.04	0.05
query43	0.05	0.04	0.04
Total cold run time: 109.62 s
Total hot run time: 30.75 s

[Mryange]

run buildall

[github-actions]

clang-tidy review says "All clean, LGTM! 👍"

[github-actions]

clang-tidy review says "All clean, LGTM! 👍"

[Mryange]

run buildall

[doris-robot]

TPC-H: Total hot run time: 40097 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 5efa1b103b1a28ae7f91a6abc22d289fb49a191f, data reload: false

------ Round 1 ----------------------------------
q1	18418	4485	4320	4320
q2	2020	193	195	193
q3	10521	1242	1067	1067
q4	10255	791	780	780
q5	7492	2670	2664	2664
q6	219	134	133	133
q7	973	601	598	598
q8	9227	2083	2106	2083
q9	8942	6541	6497	6497
q10	9073	3698	3728	3698
q11	429	217	217	217
q12	446	232	232	232
q13	17767	3006	2998	2998
q14	275	226	226	226
q15	544	489	476	476
q16	496	395	381	381
q17	985	694	713	694
q18	8162	7564	7549	7549
q19	3253	1551	1538	1538
q20	666	320	339	320
q21	4899	3231	3171	3171
q22	318	262	263	262
Total cold run time: 115380 ms
Total hot run time: 40097 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4385	4240	4221	4221
q2	377	258	270	258
q3	2957	2810	2896	2810
q4	1973	1705	1709	1705
q5	5552	5574	5522	5522
q6	236	128	126	126
q7	2179	1798	1843	1798
q8	3248	3433	3420	3420
q9	8707	8757	8746	8746
q10	4066	3981	3724	3724
q11	548	462	455	455
q12	767	615	631	615
q13	15959	3171	3209	3171
q14	306	280	274	274
q15	527	498	502	498
q16	499	430	430	430
q17	1826	1522	1510	1510
q18	8051	7752	7810	7752
q19	1893	1704	1645	1645
q20	2178	1866	1881	1866
q21	5097	4929	5008	4929
q22	547	488	497	488
Total cold run time: 71878 ms
Total hot run time: 55963 ms

[doris-robot]

TPC-DS: Total hot run time: 173299 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 5efa1b103b1a28ae7f91a6abc22d289fb49a191f, data reload: false

query1	928	382	373	373
query2	6501	2624	2337	2337
query3	6954	214	224	214
query4	20582	17415	17558	17415
query5	3615	474	473	473
query6	272	192	170	170
query7	4600	294	285	285
query8	327	295	277	277
query9	8671	2473	2461	2461
query10	576	292	278	278
query11	10579	10073	9912	9912
query12	114	89	84	84
query13	1640	383	371	371
query14	10375	7535	7770	7535
query15	237	186	189	186
query16	7644	336	314	314
query17	1775	551	543	543
query18	1482	278	283	278
query19	200	154	162	154
query20	90	80	92	80
query21	213	142	137	137
query22	4520	4167	4118	4118
query23	33906	33515	33585	33515
query24	11176	2838	2941	2838
query25	678	394	459	394
query26	1426	161	153	153
query27	2794	335	323	323
query28	7640	2178	2149	2149
query29	943	623	669	623
query30	253	149	165	149
query31	996	770	749	749
query32	93	52	52	52
query33	759	291	282	282
query34	1021	474	488	474
query35	751	619	634	619
query36	1153	1009	954	954
query37	144	76	80	76
query38	2940	2856	2813	2813
query39	857	819	849	819
query40	260	124	121	121
query41	52	50	49	49
query42	117	99	100	99
query43	609	531	560	531
query44	1129	749	721	721
query45	198	161	156	156
query46	1085	705	737	705
query47	1864	1788	1826	1788
query48	371	290	299	290
query49	921	407	411	407
query50	777	378	382	378
query51	6894	6782	6680	6680
query52	104	94	93	93
query53	367	289	283	283
query54	868	438	428	428
query55	74	72	71	71
query56	293	271	269	269
query57	1113	1031	1081	1031
query58	244	240	260	240
query59	3562	3485	3308	3308
query60	303	276	281	276
query61	97	94	97	94
query62	606	432	452	432
query63	320	286	286	286
query64	9470	2248	1748	1748
query65	3151	3061	3060	3060
query66	918	323	326	323
query67	15407	14910	14936	14910
query68	4654	534	527	527
query69	611	360	313	313
query70	1125	1111	1132	1111
query71	447	276	275	275
query72	8400	5600	5281	5281
query73	760	322	323	322
query74	5940	5510	5519	5510
query75	4190	2664	2687	2664
query76	3260	961	936	936
query77	654	302	296	296
query78	9628	8839	8732	8732
query79	3609	503	524	503
query80	1616	473	468	468
query81	547	216	220	216
query82	1028	104	103	103
query83	352	169	167	167
query84	273	84	84	84
query85	2065	360	281	281
query86	466	310	332	310
query87	3327	3125	3076	3076
query88	4301	2369	2351	2351
query89	502	384	381	381
query90	1954	180	181	180
query91	128	100	101	100
query92	61	51	51	51
query93	5248	529	517	517
query94	1320	206	204	204
query95	413	320	325	320
query96	602	273	263	263
query97	3205	3041	2994	2994
query98	213	203	189	189
query99	1175	820	828	820
Total cold run time: 282673 ms
Total hot run time: 173299 ms

[doris-robot]

ClickBench: Total hot run time: 30.26 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 5efa1b103b1a28ae7f91a6abc22d289fb49a191f, data reload: false

query1	0.04	0.03	0.02
query2	0.08	0.04	0.04
query3	0.23	0.05	0.05
query4	1.68	0.09	0.10
query5	0.49	0.48	0.49
query6	1.13	0.72	0.72
query7	0.02	0.01	0.02
query8	0.04	0.04	0.05
query9	0.55	0.48	0.49
query10	0.54	0.54	0.55
query11	0.14	0.11	0.11
query12	0.15	0.12	0.12
query13	0.59	0.60	0.59
query14	0.75	0.77	0.79
query15	0.87	0.82	0.81
query16	0.38	0.36	0.36
query17	1.05	1.03	0.98
query18	0.23	0.25	0.26
query19	1.77	1.85	1.82
query20	0.02	0.00	0.01
query21	15.42	0.73	0.65
query22	4.76	7.13	1.36
query23	18.26	1.39	1.32
query24	2.08	0.23	0.24
query25	0.16	0.09	0.08
query26	0.26	0.17	0.18
query27	0.08	0.08	0.07
query28	13.24	1.02	0.99
query29	12.60	3.42	3.38
query30	0.25	0.06	0.06
query31	2.87	0.39	0.38
query32	3.27	0.48	0.46
query33	2.90	2.93	2.93
query34	17.24	4.47	4.40
query35	4.46	4.51	4.43
query36	0.66	0.50	0.47
query37	0.19	0.16	0.15
query38	0.15	0.16	0.15
query39	0.05	0.04	0.04
query40	0.18	0.13	0.15
query41	0.10	0.04	0.05
query42	0.06	0.05	0.05
query43	0.04	0.04	0.04
Total cold run time: 110.03 s
Total hot run time: 30.26 s