Keep multiple versions of Collector Config #7557

Job	Run time
e2e-tests (1.23, e2e)	10m 44s
e2e-tests (1.23, e2e-automatic-rbac)	10m 12s
e2e-tests (1.23, e2e-autoscale)	7m 26s
e2e-tests (1.23, e2e-instrumentation)	6m 48s
e2e-tests (1.23, e2e-opampbridge)	4m 41s
e2e-tests (1.23, e2e-pdb)	6m 37s
e2e-tests (1.23, e2e-prometheuscr)	7m 10s
e2e-tests (1.23, e2e-targetallocator)	11m 13s
e2e-tests (1.23, e2e-upgrade)	7m 57s
e2e-tests (1.23, e2e-multi-instrumentation)	5m 42s
e2e-tests (1.23, e2e-metadata-filters)	4m 47s
e2e-tests (1.29, e2e)	6m 1s
e2e-tests (1.29, e2e-automatic-rbac)	4m 37s
e2e-tests (1.29, e2e-autoscale)	4m 50s
e2e-tests (1.29, e2e-instrumentation)	6m 26s
e2e-tests (1.29, e2e-opampbridge)	4m 46s
e2e-tests (1.29, e2e-pdb)	4m 31s
e2e-tests (1.29, e2e-prometheuscr)	5m 15s
e2e-tests (1.29, e2e-targetallocator)	10m 57s
e2e-tests (1.29, e2e-upgrade)	7m 41s
e2e-tests (1.29, e2e-multi-instrumentation)	5m 42s
e2e-tests (1.29, e2e-metadata-filters)	4m 34s
e2e-tests-check	1s
	2h 28m 38s

Provide feedback