Keep multiple versions of Collector Config #7555

Job	Run time
e2e-tests (1.23, e2e)	3m 53s
e2e-tests (1.23, e2e-automatic-rbac)	3m 53s
e2e-tests (1.23, e2e-autoscale)	3m 55s
e2e-tests (1.23, e2e-instrumentation)	3m 54s
e2e-tests (1.23, e2e-opampbridge)	3m 53s
e2e-tests (1.23, e2e-pdb)	3m 54s
e2e-tests (1.23, e2e-prometheuscr)	3m 52s
e2e-tests (1.23, e2e-targetallocator)	3m 53s
e2e-tests (1.23, e2e-upgrade)	3m 54s
e2e-tests (1.23, e2e-multi-instrumentation)	3m 54s
e2e-tests (1.23, e2e-metadata-filters)	3m 55s
e2e-tests (1.29, e2e)	3m 54s
e2e-tests (1.29, e2e-automatic-rbac)	3m 52s
e2e-tests (1.29, e2e-autoscale)	3m 51s
e2e-tests (1.29, e2e-instrumentation)	3m 54s
e2e-tests (1.29, e2e-opampbridge)	3m 52s
e2e-tests (1.29, e2e-pdb)	3m 51s
e2e-tests (1.29, e2e-prometheuscr)	3m 58s
e2e-tests (1.29, e2e-targetallocator)	3m 52s
e2e-tests (1.29, e2e-upgrade)	3m 50s
e2e-tests (1.29, e2e-multi-instrumentation)	3m 53s
e2e-tests (1.29, e2e-metadata-filters)	3m 55s
e2e-tests-check	1s
	1h 25m 33s

Provide feedback