Output features lists for transformers

[hectorpatino]

Is your feature request related to a problem? Please describe.
Hola @solegalli voy a escribir este issue en español, primero que todo felicidades por el último realease, me ha dado un poco duro el cambio entre la api y el user guide, pero entiendo que era necesario. Ahora si el issue, creo que es necesario que todos los transformadores tengan algo tipo features_in_, features_out_ donde se listen los features que entran y salen del transformador; la razón de esto son los pipelines, ultimamente he estado trabajando con muchos pipelines, algunos algo complejos y cuando quiero revisar el feature_importance_ (xgb o rf) de algunos algoritmos me es complejo acertar qué feature es el que el algoritmo dice x%.

Describe the solution you'd like
voy a suponer un pipeline algo así:

full_xgb1_pipeline= [
    ('add_miss_indicator', AddMissingIndicator()),
    ('impute_floats', MeanMedianImputer(imputation_method='mean', variables=float_columns)),
    ('impute_ints', SklearnTransformerWrapper(transformer=SimpleImputer(strategy='most_frequent'), variables=int_columns)),
    ('outliers', Winsorizer(capping_method='gaussian', tail='both', variables=float_columns)),
    ('nesses', MathematicalCombination(variables_to_combine=nesses,
                                       math_operations=['sum', 'prod', 'mean', 'std', 'max', 'min'],
                                       new_variables_names=['sum_ness', 'prod_ness', 'mean_ness', 'std_ness', 'max_ness', 'min_ness'])),
    ('xgb_1', xgb.XGBClassifier(booster='gbtree',  objective='binary:logistic', ...))
]
pipeline = Pipeline(pipeline_list)

cuando quiero conocer los mejores features realizaría algo así

full_xgb1_pipeline.named_steps['xgb_1'].feature_importances_

pero si quisiera los nombres pues, es algo complejo tenerlos, lo que usualmente estoy haciendo es que tomo el conjunto de entrenamiento, el hago un fit_transform().columns.to_list() (hasta el nesses en este caso). Desde luego esto resulta en un cálculo computacional que no siempre es ágil y pues no sé creo que es un poco innecesario.

Describe alternatives you've considered

pipeline_list = [
    ('add_miss_indicator', AddMissingIndicator()),
    ('impute_floats', MeanMedianImputer(imputation_method='mean', variables=float_columns)),
    ('impute_ints', SklearnTransformerWrapper(transformer=SimpleImputer(strategy='most_frequent'), variables=int_columns)),
    ('outliers', Winsorizer(capping_method='gaussian', tail='both', variables=float_columns)),
    ('nesses', MathematicalCombination(variables_to_combine=nesses,
                                       math_operations=['sum', 'prod', 'mean', 'std', 'max', 'min'],
                                       new_variables_names=['sum_ness', 'prod_ness', 'mean_ness', 'std_ness', 'max_ness', 'min_ness']))
)
columns = Pipeline(pipeline_list).fit_transform(X_train).columns.to_list()
pd.DataFrame({'feature': columns, 'importance': full_xgb1_pipeline.named_steps['xgb_1'].feature_importances_}).sort_values('importance', ascending=False)

Esto me implica:

1. Separar el transformador de el algoritmo.
2. Realizar un proceso que el pipeline ya realiza.

Si crees que vale la pena me avisas y podría dedicarle unos minutos cada día.

[solegalli]

Hola @hectorpatino

Que bueno tenerte nuevamente entre nosotros :)

Lamento que haya sido duro el cambio en los docs. Sos el primero que da feedback al respecto :_(

Respecto a este issue, si, scikit-learn deployed esos features que decis vos en su ultimo release asi que deberiamos traer la funcionalidad a feature-engine tambien.

Habiamos iniciado un PR #298 pero quedo ahi.

Ahora la libreria cambio bastante, asique habria que hacer un rebase de main a esa branch y seguir trabajandolo asi no perdemos esos cambios que ya se han hecho.

Si te animas con los cambios, dale para adelante :)

[hectorpatino]

@solegalli no me malinterpretes es solo que estaba acostumbrado al de antes, no es mal feedback 😉. No he visto esos cambios en la api de sklearn, no sé si los pasé por alto en algún momento.

Estuve revisando #298 (estuvo algo largo), pero a pesar de que vi que te opusiste, al final creo que la idea caló; sin embargo me gustaría tener claras algunas cosas:

• ¿Te parece bien input_features_ y output_features_ o mejor creamos métodos get_features_inputs_name() y get_features_outputs_name()
• Podría comenzar el que transformador que creé, pero sería mucho mejor si tomamos alguna de las clase base. No estoy muy seguro de cual debería tocar podrías guiarme.

[solegalli]

Creo que deberiamos agregar un attributo en fit que se llame feaures_in_ como aca

Y despues una funcion que se llame get_feature_names_out que tenga funcionalidad parecida a esta.

Note: sklearn esta deprecando get_feature_names for get_feature_names_out, asi que usemos ese nombre.

Muchas de esas funciones ya estan implementadas en #298

Habria que hacer rebasing the main para actualizar el codigo con los ultimos cambios.

Y lo unico a considerar, es que para aquellos transformadores que crean nuevos features como el one hot encoder o los transformadores del modulo creation la funcion get_feature_name_out tiene que poder tomar como parametro una lista de variables, y retornar el nombre de los features que se crearon para esa variable. Aca hay un ejemplo
.

Ademas, como esta funcionalidad va a estar en todos los transformadores, tenemos que generar un test universal en el archivo estimator_checks, y despues testear a todos los transformadores, como hacemos por ejemplo aca:

[hectorpatino]

Hola Sole, en #372 dices que cierras este issue pero veo cosas en el TODO, estoy algo confundido.

[solegalli]

Yep, it will close this issue when we finish adding the required changes and merge the PR.