Falta do TF-IDF featurizer para utilização dos modelos

[vitorcodesalittle]

Olá!

Estou interessado em usar os modelos apresentados nesse repositório para um estudo que estou fazendo, que visa aplicar técnicas de explicabilidade aos modelos. Para isso gostaria de utilizar os modelos da forma mais próxima à reportada no artigo.

Percebi que o transformador TF-IDF ajustado à base não está no repositório (até onde eu procurei). Acredito que sem ele seja impossível restituir os modelos que entendi se pretender compartilhar, pois os modelos devem ter sido ajustados de acordo com uma representação td-idf específica, sem a qual não é possível construir as entradas para os modelos exatamente da mesma forma que os modelos foram avaliados.

Perguntas:

1. Teria como compartilhar o transformador mencionado? Caso tenha sido implementado com sklearn, acredito que se possa compartilhá-lo da mesma forma que os modelos. Ficaria feliz em ajudar nesse processo, se for do interesse de vcs.
2. Caso não, teria como compartilhar os detalhes de pré-processamento (além dos encontrados no artigo)? Mais especificamente:
   • Pipeline de pre-processamento de texto usado, se presente (e.g. conversão para lowercase, remoção de tokens repetidos das sequência, remoção de caracteres especiais !, ?, ..., ...)
   • Se o pré-processamento e as características TF-IDF dos tokens foram extraídos de todo o dataset ou apenas da base de treino, e se é possível recuperar as bases de dados usadas para treino e teste.

Obrigado pelo esforço em compor esse dataset.