Comparação com outros modelos

[FerroEduardo]

Seria possível adicionar comparações com outros modelos, como os SentenceTransformer multilingual?
Pelos testes que realizei, os modelos apresentados aqui possuem um desempenho bem superior em STS

[ruanchaves]

Olá Eduardo,

Este repositório ainda está em desenvolvimento e temos previsão de lançar a versão final por volta do mês de julho. Não temos planos de realizar experimentos com modelos que estejam muito abaixo do estado da arte, como é o caso de baselines zero-shot usando SentenceTransformers.

Entretanto, caso você decida realizar esses experimentos, por favor me informe para que eu possa referenciar seus benchmarks no repositório. Você também pode submeter um pull request diretamente com suas contribuições.

[thacio]

Opa, se tiver interesse de conferir no STS o ult5-small conseguiu pearson=0.8174 e mse =0.419042, em todas as tentativas sempre chegou abaixo do 0.47 atual. Único porém é que eu não conferi se o dataset que está no huggingface é exatamente o mesmo do github, acredito que seja.

Os sentence-transformers sem treino realmente ficam aquém. o sentence-transformer-ult5-pt-small faz cosine person em 0.76 (não sei se é o mesmo que o personr, mas deve ser parecido) , e o paraphrase-multilingual-mpnet-base-v2 não lembro, mas é marginalmente acima.

Pros casos desses encoder-decoders, eu já fiz um dataset que facilita a vida: https://github.com/thacio/LLM-Notebooks .
Estou implementado os encoders, testando ainda.