multilingal-e5 の "query: " prefix を追加後の評価結果

[hotchpotch]

日本語embeddingsの評価、大変参考になります。ありがとうございます。

multilingal-e5 の emb の評価なのですが、e5 ドキュメントの

• https://huggingface.co/intfloat/multilingual-e5-base

Each input text should start with "query: " or "passage: ".
For tasks other than retrieval, you can simply use the "query: " prefix.

にあるように、”query: “ prefix を追加したほうが良さそうでしたので、追加して評価してみました。

• https://colab.research.google.com/drive/1QV-MEwC1dlVTiwxby80sj23w0XMpRGGP?usp=sharing
• https://colab.research.google.com/drive/1Fg3h5iY3WjtHaCCe2K5RxEV1jnr7baw-?usp=sharing

結果、base の JSICK 以外では上がる結果となりました。とりわけ large ではどちらもかなり上がっているようです。

pull-request として出した方が良いのか迷ったのですが、一旦は issue にてご報告までに。

	Base (JSTS)	Base (add query prefix) (JSTS)	Large (JSTS)	Large (add query prefix) (JSTS)
JSTS	0.7839	0.7965	0.8098	0.8185
JSICK	0.8136	0.8057	0.7838	0.7939

[oshizo]

ありがとうございます！ドキュメントの記述を見落としていました。
最新のコミットでquery: を付けた評価結果に差し替えました。

[hotchpotch]

@oshizo 結果の差し替え、ありがとうございました！