-
Notifications
You must be signed in to change notification settings - Fork 314
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
ADD E5 #1179
Comments
@kyakuno こちらのモデルをExportしたところonnx_dataが2GBを超えていたのですが、PB分割が必要ですか? |
onnxruntimeやailiaで読めれば2GBを超えていても問題ありません。 |
Embeddingの注意点 |
e5-baseとe5-largeをエクスポートしたい。 |
e5-base |
XLMRobertaTokenizerなので、SentenceTransformerと同様に使えそう。 |
@ooe1123 こちら、お願いすることは可能でしょうか。 |
サンプルは下記のコードをベースに作成いただければと思います。 |
TokenizerはXLMRobertraでspieceのモデルも全く同じ模様。 Sentence Transformer Japanese
E5
|
LayerNormで高速化したいのでopset17で再エクスポートする。
|
推論結果の分散が大きい。 opset11 : 9992 ms |
LayerNormが十分に高速化されていない可能性もある? |
再計測、効果はありそう BLAS : 7759ms -> 7051ms |
日本語のEmbeddingモデル。各モデルの日本語性能の比較。
https://hironsan.hatenablog.com/entry/2023/07/05/073150
The text was updated successfully, but these errors were encountered: