Releases: monyuonyu/DeepCompare
Release list
埋め込みモデル(日英 59MB / 多言語 114MB)
意味的な行対応付けに使う埋め込みモデル。アプリ本体には同梱していない。
無くても動く(行の対応付けは Myers になり、普通の diff と同じ答えが出る)。
日本語を扱うなら置くことを勧める — 同梱していた英語モデルは正規化が
濁点を落とすので、「バグを直す」と「ハクを直す」の類似度が 1.0000、
つまり完全に同一と見てしまう。
どれを落とすか
| ファイル | 大きさ | 扱える言語 |
|---|---|---|
multilingual-ja.dcm + .vocab |
59MB | 日本語・英語(推奨) |
multilingual.dcm + .vocab |
114MB | 100 言語 |
日英版は、多言語モデルの語彙 250,002 から日本語・英語・記号に一致し得ない
行を落としたもの。日本語と英語の結果はフル版と変わらない(実測で
コサイン類似度が 0.00005 未満の一致)。代わりにロシア語やアラビア語は
比較できない(<unk> の列になり、どの文も同じベクトルになる)。
置き方
.dcm と .vocab を対で、実行ファイルと同じ場所に置く。名前を
揃えるところで対応を取っているので、片方だけ差し替えてはいけない。
置けば設定画面の一覧に現れる。CLI なら --model multilingual-ja.dcm。
照合
sha256sum -c <<'SUMS'
838b71d3d0140ae252904e63fd4c14c05c392bf5d41099995fb569b4bd0179a8 multilingual-ja.dcm
18c695b5064ac56919436f9c6e107c433b81e5364246553ec4dc2c93861fd2ca multilingual-ja.vocab
30f3934f5a5a516eb426a98a6f626bf14a4a23783cb9ddec969623ae17af236e multilingual.dcm
4a5e1e0c56171db0ad3d46fcd98f4883aa81394f10aaec121f9351549b4cac35 multilingual.vocab
SUMS
出典
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
(Apache-2.0)を int8 に量子化したもの。作り方は README の
「多言語モデルを作る」にある。
v0.0.3
入れ方
落として展開し、deepcompare(Windows は deepcompare.exe)を実行する。
インストールは要らない。 展開した中の minilm.dcm は
実行ファイルと同じ場所に置いたままにする。
日本語を扱うなら、多言語モデルを別に置く(README を参照)。
動作を確かめた環境
- Windows 11 24H2 (x64)
- Ubuntu 24.04 (x64)
Full Changelog: v0.0.2...v0.0.3
v0.0.2
入れ方
落として展開し、deepcompare(Windows は deepcompare.exe)を実行する。
インストールは要らない。 展開した中の minilm.dcm は
実行ファイルと同じ場所に置いたままにする。
日本語を扱うなら、多言語モデルを別に置く(README を参照)。
動作を確かめた環境
- Windows 11 24H2 (x64)
- Ubuntu 24.04 (x64)
Full Changelog: v0.0.1...v0.0.2
v0.0.1
入れ方
落として展開し、deepcompare(Windows は deepcompare.exe)を実行する。
インストールは要らない。 展開した中の minilm.dcm は
実行ファイルと同じ場所に置いたままにする。
日本語を扱うなら、多言語モデルを別に置く(README を参照)。
動作を確かめた環境
- Windows 11 24H2 (x64)
- Ubuntu 24.04 (x64)
Full Changelog: https://github.com/monyuonyu/DeepCompare/commits/v0.0.1