Skip to content

ZeroConvert-IME v0.2.0 - ZeroCon Nano v4 with High-Accuracy Distillation & Shared Engine

Choose a tag to compare

View all tags
@g0083 g0083 released this 04 Nov 04:06
· 29 commits to main since this release
v0.2.0
d731cad

ZeroConvert-IME v0.2.0 リリースノート

「変換キーを押す作業を、ゼロに近づける。」
打鍵に追従するライブ変換、長文のストリーミング自動確定、原打鍵からのタイポ自動補正、そして文脈先読み。
わずか 18.7 MiB の軽量ニューラルモデルが、これまでにない軽快でシームレスな日本語入力体験を実現します。

1. 独自性・azooKeyに対する進化

ZeroConvert-IME は、オープンソースの優れた日本語入力基盤である Windows版 azooKey（zenzai）を出発点としながら、「変換操作を減らし、思考を止めずに文章を紡ぐ」 という独自の哲学に基づいて全面的に再設計・進化させた日本語IMEです。

主な差別化ポイント

項目 azooKey (標準 zenzai) ZeroConvert-IME (v0.2.0)
入力思想 スペースキー等で変換・候補選択を行う従来型 変換キー操作をゼロに近づけるゼロコンバート思想
自動確定 なし（手動確定が基本） ストリーミング自動確定（長文入力時、安定した先頭部分を自然な文節境界で自動確定）
変換モデル zenz-v3.2-xsmall（約26.7M / Q4_K_M） ZeroCon Model Nano v4（約26.7M / IQ4_emb8 18.7 MiB）
変換精度 (480問) 73.5% (353/480問) 92.7% (445/480問, +19.2pt) / Q8版は 94.0%
タイポ補正 辞書ベースの限定的な補正 原打鍵からの多層補正（QWERTY隣接キー誤入力救済＋専用Corrector＋Keyboard Prior）
推論速度・サイズ 一般的な4bit量子化 ハイブリッド量子化でわずか 18.7 MiB、CPU推論約38ms・スマホでも軽快
先読みアシスト 単語単位の予測候補 文脈を考慮した文単位の先読み（補正と共存しスムーズに採用可能）
プラットフォーム 個別実装 Windows・Androidで共通エンジン（Swift/Rust）を直接共用

2. 圧倒的な精度向上：ベンチマーク結果

同じ開発評価用480問（基本・文脈230問 ＋ 高難度・複合語250問）におけるモデル単体の比較結果です。

モデル サイズ 基本・文脈 (230問) 高難度 (250問) 総合スコア (480問) 正解率
ベース zenz-v3.2-xsmall (Q4_K_M) 約19 MiB 181 / 230 172 / 250 353 / 480 73.5%
ZeroCon Nano v4 IQ4_emb8 (既定) 18.7 MiB 206 / 230 239 / 250 445 / 480 92.7% (+19.2pt)
ZeroCon Nano v4 Q8 (高精度版) 27.7 MiB 206 / 230 245 / 250 451 / 480 94.0% (+20.5pt)
  • ベースモデルと比較して、既定のIQ4_emb8版は**92問の改善（正解率+19.2ポイント向上）**を達成。
  • 特に高難度問題（専門用語、四字熟語、長文複合文節、同音異義語の文脈判定）において、172問正解から239問正解へと劇的な向上を記録しています。
  • CPU（Core i5-14500HX, 4スレッド）での全文推論完了時間は平均 38.7ms。打鍵に遅れることなくリアルタイムに変換候補が追従します。

3. モデル学習の舞台裏：どうやって作ったか？

わずか 6層・26.7Mパラメータ・18.7 MiB という極小サイズのモデルが、なぜ大型モデルに迫る94%の精度を発揮できるのか。その背景には、独自の多段階学習パイプラインがあります。

flowchart TD
    Data[高品質日本語コーパス + 実IME入力ログ] --> Teacher[大型教師モデル: Standard v3]
    Data --> Student[ベース生徒モデル: Nano v4]
    
    Teacher -. 教師予測確率分布 .-> Distill[二重アンカー蒸留 + 補正KL]
    Student -. ベースアンカー .-> Distill
    
    subgraph LossFunctions [独自の損失関数設計]
        Distill --> KL[教師誤答ピークを正解へ置換する補正KL]
        KL --> Margin[自己ループ・重複文節抑制マージン損失]
        Margin --> DualEnc[実IME・推論器デュアルエンコーディング]
    end
    
    LossFunctions --> DoRA[DoRA rank-64 最適化]
    DoRA --> Merge[アダプター重み完全マージ]
    Merge --> Quant[ハイブリッド量子化: 内部IQ4_NL + 入出力Q8_0]
    Quant --> Deploy[ZeroCon Nano v4 IQ4_emb8 18.7MiB]

技術的ブレークスルー

  1. 二重アンカー蒸留（Double Anchor Distillation）
    • 表現力の高い大型教師モデル（Standard v3）のソフトターゲットと、ベースNanoモデルの安定性を同時に参照する二重アンカー構造を採用。蒸留時の破滅的忘却を防ぎながら知識を凝縮しました。
  2. 補正KLダイバージェンス（Corrective KL）
    • 教師モデルが誤答している箇所を生徒がそのまま真似てしまう「蒸留の落とし穴」を排除するため、教師の誤答ピークを検出して正解トークン分布へと補正・差し替えてKL損失を計算しました。
  3. 自己ループ抑制マージン学習（Anti-Self-Copy Margin Loss）
    • 小規模言語モデルのかな漢字変換で起きやすい「同じ文節を何度も繰り返して出力する現象」を検出し、マージン損失によって強力に抑制しました。
  4. 実IME適応学習（デュアルエンコーディング & EOS制御）
    • 文末（EOS）での不要な句点・特殊メタタグの生成を抑止。
    • 実IMEの入力バッファとモデル推論器の間で生じやすい空白・記号・英数字の処理の差異を両方学習させ、入力中の不自然な文字化けや欠落を完全に解消しました。
  5. DoRA (Weight-Decomposed Low-Rank Adaptation) rank-64
    • 重みの方向（Direction）と大きさ（Magnitude）を分離して学習するDoRAを採用。学習完了後、アダプターをベース重みに完全マージしているため、推論実行時の追加レイヤーや遅延オーバーヘッドはゼロです。
  6. IQ4_NL + Q8_0 ハイブリッド量子化
    • 内部重みには高効率な非線形量子化（IQ4_NL）を用いつつ、精度に最も敏感な入力埋め込み層と出力層をQ8_0で保持。わずか18.7 MiBという極小フットプリントと最高水準の精度を両立しました。

4. トータルIMEとしての進化：入力から確定まで

ZeroConvert-IME は、単にモデルを賢くしただけではありません。「入力から確定まで」の一連の打鍵体験を徹底的に磨き上げています。

  • 長文ストリーミング確定
    句読点や変換キーを押さなくても、入力に追従してライブ変換が進み、先頭の変換結果が安定したタイミングで自然な境界ごとに自動確定されます。
  • 原打鍵からのタイポ自動補正
    ローマ字入力時の隣接キー打ち間違い（例: 「kogte」→「午後て」ではなく「午後」）を、生の打鍵シーケンス、ローマ字デコード、専用Correctorモデルのハイブリッド探索によって自動補正します。
  • 文脈に沿った先読み提案
    入力中の文脈から続くフレーズを予測して提案。タイポ補正候補と衝突せず、直感的なキー操作でスムーズに採用できます。
  • Windows と Android の中核共有
    Android版（:rebuilt）は、Windows版と同じ Swift / Rust ネイティブ変換エンジンを直接コンパイルして共用。どちらのデバイスでも同一の高品質な変換体験が得られます。

5. 同梱ファイルと導入方法

Windows版

  • インストーラー: ZeroConvert-IME-setup-0.2.0.exe
  • 導入方法:
    1. ZeroConvert-IME-setup-0.2.0.exe を実行し、画面の指示に従ってインストールします。
    2. Windows の設定「時刻と言語」→「言語と地域」→「日本語」から、キーボードに「ZeroConvert-IME」が追加されていることを確認します。
    3. タスクバーのIMEアイコンから切り替えてご利用いただけます。

Android版

  • APKパッケージ: ZeroConvert-IME-2.0.0-universal-debug.apk（全CPU共通）または ZeroConvert-IME-2.0.0-arm64-debug.apk（実機用）
  • 導入方法:
    1. APKファイルをAndroid端末にダウンロードします。
    2. ファイルマネージャー等からAPKを開き、「提供元不明のアプリのインストール」を許可してインストールします。
    3. 端末の「設定」→「システム」→「言語と入力」→「画面キーボード」から ZeroConvert-IME を有効にし、既定のキーボードに設定します。

6. おわりに / フィードバック

ZeroConvert-IME は現在もタイポ補正の精度向上や更なる高速化に向けたアップデートを継続しています。
不具合のご報告やご感想・改善リクエストは、GitHub Issues または Discussions までお気軽にお寄せください！

Assets 6
Loading