Skip to content

v0.1.1

Latest

Choose a tag to compare

@japan4415 japan4415 released this 15 Sep 05:44
· 5 commits to main since this release
2930793

修正

bash などツールを実行したターンで Decode 速度 (tok/s) が極端に小さく表示される問題を修正した。

OpenCode は、その step で呼ばれた全ツールの実行が終わるのを待ってから step.ended を発火する。
そのため decode 時間の分母([first token, step.ended])にツール実行時間が丸ごと含まれていた。
生成されたトークン数は変わらないため、分母だけが膨らんで速度が実態より小さく出ていた。

step 開始 → テキスト生成(11.9秒)→ bash 実行(351秒)→ step 終了
            └──────── 旧: この 363 秒すべてを decode 時間として計上 ────────┘
            └─ 新: ツール実行区間を分母から除外 ─┘

ローカル DB の実測では、ツールを含む step-finish 付きメッセージ 1,333 件すべてで
step 終了が最終ツール終了より後だった(例外ゼロ)。該当 step 995 件で平均 +26 秒・最大 +8,257 秒の混入があり、
0.0〜1.8 tok/s と表示されていた値は補正後 35〜51 tok/s に収まった。

変更点

  • v2 経路(session.next.*)と v1 fallback(message.part.updated)の両方を修正
  • 複数ツールが並列実行された場合は、区間の union(和集合) を減算する(重複を二重に引かない)
  • 区間の開始は tool.called。tool 呼び出しの引数生成時間は decode に含めたままにしている
    (トークン数側が tool-call 引数トークンを含むため)
  • first token より前に始まったツールの区間も引き継いで減算する
  • 生成中のライブ表示(chars/s)も、ツール実行中は値を凍結し、終了後は同じ計算で区間を減算する
  • ツールを含まないターンの表示は変わらない(計算式が従来と厳密に一致する)

この版で分かっている制限

v0.1.0 の制限(生成中の chars/s 表示、プレフィックスキャッシュによる prefill 過大表示、
型宣言の非同梱)は引き続き該当する。加えて:

  1. v1 fallback では decode 区間の両端とツール区間で時刻ソースが異なる。
    区間の両端はクライアント側の受信時刻、ツール区間はサーバーが記録した時刻を使うため、
    配送遅延の差だけ誤差が残る。同一マシンでの通常利用ではミリ秒オーダーで影響は小さいが、
    ゼロではない。OpenCode サーバーを別マシンで動かし時計がずれている場合は誤差が大きくなる。
    v2 経路は全時刻が同一ソースのため影響を受けない。詳細は docs/DESIGN.md 第9節
  2. 実験的イベントシステム(v2)有効時は TTFT がほぼ 0 になる。
    step.started が最初のコンテンツ片で発火するため、開始時刻と first token 時刻がほぼ一致する。
    別 Issue として扱う(本リリースでは未修正)。同じく docs/DESIGN.md 第9節

更新方法

OpenCode の管理キャッシュは npm spec 文字列ごとに分かれるため、@latest を使い続けると再取得されない。
更新時はバージョンを明示すること:

opencode plugin speed-measure-opencode-plugin@0.1.1 -g --force

Full Changelog: v0.1.0...v0.1.1