Repository navigation
修正
bash などツールを実行したターンで Decode 速度 (tok/s) が極端に小さく表示される問題を修正した。
OpenCode は、その step で呼ばれた全ツールの実行が終わるのを待ってから step.ended を発火する。
そのため decode 時間の分母([first token, step.ended])にツール実行時間が丸ごと含まれていた。
生成されたトークン数は変わらないため、分母だけが膨らんで速度が実態より小さく出ていた。
step 開始 → テキスト生成(11.9秒)→ bash 実行(351秒)→ step 終了
└──────── 旧: この 363 秒すべてを decode 時間として計上 ────────┘
└─ 新: ツール実行区間を分母から除外 ─┘
ローカル DB の実測では、ツールを含む step-finish 付きメッセージ 1,333 件すべてで
step 終了が最終ツール終了より後だった(例外ゼロ)。該当 step 995 件で平均 +26 秒・最大 +8,257 秒の混入があり、
0.0〜1.8 tok/s と表示されていた値は補正後 35〜51 tok/s に収まった。
変更点
- v2 経路(
session.next.*)と v1 fallback(message.part.updated)の両方を修正 - 複数ツールが並列実行された場合は、区間の union(和集合) を減算する(重複を二重に引かない)
- 区間の開始は
tool.called。tool 呼び出しの引数生成時間は decode に含めたままにしている
(トークン数側が tool-call 引数トークンを含むため) - first token より前に始まったツールの区間も引き継いで減算する
- 生成中のライブ表示(
chars/s)も、ツール実行中は値を凍結し、終了後は同じ計算で区間を減算する - ツールを含まないターンの表示は変わらない(計算式が従来と厳密に一致する)
この版で分かっている制限
v0.1.0 の制限(生成中の chars/s 表示、プレフィックスキャッシュによる prefill 過大表示、
型宣言の非同梱)は引き続き該当する。加えて:
- v1 fallback では decode 区間の両端とツール区間で時刻ソースが異なる。
区間の両端はクライアント側の受信時刻、ツール区間はサーバーが記録した時刻を使うため、
配送遅延の差だけ誤差が残る。同一マシンでの通常利用ではミリ秒オーダーで影響は小さいが、
ゼロではない。OpenCode サーバーを別マシンで動かし時計がずれている場合は誤差が大きくなる。
v2 経路は全時刻が同一ソースのため影響を受けない。詳細はdocs/DESIGN.md第9節 - 実験的イベントシステム(v2)有効時は TTFT がほぼ 0 になる。
step.startedが最初のコンテンツ片で発火するため、開始時刻と first token 時刻がほぼ一致する。
別 Issue として扱う(本リリースでは未修正)。同じくdocs/DESIGN.md第9節
更新方法
OpenCode の管理キャッシュは npm spec 文字列ごとに分かれるため、@latest を使い続けると再取得されない。
更新時はバージョンを明示すること:
opencode plugin speed-measure-opencode-plugin@0.1.1 -g --force
Full Changelog: v0.1.0...v0.1.1