Skip to content

Releases

v0.1.1

Choose a tag to compare

@japan4415 japan4415 released this 15 Sep 05:44
2930793

修正

bash などツールを実行したターンで Decode 速度 (tok/s) が極端に小さく表示される問題を修正した。

OpenCode は、その step で呼ばれた全ツールの実行が終わるのを待ってから step.ended を発火する。
そのため decode 時間の分母([first token, step.ended])にツール実行時間が丸ごと含まれていた。
生成されたトークン数は変わらないため、分母だけが膨らんで速度が実態より小さく出ていた。

step 開始 → テキスト生成(11.9秒)→ bash 実行(351秒)→ step 終了
            └──────── 旧: この 363 秒すべてを decode 時間として計上 ────────┘
            └─ 新: ツール実行区間を分母から除外 ─┘

ローカル DB の実測では、ツールを含む step-finish 付きメッセージ 1,333 件すべてで
step 終了が最終ツール終了より後だった(例外ゼロ)。該当 step 995 件で平均 +26 秒・最大 +8,257 秒の混入があり、
0.0〜1.8 tok/s と表示されていた値は補正後 35〜51 tok/s に収まった。

変更点

  • v2 経路(session.next.*)と v1 fallback(message.part.updated)の両方を修正
  • 複数ツールが並列実行された場合は、区間の union(和集合) を減算する(重複を二重に引かない)
  • 区間の開始は tool.called。tool 呼び出しの引数生成時間は decode に含めたままにしている
    (トークン数側が tool-call 引数トークンを含むため)
  • first token より前に始まったツールの区間も引き継いで減算する
  • 生成中のライブ表示(chars/s)も、ツール実行中は値を凍結し、終了後は同じ計算で区間を減算する
  • ツールを含まないターンの表示は変わらない(計算式が従来と厳密に一致する)

この版で分かっている制限

v0.1.0 の制限(生成中の chars/s 表示、プレフィックスキャッシュによる prefill 過大表示、
型宣言の非同梱)は引き続き該当する。加えて:

  1. v1 fallback では decode 区間の両端とツール区間で時刻ソースが異なる。
    区間の両端はクライアント側の受信時刻、ツール区間はサーバーが記録した時刻を使うため、
    配送遅延の差だけ誤差が残る。同一マシンでの通常利用ではミリ秒オーダーで影響は小さいが、
    ゼロではない。OpenCode サーバーを別マシンで動かし時計がずれている場合は誤差が大きくなる。
    v2 経路は全時刻が同一ソースのため影響を受けない。詳細は docs/DESIGN.md 第9節
  2. 実験的イベントシステム(v2)有効時は TTFT がほぼ 0 になる。
    step.started が最初のコンテンツ片で発火するため、開始時刻と first token 時刻がほぼ一致する。
    別 Issue として扱う(本リリースでは未修正)。同じく docs/DESIGN.md 第9節

更新方法

OpenCode の管理キャッシュは npm spec 文字列ごとに分かれるため、@latest を使い続けると再取得されない。
更新時はバージョンを明示すること:

opencode plugin speed-measure-opencode-plugin@0.1.1 -g --force

Full Changelog: v0.1.0...v0.1.1

v0.1.0

Choose a tag to compare

@japan4415 japan4415 released this 14 Sep 19:56
4818cd3

これは何か

OpenCode の TUI サイドバーに LLM の prefill / decode 速度を表示するプラグイン。

インストール

opencode plugin speed-measure-opencode-plugin -g

(プロジェクト単位で入れる場合は -g を外す)

表示される指標

  • Prefill: TTFT(Time To First Token)と、入力トークン数から算出した prefill 速度
  • Decode: 生成中は文字数ベースの推定(chars/s)、完了後はトークン数ベースの実測(tok/s)

この版で分かっている制限

  1. 生成中の Decode は chars/s 表示である。ストリーミング中はトークン数が確定しないため文字数で数えている。文字とトークンの比は内容によって大きく変わる(数字列で約 0.251 tok/char、日本語散文で 0.7〜1.0 程度)ため、固定係数での換算はせず単位を変えて表示している。完了後は実測の tok/s に切り替わる
  2. プレフィックスキャッシュにより prefill 速度が過大表示されうる。キャッシュヒット時は TTFT が極端に短くなる一方、入力トークン数は変わらないため速度が実態より大きく出る。実測ではフルヒット時に約 27 倍(9,170 tok/s)になった例がある。500,000 tok/s を超える値は表示せず TTFT のみを出す閾値を設けているが、それ以下の過大値は抑止できない。緩和策であって解決ではない
  3. 型宣言(.d.ts)は同梱していない。OpenCode が動的 import する TUI プラグインであり、TypeScript から直接 import する用途は想定していない

更新方法

OpenCode の管理キャッシュは npm spec 文字列ごとに分かれるため、@latest を使い続けると再取得されない。更新時はバージョンを明示すること:

opencode plugin speed-measure-opencode-plugin@0.2.0 -g --force

(0.2.0 の部分は npm のパッケージページで確認した最新版に置き換える)

What's Changed

  • docs: speed-measure プラグインの設計書を追加 by @japan4415 in #2
  • build: プロジェクト設定とビルド基盤を追加 (#3) by @japan4415 in #10
  • fix: formatSpeed の閾値付近の単位不整合を修正 (#4) by @japan4415 in #11
  • feat: トークン速度計測用の collector を追加 (#5) by @japan4415 in #12
  • test: collector / format のユニットテストとフィクスチャを追加 (#6) by @japan4415 in #13
  • fix: vitest のテスト探索範囲を test/ 配下に限定する (#14) by @japan4415 in #15
  • feat: OpenCode TUI プラグインエントリとサイドバー描画を追加 (#7) by @japan4415 in #16
  • docs: READMEに利用者向けの導入手順と既知の制限を追加 by @japan4415 in #17
  • fix: ライブ推定を chars/s と表示して確定値との尺度差を明示する (#18) by @japan4415 in #20
  • fix: 非現実的な Prefill 速度を抑制し、キャッシュ時の限界を明記する (#19) by @japan4415 in #21
  • Configure Renovate by @renovate[bot] in #1
  • 依存更新: tsup/vitest更新とesbuild脆弱性対策、Renovate破壊防止ルール追加 by @japan4415 in #25
  • npm公開に向けたパッケージ設定とCIの追加 by @japan4415 in #28

New Contributors

Full Changelog: https://github.com/japan4415/speed-measure-opencode-plugin/commits/v0.1.0