Skip to content

v0.1.0

Choose a tag to compare

@japan4415 japan4415 released this 14 Sep 19:56
· 6 commits to main since this release
4818cd3

これは何か

OpenCode の TUI サイドバーに LLM の prefill / decode 速度を表示するプラグイン。

インストール

opencode plugin speed-measure-opencode-plugin -g

(プロジェクト単位で入れる場合は -g を外す)

表示される指標

  • Prefill: TTFT(Time To First Token)と、入力トークン数から算出した prefill 速度
  • Decode: 生成中は文字数ベースの推定(chars/s)、完了後はトークン数ベースの実測(tok/s)

この版で分かっている制限

  1. 生成中の Decode は chars/s 表示である。ストリーミング中はトークン数が確定しないため文字数で数えている。文字とトークンの比は内容によって大きく変わる(数字列で約 0.251 tok/char、日本語散文で 0.7〜1.0 程度)ため、固定係数での換算はせず単位を変えて表示している。完了後は実測の tok/s に切り替わる
  2. プレフィックスキャッシュにより prefill 速度が過大表示されうる。キャッシュヒット時は TTFT が極端に短くなる一方、入力トークン数は変わらないため速度が実態より大きく出る。実測ではフルヒット時に約 27 倍(9,170 tok/s)になった例がある。500,000 tok/s を超える値は表示せず TTFT のみを出す閾値を設けているが、それ以下の過大値は抑止できない。緩和策であって解決ではない
  3. 型宣言(.d.ts)は同梱していない。OpenCode が動的 import する TUI プラグインであり、TypeScript から直接 import する用途は想定していない

更新方法

OpenCode の管理キャッシュは npm spec 文字列ごとに分かれるため、@latest を使い続けると再取得されない。更新時はバージョンを明示すること:

opencode plugin speed-measure-opencode-plugin@0.2.0 -g --force

(0.2.0 の部分は npm のパッケージページで確認した最新版に置き換える)

What's Changed

  • docs: speed-measure プラグインの設計書を追加 by @japan4415 in #2
  • build: プロジェクト設定とビルド基盤を追加 (#3) by @japan4415 in #10
  • fix: formatSpeed の閾値付近の単位不整合を修正 (#4) by @japan4415 in #11
  • feat: トークン速度計測用の collector を追加 (#5) by @japan4415 in #12
  • test: collector / format のユニットテストとフィクスチャを追加 (#6) by @japan4415 in #13
  • fix: vitest のテスト探索範囲を test/ 配下に限定する (#14) by @japan4415 in #15
  • feat: OpenCode TUI プラグインエントリとサイドバー描画を追加 (#7) by @japan4415 in #16
  • docs: READMEに利用者向けの導入手順と既知の制限を追加 by @japan4415 in #17
  • fix: ライブ推定を chars/s と表示して確定値との尺度差を明示する (#18) by @japan4415 in #20
  • fix: 非現実的な Prefill 速度を抑制し、キャッシュ時の限界を明記する (#19) by @japan4415 in #21
  • Configure Renovate by @renovate[bot] in #1
  • 依存更新: tsup/vitest更新とesbuild脆弱性対策、Renovate破壊防止ルール追加 by @japan4415 in #25
  • npm公開に向けたパッケージ設定とCIの追加 by @japan4415 in #28

New Contributors

Full Changelog: https://github.com/japan4415/speed-measure-opencode-plugin/commits/v0.1.0