Skip to content

v1.0.47

Choose a tag to compare

View all tags
@github-actions github-actions released this 18 Oct 13:30
· 44 commits to main since this release
v1.0.47
9404854

変更内容

1.0.46〜1.0.47 の変更をまとめています。どれも AI からのアプリ操作（z2-ui）の改善です。

  • 盤面やボタンの並びを「何列何行目」で指せるようになりました（1.0.47）。 tap / long / drag / colors に --cells X0,Y0 DX,DY 列x行（colors --grid と同じ書き方）を付けると、座標の代わりに c3r2（3 列 2 行目、左上が c1r1）のようなマスで指せます。
    • 例: z2-ui drag --cells 100,1516 177,177 6x5 c3r2 c3r1 c4r1
    • 読んだ盤面のマスをそのまま指せるので、AI やスクリプトが座標を計算する手間と、その間違いがなくなります。記録とマクロには座標で残ります。
    • MCP では cells を付け、target や points に "c3r2" を入れます。
  • AI の操作の軌跡を画面に表示できるようになりました（1.0.46）。 AI 操作の設定の「操作の軌跡を表示」（既定 OFF）を ON にすると、AI が触れた場所を画面に描きます。タップ・長押しは丸、スワイプ・なぞる操作は指を追う線と番号付きの点で、指を離して約 1 秒で消えます。撮影の前には毎回消すので、AI が読む画像や色には写りません。
  • 引用符で 1 つにまとめて送られた引数も受け付けるようになりました（1.0.46）。 drag "540,1200 600,1300"、--until "brighter 125"、--grid "100,1516 177,177 6x5" がそのまま通ります。これまでは書き方の間違いとして断られ、AI が送り直す 1 往復が無駄になっていました。文字を入れる・探す引数は今までどおり分けません。
  • 記録（~/.z2term/ui/log.jsonl）の各行に、その呼び出しにかかった時間（ms）を足しました（1.0.46）。 z2term の処理と、呼び出しのあいだに AI が考えていた時間とを分けて見られます。

Changes

This release collects the changes from 1.0.46 to 1.0.47, all to AI app control (z2-ui).

  • Pointing at a board or a grid of buttons by column and row (1.0.47). With --cells X0,Y0 DX,DY COLSxROWS (the same form as colors --grid), tap / long / drag / colors take cells such as c3r2 (column 3, row 2; top-left is c1r1) instead of pixels.
    • For example z2-ui drag --cells 100,1516 177,177 6x5 c3r2 c3r1 c4r1.
    • The cells of a board just read can be used as they are, so the AI or a script no longer computes pixels, or gets them wrong. The log and macros keep the pixels.
    • Over MCP, add cells and put "c3r2" in target or points.
  • The AI's finger trail can be shown on the screen (1.0.46). With "Show the finger trail" in the AI operation settings (off by default), the screen shows where the AI touches: a circle for a tap or long press, and a line with numbered points following the finger for a swipe or drag, fading about a second after the finger lifts. It is removed before every capture, so the images and colours the AI reads never include it.
  • Arguments sent quoted as one word are accepted (1.0.46). drag "540,1200 600,1300", --until "brighter 125" and --grid "100,1516 177,177 6x5" work as they are; before they were refused as wrong arguments, costing the AI a round trip to resend. Text to type or find is still never split.
  • Every line of the log (~/.z2term/ui/log.jsonl) now has the time the call took (ms) (1.0.46), so z2term's own time can be told apart from the time the AI spent thinking between calls.

Full Changelog: v1.0.45...v1.0.47

Assets 3
Loading