Skip to content

Lumi v1.7.1

Choose a tag to compare

@github-actions github-actions released this 14 Oct 01:26
· 6 commits to main since this release

新しくなったこと

  • 画面操作 — 「メモ帳を開いて『こんにちは』と入力して」のように頼むと、ルミがほかのアプリのボタンをクリックしたり、文字を打ったり、キーを押したりします。押すボタンは画面の文字を読み取って探すので、画像を読めない AI でも使えます
    • 自動モードでも、操作の一覧を見せて毎回許可を取ってから行います
    • 操作中にマウスを動かすと、すぐ止まります。押す文字が画面に見つからないときも、そこで止まります
    • 操作のあとの画面の文字を AI が読んで、うまくいったか確かめます
    • /set ui_control off で使わないようにできます。Mac は「アクセシビリティ」の許可、Linux は xdotool (X11) が必要です

修正

  • キーやマウスをまねるコマンド (SendKeys など) で、画面操作の確認をすり抜けられないようにしました (自動モードでも必ず確認します)
  • 実行したコマンドを会話の記録に残すようにしました (あとで何をしたか確かめられるように)

What's new

  • Screen control — ask something like "open Notepad and type hello" and Lumi clicks buttons, types text and presses keys in other apps. It finds buttons by reading the text on screen, so it works even with AIs that can't see images
    • It always shows the list of steps and asks first, even in auto mode
    • Moving the mouse stops it right away, and it also stops if the text to click isn't on screen
    • The AI reads the screen afterwards to check that it worked
    • Turn it off with /set ui_control off. Mac needs the Accessibility permission, Linux needs xdotool (X11)

Fixes

  • Commands that fake keys or the mouse (SendKeys and the like) can no longer get around the screen control confirmation (they always ask, even in auto mode)
  • Executed commands are now kept in the conversation record, so you can check later what was run

インストール / Install

OS
Windows 10 / 11 Lumi-Windows-Setup-1.7.1.exe
macOS 11+ lumi-mac-1.7.1.dmg
Linux (x64 / arm64) lumi_1.7.1_*.deb / lumi-linux-*.tar.gz

Full Changelog: v1.7.0...v1.7.1