Skip to content

Releases

Lumi v1.7.2

Choose a tag to compare

@github-actions github-actions released this 14 Oct 05:52

新しくなったこと

  • Android (Termux) で使えるように — Termux で次のコマンドを実行すると、ルミのリポジトリが登録されて pkg install lumi で入ります。あとは pkg upgrade で新しい版になります

    curl -fsSL https://hotakacchi.github.io/ai-console/termux/install.sh | sh
    • ターミナル版です (声・顔・小窓・画面操作はありません)。対応は aarch64 (64 ビットの ARM) です
    • Claude (claude-code)・ChatGPT (codex)・API キーで使う AI と話したり、確認してから Termux のコマンドを実行したりできます
    • ローカルAIを使うときは、先に pkg install llama-cpp を入れてください (モデルはルミがダウンロードします)
    • リポジトリは署名つきです

What's new

  • Lumi on Android (Termux) — run this in Termux to add Lumi's repository and pkg install lumi; after that, pkg upgrade keeps it up to date

    curl -fsSL https://hotakacchi.github.io/ai-console/termux/install.sh | sh
    • It's the terminal version (no voice, face, peek window or screen control) for aarch64 (64-bit ARM)
    • Talk with Claude (claude-code), ChatGPT (codex) or an AI with an API key, and run Termux commands after confirming
    • For the local AI, install llama.cpp first with pkg install llama-cpp (Lumi downloads the model)
    • The repository is signed

インストール / Install

OS
Windows 10 / 11 Lumi-Windows-Setup-1.7.2.exe
macOS 11+ lumi-mac-1.7.2.dmg
Linux (x64 / arm64) lumi_1.7.2_*.deb / lumi-linux-*.tar.gz
Android (Termux, aarch64) curl -fsSL https://hotakacchi.github.io/ai-console/termux/install.sh | sh

Full Changelog: v1.7.1...v1.7.2

Lumi v1.7.1

Choose a tag to compare

@github-actions github-actions released this 14 Oct 01:26

新しくなったこと

  • 画面操作 — 「メモ帳を開いて『こんにちは』と入力して」のように頼むと、ルミがほかのアプリのボタンをクリックしたり、文字を打ったり、キーを押したりします。押すボタンは画面の文字を読み取って探すので、画像を読めない AI でも使えます
    • 自動モードでも、操作の一覧を見せて毎回許可を取ってから行います
    • 操作中にマウスを動かすと、すぐ止まります。押す文字が画面に見つからないときも、そこで止まります
    • 操作のあとの画面の文字を AI が読んで、うまくいったか確かめます
    • /set ui_control off で使わないようにできます。Mac は「アクセシビリティ」の許可、Linux は xdotool (X11) が必要です

修正

  • キーやマウスをまねるコマンド (SendKeys など) で、画面操作の確認をすり抜けられないようにしました (自動モードでも必ず確認します)
  • 実行したコマンドを会話の記録に残すようにしました (あとで何をしたか確かめられるように)

What's new

  • Screen control — ask something like "open Notepad and type hello" and Lumi clicks buttons, types text and presses keys in other apps. It finds buttons by reading the text on screen, so it works even with AIs that can't see images
    • It always shows the list of steps and asks first, even in auto mode
    • Moving the mouse stops it right away, and it also stops if the text to click isn't on screen
    • The AI reads the screen afterwards to check that it worked
    • Turn it off with /set ui_control off. Mac needs the Accessibility permission, Linux needs xdotool (X11)

Fixes

  • Commands that fake keys or the mouse (SendKeys and the like) can no longer get around the screen control confirmation (they always ask, even in auto mode)
  • Executed commands are now kept in the conversation record, so you can check later what was run

インストール / Install

OS
Windows 10 / 11 Lumi-Windows-Setup-1.7.1.exe
macOS 11+ lumi-mac-1.7.1.dmg
Linux (x64 / arm64) lumi_1.7.1_*.deb / lumi-linux-*.tar.gz

Full Changelog: v1.7.0...v1.7.1

Lumi v1.7.0

Choose a tag to compare

@github-actions github-actions released this 12 Oct 15:06

新しくなったこと

Claude・ChatGPT の定額プランで使える

  • Claude Pro / Max (claude-code) — Claude Code を入れてログインしておくと、/set provider claude-code で、API キーなしで Claude が答えます
  • ChatGPT Plus / Pro (codex) — Codex CLI を入れて codex login しておくと、/set provider codex で ChatGPT のモデルが答えます
  • どちらも、それぞれの道具やファイル操作は使わせず、返事を作るだけにしています。PC の操作はいつもどおり、ルミが確認してから実行します。/set model でモデルも選べます (発言ごとに起動するので、返事まで数秒かかります)

画面の文字を読む

  • 「この画面のエラーは何?」や /screen で画面を見せるとき、画面の文字も読み取って (OCR) AI に渡すようにしました。画像を読めないローカルAIでも、エラーメッセージなどを読めます。OS に入っている仕組みを使うので、ダウンロードは要りません (Windows・Mac。Linux は tesseract が必要)

もっとルミらしく

  • 時間帯で様子が変わる — 朝はにっこり、夜は眠そうな目でときどきあくびをし、深夜はすぐ眠ります。深夜 1〜5 時に話しかけると、一晩に 1 回「そろそろ寝ようね」と声をかけます (time_faces)
  • VOICEVOX の声色が気持ちに合わせて変わる — 嬉しい・悲しい・驚きに合わせて、キャラクターのスタイル (「あまあま」など) か、声の高さや抑揚を変えます。夜遅くは小声になります (voice_emotion)

便利に

  • 返事をコピー — /copy か「今のをコピーして」で、直前の返事をクリップボードに入れます。「このコマンドをコピーして」もできます
  • 右クリックでコピー・貼り付け — コンソールのように、文字を選んでいればコピー、選んでいなければ貼り付けます
  • 長いコマンドが終わったら知らせる — 30 秒以上かかったコマンドが終わったとき、窓を見ていなければ顔を出して知らせます (done_notice)
  • ゲーム中は静かに — ゲームや動画を全画面で使っている間は、喋らずに文字だけ出し、小窓も出しません (Windows。game_quiet)

修正

  • v1.6.6 の修正 (「止めて」だけの発言は AI に渡さない、電源の操作は必ず確認する) も入っています

新しい設定 (done_notice・game_quiet・time_faces・voice_emotion) は、/set か設定ウィンドウでオフにできます。

What's new

Use your Claude or ChatGPT plan

  • Claude Pro / Max (claude-code) — with Claude Code installed and logged in, /set provider claude-code lets Claude answer, no API key needed
  • ChatGPT Plus / Pro (codex) — with the Codex CLI installed and codex login done, /set provider codex lets ChatGPT's models answer
  • Neither may use its own tools or touch files; they only write replies. PC actions still go through Lumi, which asks first. Pick a model with /set model (each reply starts the tool, so it takes a few seconds)

Reading the screen

  • When you show Lumi your screen ("what's this error?", /screen), it now also reads the text on screen (OCR), so even local AIs that can't see images can read error messages. It uses what's built into the OS, so nothing is downloaded (Windows and Mac; Linux needs tesseract)

More Lumi

  • Changes with the time of day — cheerful in the morning, sleepy eyes and yawns at night, falls asleep quickly in the small hours, and once a night between 1 and 5 a.m. suggests getting some sleep (time_faces)
  • VOICEVOX voices follow the mood — happy, sad and surprised replies use a matching style of the character (like "あまあま") or a different pitch and intonation, and Lumi speaks more quietly late at night (voice_emotion)

Handy

  • Copy a reply — /copy or "copy that" puts the last reply on the clipboard; "copy that command" works too
  • Right-click to copy and paste — like a console: copies the selection, or pastes when nothing is selected
  • Tells you when a long command finishes — when a command that took 30 seconds or more finishes and you aren't looking, Lumi pops up to tell you (done_notice)
  • Quiet during games — while a game or video is fullscreen, Lumi shows text without speaking and doesn't pop up (Windows, game_quiet)

Fixes

  • Includes the v1.6.6 fix ("stop" alone never goes to the AI, and power actions always ask)

The new settings (done_notice, game_quiet, time_faces, voice_emotion) can be turned off with /set or in the settings window.

インストール / Install

OS
Windows 10 / 11 Lumi-Windows-Setup-1.7.0.exe
macOS 11+ lumi-mac-1.7.0.dmg
Linux (x64 / arm64) lumi_1.7.0_*.deb / lumi-linux-*.tar.gz

Full Changelog: v1.6.6...v1.7.0

Lumi v1.6.6

Choose a tag to compare

@github-actions github-actions released this 12 Oct 13:00

修正

  • 「止めて」と言うと、PC をシャットダウンしかけることがあった — 返事のあとに「ルミ、止めて」と言うと、AI が「PC を止めて」と取り違えることがありました。「止めて」「ストップ」「キャンセル」「もういい」などだけの発言は、AI に渡さず、ルミがしていること (返事・読み上げ・コマンド) を止めるようにしました (声・文字・スマホのどれでも)。「音楽を止めて」のように何を止めるかを言ったときは、これまでどおり AI に頼みます
  • 電源の操作は、自動モードでも必ず確認するように — シャットダウン・再起動・ログオフ・スリープを、書き方によらず (ShutdownWindows() や SetSuspendState なども) 実行前に確認するようにしました
  • AI に、「止めて」は PC の電源を切る意味ではないこと、シャットダウンははっきり頼まれたときだけにすることを伝えるようにしました

Fixes

  • Saying "stop" could nearly shut down the PC — after a reply, "Lumi, stop" could be taken by the AI as "stop the PC". Saying only "stop", "cancel", "never mind" and the like now stops what Lumi is doing (reply, speech, command) without going to the AI (by voice, typing or phone). Requests that say what to stop ("stop the music") still go to the AI as before
  • Power actions always ask, even in auto mode — shutting down, restarting, logging off and sleeping now always ask first, however the command is written (including ShutdownWindows() and SetSuspendState)
  • The AI is told that "stop" never means turning off the PC, and to shut down only when clearly asked

インストール / Install

OS
Windows 10 / 11 Lumi-Windows-Setup-1.6.6.exe
macOS 11+ lumi-mac-1.6.6.dmg
Linux (x64 / arm64) lumi_1.6.6_*.deb / lumi-linux-*.tar.gz

Full Changelog: v1.6.5...v1.6.6

Lumi v1.6.5

Choose a tag to compare

@github-actions github-actions released this 12 Oct 02:51

新しくなったこと

  • 声で止められるように — コマンドの実行中や考えている間に「ねえルミ、止めて」(「キャンセル」「ストップ」なども) と言うと、Ctrl+C と同じように止めます
  • 喋っている途中で呼びかけられるように — ルミが喋っている間に「ねえルミ」と呼ぶと、喋るのを一時停止して聞きます。続けて「止めて」なら止め、別の頼みならそちらに切り替え、何も言わなければ 6 秒で続きを喋ります。「ねえルミ、天気教えて」のように一息で言っても大丈夫です
  • 自分の声を聞き間違えないよう、喋っている間は「ねえ」を付けたときだけ反応します。作業中・喋っている間に聞こえたほかの言葉は、これまでどおり使いません
  • 確認の質問 (実行しますか?) への声の答えは、ルミが喋り終わってから受け付けます

What's new

  • Stop by voice — while a command runs or Lumi is thinking, say "hey Lumi, stop" (or cancel, never mind) to stop it, just like Ctrl+C
  • Interrupt Lumi while it speaks — say "hey Lumi" while Lumi is talking and it pauses to listen. "Stop" stops it, a new request replaces the current reply, and if you say nothing it carries on after 6 seconds. Saying it in one go ("hey Lumi, what's the weather") works too
  • While speaking, Lumi only reacts when you say "hey", so it can't mishear its own voice. Other speech heard while it's busy or talking is still ignored
  • Spoken answers to confirmation questions ("run this?") are accepted once Lumi has finished speaking

インストール / Install

OS
Windows 10 / 11 Lumi-Windows-Setup-1.6.5.exe
macOS 11+ lumi-mac-1.6.5.dmg
Linux (x64 / arm64) lumi_1.6.5_*.deb / lumi-linux-*.tar.gz

Full Changelog: v1.6.4...v1.6.5

Lumi v1.6.4

Choose a tag to compare

@github-actions github-actions released this 11 Oct 15:05

新しくなったこと

  • 音声入力がずっと正確に — グラフィックボードのある Windows の PC では、いちばん正確な Whisper のモデル (large-v3-turbo) を GPU で動かして書き起こすようにしました。PowerShell・Git・VS Code のような英単語まじりの言葉も、話し終えてから約1秒で正しく文字になります (初回だけ GPU の準備で少し時間がかかります)
  • Whisper のモデルを PC に合わせて選ぶ — 新しい既定 whisper_model auto は、グラフィックボードがあれば turbo、メモリが 8GB 以上なら small、それ以外は base を使います。/install-whisper turbo のようにモデルを選んで入れることもできます
  • 前に base や small を入れていて、グラフィックボードがある PC では、turbo をすすめる案内を出します
  • whisper_gpu (auto / on / off) で、Whisper で GPU を使うかを選べます。auto は専用のグラフィックボードがあるときだけ使います (内蔵 GPU では CPU より遅いため)

What's new

  • Much more accurate voice input — on Windows PCs with a graphics card, speech is now transcribed with Whisper's most accurate model (large-v3-turbo) running on the GPU. Words like PowerShell, Git and VS Code come out right, about 1 second after you stop talking (the very first time takes a little longer while the GPU gets ready)
  • Whisper model picked for your PC — the new default whisper_model auto uses turbo with a graphics card, small with 8 GB of memory or more, and base otherwise. You can also choose one, e.g. /install-whisper turbo
  • If you installed base or small before and have a graphics card, Lumi suggests turbo
  • whisper_gpu (auto / on / off) chooses whether Whisper uses the GPU. auto uses it only with a dedicated graphics card (integrated GPUs were slower than the CPU)

インストール / Install

OS
Windows 10 / 11 Lumi-Windows-Setup-1.6.4.exe
macOS 11+ lumi-mac-1.6.4.dmg
Linux (x64 / arm64) lumi_1.6.4_*.deb / lumi-linux-*.tar.gz

Full Changelog: v1.6.3...v1.6.4

whisper.cpp b5454 (Vulkan)

Pre-release

Choose a tag to compare

@Hotakacchi Hotakacchi released this 11 Oct 14:42

ルミが使う whisper.cpp (b5454) の GPU (Vulkan) 版。ggml-org/whisper.cpp をそのままビルドしたもの (MIT License)。ビルド: https://github.com/Hotakacchi/ai-console/actions/runs/38147534826

The GPU (Vulkan) build of whisper.cpp b5454 used by Lumi, built unmodified from ggml-org/whisper.cpp (MIT License).

Lumi v1.6.3

Choose a tag to compare

@github-actions github-actions released this 09 Oct 04:13

修正

  • 確認の質問で終わった返事のあとに、関係ないコマンドを実行してしまうことがあった — 「〜しましょうか?」のようにルミが質問して返事を終えたときは、コマンドを実行せずに答えを待つようにしました (自動実行モードでも)
  • 返事の中の壊れた <br を消すときに、その後ろの文まで消えてしまうことがあったのを直しました
  • アップデートをより確実にしました — インストーラーはルミが終わるのを待ってから入れ替えるようにし、ルミが終わらないときは止めてから入れ替えます。ルミの終了処理が止まっても、プロセスが残らないようにしました
  • ルミを終了している間に、Discord のステータスが出し直されることがあったのを直しました

Fixes

  • Lumi sometimes ran unrelated commands after ending a reply with a question — when Lumi ends a reply by asking you something ("shall I …?"), it now waits for your answer instead of running commands, even in auto mode
  • Cleaning up a broken <br in replies could remove the rest of the sentence; fixed
  • More reliable updates — the installer now waits for Lumi to exit before replacing it, and stops Lumi if it doesn't exit. Lumi's process no longer lingers if shutting down gets stuck
  • The Discord status could be set again while Lumi was quitting; fixed

インストール / Install

OS
Windows 10 / 11 Lumi-Windows-Setup-1.6.3.exe
macOS 11+ lumi-mac-1.6.3.dmg
Linux (x64 / arm64) lumi_1.6.3_*.deb / lumi-linux-*.tar.gz

Full Changelog: v1.6.2...v1.6.3

Lumi v1.6.2

Choose a tag to compare

@github-actions github-actions released this 09 Oct 02:53

修正

  • 版を指定して新機能を聞いても答えられなかった — 「ルミの v1.6.0 の新機能は?」のように版を指定すると、その版のリリースノートをもとに答えるようにしました。版を指定しないときは、最新の版と、修正だけの版ならその元の版 (v1.6.1 なら v1.6.0) のリリースノートを使います
  • 返事に <br のような文字が混ざることがあったのを直しました
  • 音楽の操作の結果の文 (「音量を上げました」など) を自然な日本語に直しました

Fixes

  • Asking about a specific version's new features didn't work — "what's new in Lumi v1.6.0?" now answers from that version's release notes. Without a version, the latest release notes are used, plus the base release (v1.6.0 for v1.6.1) when the latest only has fixes
  • Stray text like <br no longer shows up in replies
  • More natural Japanese for the music control results

インストール / Install

OS
Windows 10 / 11 Lumi-Windows-Setup-1.6.2.exe
macOS 11+ lumi-mac-1.6.2.dmg
Linux (x64 / arm64) lumi_1.6.2_*.deb / lumi-linux-*.tar.gz

Full Changelog: v1.6.1...v1.6.2

Lumi v1.6.1

Choose a tag to compare

@github-actions github-actions released this 09 Oct 02:31

修正

  • 同じような答えを何度も繰り返すことがあった — ほぼ同時に 2 回話しかけられると、同じ質問への返事が 2 つ同時に動いてしまうことがありました。返事を始める仕組みのすき間をなくしました
  • AI が同じことを言い直したり、同じ道具 (コマンドなど) をまた使おうとしたら、そこで返事を終えるようにしました
  • ルミの新機能を聞いても答えられなかった — ルミの機能や使い方を聞くと、説明書 (README) を、「新機能」「最新」なら最新のリリースノートを添えて AI に渡すので、その内容をもとに答えます

Fixes

  • Lumi sometimes repeated similar answers several times — two inputs at almost the same moment could start two replies to the same question at once. That gap is closed
  • A reply now ends when the AI repeats itself or tries the same tool (command etc.) again
  • Questions about Lumi's new features weren't answered — questions about Lumi's features and usage now come with its manual (README), or the latest release notes for "what's new", so the AI answers from them

インストール / Install

OS
Windows 10 / 11 Lumi-Windows-Setup-1.6.1.exe
macOS 11+ lumi-mac-1.6.1.dmg
Linux (x64 / arm64) lumi_1.6.1_*.deb / lumi-linux-*.tar.gz

Full Changelog: v1.6.0...v1.6.1