榫卯 Tenon v0.6.12 · AI 语音助手/电脑自动化/手机协同（性能优化版）

榫卯 Tenon v0.6.12 · AI 语音助手 / 电脑自动化 / 手机电脑协同 / 物联网

下载

• Windows 桌面便携版：desktop/release/TenonSuperTerminal-0.6.12-portable.exe（本 Release 附件）
• Android APK：public/download/tenon-android-0.6.12-debug.apk（本 Release 附件）
• 说明：桌面 App 首次启动会自动拉起中枢(http://127.0.0.1:7410)、执行器、屏幕采集与悬浮球；手机 App 填中枢地址与操作令牌即可。

本版重点

• 性能优化：手机录音复用电脑同一个 ASR 模型（不再多加载一套大模型，内存实测 7.16GB → 2.11GB）；屏幕 OCR 改常驻进程；完全相同的截图 60 秒内跳过识别。
• 手机 0.6.12：屏幕采集仍每 5 秒取帧，但画面没变就不解码/压缩/上传（设置可关），省电省流；修复静屏时虚拟屏重建导致采集停止的问题。
• 屏幕采集 5 秒/高清、识别后自动删图；AI 总结按设备分节、相似内容合并计数（省 token）。
• 手机端：一键唤醒 / 24 小时录制 / 悬浮球 / 语音唤醒 / 记录 / 文档 / 一键更新。

关键词：AI 语音助手、语音控制电脑、电脑自动化、RPA、桌面自动化、手机电脑协同、多端协同、智能家居、物联网、IoT、Home Assistant、MQTT、全天录音、24 小时录音、屏幕记录、截图 OCR、录音转文字、本地大模型、DeepSeek、FunASR、Electron、Node.js、Android、本地优先、可审计、隐私。

说明：当前为开发版（debug 签名 APK、未签名桌面 exe）；数据只落本机；公网访问需自行做端口映射（HTTP 明文，生产建议加 HTTPS 反代）。

榫卯 · 超级终端 v0.6.1（更强识别 + 唤醒/记录分离）

榫卯 · 超级终端 v0.6.1 · 更强的中文识别 + 唤醒/记录分离

针对你反馈「现在识别还很不准，建议换更强的模型」，本版把中文语音识别升级并重构成两条独立流水线。

1) 识别模型升级：FunASR Paraformer-large（+ VAD + 标点 + 热词偏置）

• 替换原来的 SenseVoiceSmall；同一组 11 条真实测试音频：命令 6/6 全对，唤醒 4/5 完全正确（第 5 条「榫卯」被识别为同音「孙卯」，但拼音别名仍能唤醒）；此前唤醒字符准确率约 64%、命令 93.7%。
• 单句识别约 0.15–0.5s；热词可在 data/voice/config.json 的 asr.hotwords 自定义（默认已含 榫卯/小榫/打开记事本/音量/Chrome/照片/甩到电脑/回家模式/总结/提醒），可继续加人名、品牌、常用命令。

2) 唤醒与记录分开（新 scripts/voice/dual_worker.py）

• 唤醒流水线：常驻但只截取 0.5–2.5s 短片段快速识别，用文本 + 拼音同音（含孙卯/孙某等纠错）匹配，命中才发唤醒事件；
• 记录流水线：唤醒后单独开启命令会话，完整 VAD 分段（1s 静音结束、最长 15s）+ 标点 + 热词，输出命令/笔记长句；
• 两条流水线参数与逻辑独立，同一时刻只有一个录音任务，不抢麦克风；会话静音 6s 回待机。
• 会话窗口由 3s 延长到 ≥8s，并在说话/识别/执行时自动续期（修复「命令说慢一点就丢掉」）。

3) 真实回环实测（扬声器→麦克风，不是模拟）

• 播放「榫卯」→ 唤醒事件 lastWake: 榫卯；
• 播放「把音量调到六十」→ 识别正确 → 规则执行；
• 真实系统音量 55 → 61 完成（执行 492ms，task succeeded），账本 integrity=true。

升级方式

• 电脑：重启「榫卯超级终端」（或关闭重开），识别模型已自动缓存；无需额外配置。
• 手机 APK 不变（0.6.0，见附件），语音由 App 录音→电脑本地识别；电脑端升级后手机语音识别同步变强。

说明 / 下一步

• 上一轮你提的「可对话 AI 回看记录/总结」「屏幕字库识别结果可见」「大厂设备适配模板（方便个人配置）」「手机通知转发电脑」「提词器」已记录，下一轮继续做。
• 手机 APK 仍未真机实测（本机无 adb），你装好后有问题发我截图/报错，我马上修。

榫卯 · 超级终端 v0.6.0（V5：笔记/总结文档/提醒/手机同步/物联）

榫卯 · 超级终端 v0.6.0（V5）

说出来的话直接变成笔记；总结变成真正的文档；到点会提醒你；真实设备可以接进来。

V5 新增

• 语音笔记：说「记一下：明天下午三点带合同见客户」→ 本地笔记（JSONL + Markdown），可搜索/编辑/删除/导出；规则优先，不耗云端额度。
• 真正的总结 + 文档中心：DeepSeek 结构化生成「摘要 / 重点 / 待办 / 回顾 / 日记」→ 一键下载 Markdown / DOCX / PDF（实测 md 3.2KB / docx 11KB(PK) / pdf 44KB(%PDF)）。
• 提醒：语音「提醒我 21:30 开会 / 每天 8 点吃药 / 1 分钟后喝水」或设置页创建；到点 电脑系统通知 + 语音播报 + 账本 + SSE，手机 App 通知；每天提醒自动滚到次日。
• 发到手机：Android 0.6 — 5 页签（首页/记录/提醒/文档/设置）、笔记/提醒/文档同步、本地通知、文档下载 + 系统分享（微信/QQ/邮件）、IoT 设备控制。APK 附件 2,901,975B（versionCode 6）。
• 真正物联：直接接入 Home Assistant REST / MQTT（含 HA MQTT Discovery）/ SSDP 局域网发现；配置→测试→发现/实体→导入设备→统一列表→开/关/亮度/温度/播放等控制；语音「打开客厅灯」也已接（iot: 设备分支）。品牌设备经 HA/MQTT 桥接（如小米/华为/苹果/Aqara/涂鸦），不直连厂商云。
• 雷鸟 AI 眼镜对照：官方 App 7 项能力（看板 / 实时字幕 / AI 录音总结 / 提词器 / 手机通知提醒 / 全天智记 AI 日记 / AI 对话）与榫卯逐项对照（提词器、手机通知转发明确列为下轮），见仓库 docs/雷鸟AI眼镜对照-V5.md。
• UI：单程序桌面版 0.6.0（5 页签 + 今日看板：下一个提醒/今日笔记/今日总结/屏幕采集）；单文件便携版 TenonSuperTerminal-0.6.0-portable.exe（128MB，本机 desktop/release/）。

独立验收（Checker，真实执行）

• 笔记 PASS 10/10；文档 隔离 10/10 + live 13/13（DeepSeek 1 次）；提醒 11/11（真实到点 + 每日滚动 + 系统通知）；物联 14/14（HA/MQTT 桩真实协议 + SSDP 真实报文）；UI 11/11（5 页签、看板、0 JS 错误、仅本机网络）；APK 静态 13/0/1（无真机 SKIP）
• 回归 5/5 全绿：npm 146/146、v2 基线 9/9、API 矩阵 353 PASS/0 FAIL/6 SKIP（359 用例/152 路由）、v1 E2E 9/9、super UI 14/14

诚实边界

• APK 未真机实测（本机无 adb 设备）；手机浏览器因浏览器安全限制不能调用麦克风（语音请用 APK）。
• 无真实家居设备：物联用本地 HA/MQTT 桩与真实 SSDP 报文验证协议；真实品牌控制需你在设置页接入自己的 Home Assistant / MQTT（有设备后再验收）。
• 提词器、手机通知转发到电脑：下轮。
• 语音输出仍是系统 TTS（神经网络 TTS 接口已留，未启用）。

启动

1. 双击桌面「榫卯超级终端」（0.6.0 便携版）
2. 手机安装本 Release 的 tenon-android-0.6.0-debug.apk
3. 打开页面 http://127.0.0.1:7410/（手机同 WiFi：http://192.168.3.123:7410/）
4. 说「记一下…」「提醒我…」「总结今天」；每日 23:00 自动总结

榫卯 · 超级终端 v0.5.0（V4）

榫卯 · 超级终端 v0.5.0（V4）

一个程序搞定：实时本地语音 → 执行 → 屏幕文字记录 → 每晚自动总结。Windows 单文件桌面版 + 手机 APK。

V4 新增

• Electron 单程序：托盘常驻，四页签（首页/设备/今日/设置），单行实时字幕（修复两行重复）；单文件便携版 TenonSuperTerminal-0.5.0-portable.exe（125.9MB，本机 desktop/release/）。
• 本地语音：本地 FunASR 识别 + 唤醒词「榫卯/小榫」；唤醒后 DeepSeek 规划执行，DeepSeek 不可用降级本地 Qwen/规则。
• 自研执行器（OpenClaw 式）：/api/v2/agent/execute 16 动作白名单、不可逆确认、审计；可选接入本机 OpenClaw（小龙虾）Gateway，设置页一键切换，失败自动回退。
• 屏幕文字（本地字库 OCR，非大模型）：Windows 系统 OCR（zh-Hans-CN），真实截图 98.2%、单张 67-800ms；PC 每 60s 变化才采集；手机 APK 截屏上报同一接口；数据只存本地。
• 内置每日总结：默认 23:00 + 手动「现在总结」，汇总语音转写+屏幕文字 → DeepSeek 生成「今天做了什么 / 明天要做什么 / 日记」Markdown（live 实测 1383 字）。
• 手机 APK 0.5：主页超级终端、设备一键绑定（无需扫码）、录音送电脑识别、屏幕采集（MediaProjection）。
• 简化绑定、确认幂等（不再报「任务不在待确认状态」）、正常模式默认开启。

测试

• Checker 独立终验：OCR 98.2%、采集 5/5、执行器真实 DeepSeek 多动作、Electron 12/12、单行字幕、APK 静态 12 PASS
• 回归：npm 146/146、v2 基线 9/9、API 矩阵 287 PASS/0 FAIL/2 SKIP、v1 E2E 9/9、super UI 14/14

诚实边界

• APK 未真机实测（无 adb 设备）；手机屏幕采集需系统「共享屏幕」授权。
• 手机浏览器在 HTTP 局域网下受浏览器安全限制无法调用麦克风 → 语音请用 APK 或电脑端。
• 电视/音箱/灯仍为模拟设备；不做公网中继/屏幕串流。

启动

1. 双击桌面「榫卯超级终端」（或 desktop/release/TenonSuperTerminal-0.5.0-portable.exe）
2. 手机安装 tenon-android-0.5.0-debug.apk（本 Release 附件），设置页填操作令牌
3. 电脑与手机同一 WiFi；令牌见 data/secrets.json 的 operatorToken（本机）

榫卯 Tenon v0.3.1 · 隐私/错误码/离线/槽位（v2.4）

榫卯 Tenon v0.3.1 · 隐私 / 可解释错误 / 离线可用 / 设备槽位

在 v0.3.0（手机遥控、拍照甩屏、一键场景）基础上，补齐「出事时可信、离线可用、隐私可控」：

• 剪贴板隐私：密码/验证码/银行卡/身份证/长数字/token/超长 7 类敏感内容识别，命中不落盘、不同步，账本只记 redacted:true+类型；最近 5 条可删除/清空；关闭开关 10 秒内停采。
• 12 个错误码文案库：每个错误一张卡「现象+原因+下一步+复制诊断」，诊断含版本/端口/时间/最近 5 条事件；新增 #/errors 演示页。
• 离线体验：所有桌面 v2 页离线横幅「数据截至 HH:mm（缓存）」+ 写操作置灰，恢复后 10s 内自动消失。
• 设备槽位：个人 3 台 / 家庭 8 台可配置；到上限给「最久未活跃的 3 台」替换建议；重名自动加后缀。
• 全面测试：用户旅程 E2E、10 分钟 soak（294/294 请求、seq 断裂 0、RSS 无增长）、性能基线（/api/state p50 0.76ms）已入库。
• 回归全绿：npm 146/146、v2 模块 87/87、API 矩阵 229/229、v1 E2E 9/9、super UI 14/14、R2 16/16、R3 27/27。

诚实边界：Android 真机仍未接入实测；电视/音箱/灯为模拟设备；不做屏幕串流/公网中继/iOS 后台控制/关机类动作。许可 CC BY-NC-SA 4.0（可修改、下载、非商业共享；修改后须开源；不得商用）。

榫卯 Tenon v0.3.0 · 手机遥控 / 拍照甩屏 / 一键场景（v2.3）

榫卯 Tenon v0.3.0 · 手机遥控 / 拍照甩屏 / 一键场景 / 新手引导

一台小软件，调动家里所有设备与所有程序：说一句/说一声，AI 把不同设备上的不同程序调起来；手机往前一倾，内容滑上电脑大屏；手机就是电脑的遥控器与触控板。

本次新增（R3）

• 手机遥控电脑：/m/remote 触控板（真实移动电脑鼠标）、左/右键、滚轮、键盘文字与组合键、媒体/音量键、常用程序一键启动、连接与延迟显示；电脑端 #/devices 提供入口二维码。
• 拍照/相册一甩上大屏：手机拍照或选图 → 自动入库 → 电脑 #/handoff 大图呈现（账本可查 asset.ingested / super.handoff）。
• 一键场景：#/super 首页「回家 / 工作 / 睡前」三个大按钮，真实执行打开程序/打开网页/调音量/播放音乐/桌面欢迎页（账本 scene.defined / scene.ran）。
• 新手引导：首次打开 3 步引导（装 App → 配对绑定 → 甩张照片），可跳过、完成态持久化。
• 设备绑定 + 一键安装（R1）：#/devices 设备卡/一键绑定解绑/安装包与 APK 下载；Windows 节点一键安装包（149KB，安装/卸载/登录自启）。
• 配对第一次就能成功（R2）：六项前置自检、二维码带 v/exp/oneTime、扫码自动配对、过期自动换码、配对成功页 3 个一键动作、设备卡重命名、撤销前影响预览、撤销后 7ms 内失效。

宣传片 v2.1（60 秒）

• 真实新界面截图（03:39–07:13 从运行中的榫卯中枢采集），含手机遥控、拍照甩屏真实交互段。
• 资产：tenon-v2.1-promo-60s-bgm.mp4（8.47MB，H.264+AAC）、...-silent.mp4（7.01MB，无音轨）、poster.jpg、contact-sheet.jpg。

验收（真实环境，独立 Checker）

• R3：API/真实效应验收 27/27 PASS、真实浏览器 UI 16/16 PASS、v1 E2E 9/9、super UI 14/14、API 矩阵 213/213（v2 路由 79 条含 remote 4 条）、npm test 146/146、v2 模块 73/73；实测光标移动误差 0、键盘输入剪贴板回读一致、音量 40→38→40、3 场景 scene.ran=3、账本完整性 ok。
• R1/R2 亦通过独立检查（安装包真机脚本 29 断言、第二设备绑定 21 断言、R2 装置 17/17 + UI 16/16）。

诚实边界

• Android 真机仍未接入实测（adb devices 无设备）；APK 仅构建/签名/lint 验证。
• 手机遥控首次使用需电脑端操作令牌一次（页面内置输入框）；后续可做配对后免令牌。
• 家庭电视/音箱/灯仍为模拟设备（界面明确标注）；真实设备为 Windows 电脑与 Android App。
• 不做屏幕串流/公网中继/iOS 后台控制/关机类不可逆动作（详见 docs/产品愿景-v2.1 §边界）。
• 许可：CC BY-NC-SA 4.0（允许修改、下载、非商业共享；修改后必须开源；不允许商用）。

榫卯 Tenon v0.2.0 · 消费级超级终端 P0

榫卯 Tenon v0.2.0 · 消费级超级终端 P0

一台小软件，调动家里所有设备与所有程序：说一句（也可以语音）让 AI 调度不同设备上的不同程序；手机往前一倾，正在看的内容就滑到电脑大屏上。

本次交付

• 超级终端首页 #/super（默认首页）：设备卡片 + 程序 tiles + 一句话输入 + 语音按钮 + 流转面板
• 语音/AI 意图 → 真实执行：DeepSeek 优先、规则引擎兜底；实测真实拉起电脑上的记事本（PID 记录）与微信
• 手机 → 电脑流转 handoff：手机 /m「甩到电脑」按钮 + 倾斜手势 → 电脑打开 #/handoff 接收页（滑入动画）
• 桌面 Agent 动作：app.launch / url.open / media.show / handoff.show / app.list
• Android 0.2.0 App（APK 见 Release 资产）：倾斜甩屏 + 语音指令 + 快捷程序面板（真机未实测，构建/lint 通过）
• v2-P0 底座：互联（UDP 发现/配对/断点续传/剪贴板/通知）、素材中心（哈希去重/缩略图/OCR/搜索/谱系/中转站）、场景、企业控制台（可选插件）

验收（本机真实运行）

• 真实浏览器（Chrome/Playwright）UI：14/14 通过，0 JS 错误
• v2 模块测试：65/65 通过（link 13 / assets 13 / things 9 / enterprise 17 / super 13）
• v0.1 单元测试 146/146；v0.1 真实浏览器 E2E 9/9；v2 API 隔离实例验收 9/9（55 路由）
• 证据：docs/测试证据/v2.1-超级终端-验收-20261025.md

如实说明

• Android 真机未接入（adb devices 无设备），APK 仅构建/签名/lint 验证
• 语音识别在浏览器端（headless 验证降级为文字路径）；AI 本次走规则引擎（未配置 DEEPSEEK_API_KEY 时自动降级）
• 电视/音箱/灯为模拟设备（simulated:true）；只有 Windows 电脑与 Android App 是真实设备
• 许可：CC BY-NC-SA 4.0（允许修改、下载、非商业共享；修改后必须开源；不允许商用）

v0.1.0 · 榫卯 Tenon

榫卯 Tenon v0.1.0 · 2026-10-25

把设备、软件与 AI 串成一条可查的任务链的自建中枢。只回答三个问题：这台机器能做什么、这件事办到哪一步、数据出了哪道门。

这次交付了什么

• 中枢：零 npm 运行时依赖的 Node.js 服务（server/），追加式哈希链事件账本 + 启动重放索引；能力注册表、任务引擎、影响预览、通道、体检、审计导出。
• 节点：node-agent/（Windows 真实运行；脚本同构支持 Linux/macOS，未实机验证），能力插件 image.crop（纯 JS PNG 居中裁剪）/ file.hash / file.delete / printer.mock。
• 桌面控制台：9 个页面（总览/设备/能力/任务/消息/体检/审计/演练/设置），SSE 实时刷新，首屏只读、写操作令牌登录。
• 手机页 /m：一句话 → 五段草案 → 确认/拒绝 → 回执；断网时读本机缓存并显示「数据截至 HH:mm」。
• 六项能力全部落地：自动发现、能力视图、任务代办（不可逆逐次确认）、影响预览（确定/可能/未知）、消息回传（摘要+链接）、部署与体检。

真实验收（不是纸面测试）

• 单元测试：146 条全部通过（0 失败），8 个测试文件。
• 真实浏览器：8/8 条验收全部通过；证据截图 19 张，见仓库 docs/测试证据/。
• 关键实测：断开被 3 条任务引用的设备 → 275ms 内三处降级「待确认」；影响预览 确定 3 / 可能 1 / 未知 1，取消后业务状态零变化；强杀重启 4 次 boot / 3 次 crashRecovery、无重复执行、哈希链与 seq 连续、缺口显式标记；双实例第二实例只读（423）。
• AI：DeepSeek 真实接入（provider=deepseek，tokens 392/108），无 key 时规则引擎降级。

快速开始

git clone https://github.com/minzzj/tenon.git
cd tenon
node server/start.js      # 中枢：http://127.0.0.1:7410（首次生成 data/secrets.json 与操作令牌）
node node-agent/agent.js  # 另一个窗口：本机节点
# 浏览器打开 http://127.0.0.1:7410 ，用启动日志里的操作令牌登录
# 手机端（同一局域网）：http://<电脑IP>:7410/m

Windows 也可直接双击 scripts/启动.cmd。重置演示数据：node scripts/seed-demo.js --fresh。

边界（诚实说明）

• 微信/邮件为适配器接口 + 模拟通道，真实通道需 webhook / SMTP 凭据；界面明确标注「模拟通道」。
• 手机为桌面 Chrome 的 /m 布局验证，未用真机；物理拔网线未做（用「断网演练」开关）；macOS/Android 原生节点、真实打印机、企业机房高可用未实机验证。

许可证

CC BY-NC-SA 4.0（署名—非商业性使用—相同方式共享）：允许下载、运行、修改、非商业分享；分发修改版须沿用同一许可证；不允许商用。法律文本见 LICENSE，中文参考见 LICENSE.zh-CN.md，商用说明见 COMMERCIAL.md。

完整文档：README.md / README.zh-CN.md / docs/。