Skip to content

v2.7.0

Latest

Choose a tag to compare

@github-actions github-actions released this 17 Nov 17:01
1384b2e

Shinsekai 2.7.0

本次更新基于 2.6.0,全面升级了长期记忆架构与人物系统,新增人物关系图谱、服装分组与自动换装、立绘口型同步与说话眨眼、圆形小图标桌面挂件、实时屏幕感知与场景自适应发言、剧情历史回放与视频录制,以及角色语音自动准备流水线。

混合长期记忆、按存档隔离与内置「自设」

  • 本地 SQLite + FTS5 + ONNX 混合记忆引擎:用轻量本地检索引擎替换原有的 mem0 / Qdrant / PyTorch 依赖,同时支持角色长期记忆与角色资料库检索;升级后首次加载会自动将旧版本地 Qdrant 记忆与资料数据无损迁移至新的 shinsekai_store.db。
  • 单时间线对话与 4 合 1 回溯级联:聊天存档引入独立的 SQLite 会话账本(history.db),收拢为单一清晰时间线(移除旧版实验性多分支树界面);支持非破坏性上下文压缩检查点,回溯历史时可同步级联回退对话记录、压缩快照、长期记忆与舞台媒体状态。
  • 艾宾浩斯遗忘曲线与 4 类召回触发器:记忆分为固有设定(永不遗忘)与动态记忆(清晰 / 模糊 / 沉睡)。支持按时间事件、规则规划与高相似度自动唤醒沉睡记忆;人物管理页新增固有记忆钉选、手动唤醒与清晰度详情查看。
  • 三种按存档记忆隔离模式:新建或设置聊天时可选择 存档独立(默认推荐)、角色互通 或 继承只读,避免不同存档之间互相串档或污染全局角色记忆。
  • 内置玩家「自设」:角色库新增不可删除的内置「自设」,可自定义显示名称、人物设定、立绘与公共自我记忆;未指定其他主控人物时会自动作为玩家背景注入对话,也可在开局时直接选为主控人物。

服装分组、口型同步与舞台演出

  • 多套服装分组与自动换装:角色立绘支持创建、重命名与删除多个服装组,支持设为默认服装、批量移组、无匹配时回退默认组,以及一键智能归组(结合文件名、标签与视觉特征自动预览拆分)。开局可指定各角色初始服装组;聊天中可在工具栏 / 操作栏手动切换、锁定当前服装,或开启「自动随剧情换装」。
  • 立绘口型同步与说话眨眼:立绘智能生成工作区新增「口型同步」标签页,支持为静态或动态立绘生成或导入说话视频(可选 5 / 22 / 39 帧及说话时眨眼),自动匹配闭合、半开、张开三种嘴型与眼睛帧(睁眼 / 半闭眼 / 闭眼),支持画布缩放、手动框选嘴部与下巴锚点、调节音量灵敏度与模拟说话预览;聊天时由角色语音音量实时驱动。
  • 平滑淡入淡出与舞台交互优化:未生成过渡视频时,立绘切换会自动平滑淡入淡出;支持角色对白退场指令(LEAVE);CG 浮层新增保存与退出按钮;优化窄屏下的对话框自适应操作行、悬停操作显示、新对话背景重置透明及回复后输入框焦点自动恢复。

人物关系图谱

  • 角色编辑页新增「人物关系」标签页,提供 编辑关系(表格) 与 关系图谱(可视化) 双视图。
  • 支持从已有角色选取或添加自定义人物节点,配置双向/单向关系描述及好感度(-10 厌恶至 10 喜爱),支持悬停/单击查看出入边、拖拽调整节点布局与适应画布。
  • 聊天时自动将当前对话角色关联的人物关系摘要注入提示词上下文,并在角色重命名时保留关系图谱。

圆形小图标桌面挂件模式

  • 聊天舞台支持一键切换为 小图标模式:化身为可拖动、贴边停靠的圆形小头像悬浮窗,带有环形控制按钮、气泡对白/思考状态与语音监听提示。
  • 支持展开紧凑输入区继续文字、附件或屏幕共享交互,并可配置 全局/自定义唤醒输入框快捷键(Tauri 桌面端支持后台全局唤起)。
  • 统一角色、主控与列表的头像渲染和裁剪弹窗体验,并优化提醒面板与聊天列表展示。

实时屏幕感知与场景自适应发言

  • 实时感知与游戏反应:API 设置新增「实时感知与游戏反应」,支持一键检查并下载本地感知依赖与视觉模型(也可接入外部视觉服务)、开启本地 RapidOCR(支持底部字幕 / 全屏文字 / 预览框选区域)、检测共享音频并等待安静空档,以及通过游戏与插件接入端点接收外部状态。
  • 双阶段视觉记忆与场景自适应节奏:内置短期追踪与结构化片段总结,支持鼠标指针周围文本优先读取;自动识别 剧情沉浸、轻松内容、视频通话、激烈操作、游戏探索、阅读与办公、静止待机 七类场景,动态微调主动发言阈值、冷却时间与表情/气泡反应(例如视频通话提高打扰阈值、激烈操作后保留喘息窗口),并对角色扮演上下文去重。

剧情回放、多选导出与视频录制

  • 对话历史记录弹窗新增 「回放/分享」 模式:支持点选、拖动连选、「选到此处」、按关键词搜索过滤以及跨加载批次全选。
  • 选定消息后可一键 复制文字、生成长图 PNG 截图、在原舞台进行 剧情回放(支持暂停、上一句/下一句、进度定位与键盘快捷键),或在选择新世界聊天窗口/标签页后实时 录制并导出带语音、BGM 与音效的 MP4 / WebM 视频。
  • 回放时若部分台词缺少音频,可选 「边播放边补全语音」(优先合成当前句并预取后两句保存),且回放状态与真实聊天完全隔离,不改动剧情、历史或长期记忆。

详细操作契约见 聊天历史回放 CUJ。

角色语音自动准备与扩展生态

  • 角色语音自动准备流水线:新增 characters.voice.prepare 用例并接入桌面智能助手技能,支持检索社区预训练 GPT-SoVITS 模型实现零样本/开箱可用回退,或自动采集音频来源、UVR5 人声分离、ASR 切分选段与参考音频绑定,并支持可选的本地 GPT-SoVITS v2proplus 微调与合成验证。
  • 聊天工作区与插件扩展:插件可向聊天工作区与会话启动页注册自定义动作与入口,桌面唤醒请求可路由至已启用的聊天插件;新增声明式模型与运行依赖注册表,强化模型下载校验与离线快照保护;修复旧控制台输出 Emoji 编码阻塞问题。

兼容、依赖与升级提示

  • 数据迁移与备份:升级前建议备份 data/ 目录(配置、角色、历史记录与插件)。已有旧版 Qdrant 本地记忆和资料库会在升级后首次使用时自动迁移至 SQLite 混合库;新版本切换为单一对话时间线(不再使用旧版多分支树界面)。
  • 按需依赖:本地混合记忆依赖已精简至 onnxruntime 与 tokenizers(详见 requirements-runtime-local-ai.txt);口型同步的离线预处理需要 Python >= 3.12 环境与识别模型(可复用本地 H3 环境,详见 requirements-sprite-mouth.txt),聊天舞台播放口型本身不依赖这些预处理包。
  • 本地感知与录制限制:本地 RapidOCR 与感知视觉模型需在 API 设置 → 实时反应 检查并准备环境;历史视频导出依赖当前桌面/浏览器环境提供的窗口或标签页录制能力。
  • 原有功能约束:Live2D 仍需自行准备已获授权的 Cubism SDK 并离线导入准备;MMD 暂不支持物理模拟或自动跨模型骨骼重定向;MiniMax H3 仍需先行在本地 ComfyUI 跑通工作流。

完整变更记录:v2.6.0 → v2.7.0。

What's Changed

  • feat(sprite): fade between sprites without transition clips by @RachelForster in #404
  • fix(chat): restore input and choice focus after replies by @RachelForster in #406
  • fix(chat): prevent console encoding from blocking emoji by @Mizushima-Mihane in #407
  • feat(chat): add range history replay with stage checkpoints and voice completion by @RachelForster in #409
  • refactor(chat): move replay modules under history by @RachelForster in #411
  • refactor(sprite): reorganize workflows across application and core layers by @RachelForster in #412
  • feat(agent): add character sprite workflow and fix Pi truncation by @RachelForster in #408
  • feat: add owner-scoped character relationship graphs by @MousouSyou in #410
  • feat(perception): add adaptive screen-sharing reactions by @RachelForster in #414
  • refactor(frontend): split i18n messages and platform adapters into do… by @RachelForster in #415
  • feat(model-assets): add declarative model and runtime dependency registering by @RachelForster in #416
  • refactor(chat): modularize session capabilities and turn context pipeline by @RachelForster in #417
  • feat(chat-stage): add circular mini avatar mode with radial controls by @RachelForster in #420
  • feat(dialogue): add LEAVE stage exit rules across locales by @Mizushima-Mihane in #419
  • feat(characters): add voice preparation pipeline with pretrained TTS fallback by @RachelForster in #421
  • feat(memory): replace Mem0/Qdrant with SQLite FTS5 and ONNX hybrid store by @RachelForster in #418
  • fix(chat-stage): polish mini avatar layers, options, and input blur by @RachelForster in #422
  • Add plugin actions to the chat workspace by @Mizushima-Mihane in #413
  • feat(history): add SQLite sessions and non-destructive compaction rollback by @RachelForster in #423
  • feat(memory): add orchestrator with temporal recall and retention decay by @RachelForster in #424
  • feat(memory,character,chat): Phases 4-6 self-persona, save memory modes, outfit groups & React UI by @RachelForster in #425
  • feat(perception): add scene-adaptive pacing and deduplicate RP context by @RachelForster in #427
  • chore(release): prepare v2.7.0 README, version sync, and release notes by @RachelForster in #429

Full Changelog: v2.6.0...v2.7.0