Repository navigation
v0.0.7
安装运行
Docker(推荐)
docker run -d --name agnes-platform -p 8080:8000 -v agnes-data:/app/data ghcr.io/wingkysky/agnes-ai-platform:v0.0.7免 Docker 便携包(Windows / macOS Apple Silicon)
从下方 Assets 下载对应平台的 zip,解压后双击 start-windows.bat(或 macOS 的 start-macos.command)。
macOS 首次运行先在终端执行 xattr -cr <解压目录> 去除下载标记;详见包内 README-PORTABLE.txt。
打开 http://localhost:8080 (便携包为 8000),按首启向导完成管理员密码与 AI 服务配置即可使用。
更多方式(docker compose / 公网服务器反代与 HTTPS / 数据备份)见 docs/deployment.md。
视频剪辑器:全新独立剪辑实体
- 剪辑工程独立实体:新表
editing_projects(文档快照 + revision 乐观锁 + 渲染状态/进度/快照/幂等列),端点/api/editor/projects增删改查、文档保存 409 冲突副本、whisper 字幕预览;前端新增侧边栏「视频剪辑」入口与作品详情工程区 →/editor/:uid宿主页(节流自动保存、冲突副本、草稿占位时长补正);whisper 转写抽services/media/transcribe_service公共域复用 - 命令状态机:14 op 可序列化命令表(addClip/moveClip/trimClip/splitClip/removeClip/detachAudio/setClipProperty、字幕 3 op、轨道 4 op)纯函数 fail-closed(未知 op / 非法 payload 抛错不改状态,可安全回放),200 层结构共享快照撤销,vitest 黄金对表 + 重放一致性锁死
- 多轨时间线:视频/音频/字幕三类轨道、多视频轨画中画;最近点吸附(Shift 临时禁用 + 开关记忆)+ 碰撞拒绝 + 占用轨放置三级回退(同类型空闲轨 → 自动开新轨);片段分割 / 复制 / 音画分离 / 接缝转场菜单(叠化/溶解/擦除)/ 淡入淡出包络 / 静音徽标 / 片段与轨道右键菜单;标尺 px↔秒换算收口根治 0 点错位类问题
- 片段素材条:视频片段缩略图条(mediabunny 按源时间网格取帧)/ 图片位图铺满 / 音频音波条(全量解码分桶),asset 级 LRU 缓存 + 失败负缓存 + 串行解码队列让位预览解码;SRT 导入(解析后全量替换字幕轨,撤销可回)与导出(按时间排序下载
{工程名}.srt) - 预览双路径 + 全音频统一调度:WebCodecs 可用走 canvas 合成(mediabunny 帧迭代解码),否则 DOM 媒体元素降级;视频自带音频与音频轨统一解 PCM 挂 WebAudio(样本级音量/淡变增益),音频时钟主控推进播放头;时长探测三级化(容器元数据 → 元素 → 兜底);画中画预览点选拖动 / 四角等比缩放直接操作(松手入撤销栈);画面容器查询等比适配(信箱式留白)
- 标准传输控制条:三区布局——左「当前/总时长」时间码
HH:MM:SS.mmm(等宽数字防抖)+ 中 7 键图标组(首帧/退1秒/上一帧/播放暂停/下一帧/进1秒/尾帧,lucide 通用图标)+ 右占位;动作语义与键盘快捷键完全同源,播放头到边界自动禁用对应按钮,tooltip 标注快捷键 - 渲染管线:渲染 Plan 纯函数 lowering(转场压缩 render_start 的 xfade 链、PIP overlay 窗口、变速 atempo 保音高、多轨混音统一重采样 48k 立体声、ASS 字幕硬烧)→ 单条 ffmpeg;提交时文档快照 +
client_operation_id幂等 + asyncio 后台任务 + 启动 stale 复位;成片落uploads/editor并入库资产库、来源画布回写;真实工程端到端渲染验证通过(与预期画面 SSIM 0.969~0.985) - 布局对齐剪映:上排=素材墙+预览+属性、下排=全宽时间线,上排高度与面板宽度分隔条全可拖拽 + localStorage 持久化;素材库 16:9 自适应缩略图墙(行列随面板尺寸适应)+ 素材卡单击浮层临时预览(退出零成本恢复)
- 升级注意:
works/editing_projects/api_call_logs为新表启动自动建;canvas_workspaces.work_id、assets四列(storage_key/thumb_url/source/work_id)、generations.error_category/error_message、model_definitions.cost_multiplier为存量库需手动 ALTER(见模型文件升级注释);历史成功生成进资产库需管理员在资产库页点「同步历史资产」(幂等,可重复执行) - 测试:vitest 530 绿 + vue-tsc 零错 + build 过;pytest 252 绿;浏览器多轮实测拖拽缩放/预览/渲染/落库
资产统一:单一素材池 + 历史任务视图(融合子批次 2a)
- 统一资产单池:
assets表升级为统一身份(数字 id + 懒迁移),存储收口层治理死链;生成结果全量自动入库(任务上下文透出作品归属);/api/assets用户级路由(媒体类型/来源/作品/关键词服务端筛选 + 分页 + 批量分享/删除/zip 下载 + PATCH 字段编辑) - 单池入口统一:资产库页两区合并单池(卡片预览/用于生成/分享/编辑/删除,来源与作品标签);画布素材库面板同源切
/api/assets(生成历史/我的素材双 tab + 本作品/全部范围切换 + 检索强化);历史页重定位为任务视图(行式列表 + 状态筛选 + 复制提示词/查看资产/存为资产兜底/后期处理/删除) - 存量补课:管理员「同步历史资产」按钮 + 幂等 backfill 端点(历史成功生成批量入库,写库失败单条跳过不阻塞)
剪辑器轨道交互升级:拖拽换轨 + 轨道选中 + 轨头四开关
- 轨道多开状态:轨道旗标由单值
flag(hidden/locked/muted 三选一)改为flags四开布尔(hidden/locked/muted/solo 可并存),命令setTrackFlag改为setTrackFlags部分合并语义;后端骨架校验同步改为flags字典白名单校验 - 轨头图标按钮:轨头左侧重做——拖拽手柄 + 类型名 + 删除钮一行,状态图标一行(隐藏 Eye/EyeOff、原声 Volume2/VolumeX、独奏 Headphones、锁定 Lock/LockOpen,lucide 图标按类型给开关集:音频无隐藏、字幕无声音开关),激活态分色(隐藏灰/静音红/独奏黄/锁定主题色)+ 悬停 tooltip;原两个 checkbox 退役
- 轨道拖拽换轨:轨头手柄拖拽在同类型轨内重排(新命令
moveTrack,order 重编号保持稠密、原位放置结构共享零入栈),拖动中显示主色插入指示线、被拖行半透明;后端渲染 Plan 同类型轨序即层叠序不受影响 - 轨道选中:点轨头/轨道空白处选中轨道(轨头主题色高亮 + 左侧色条 + lane 淡底),与片段选中互斥;Delete/Backspace 删除选中空轨(非空轨 toast 拒绝),Escape 清除选中
- 独奏监听语义:存在独奏轨时预览只出独奏轨的声音(音频引擎 audibleSpans 过滤、DOM 路径 el.muted 同步),不影响画面、不随成片导出(对齐常规剪辑软件的 solo 惯例)
- 渲染语义缺口修复:后端渲染 Plan 原先完全不读轨道开关——现 hidden 轨整轨剔除(画面/自带音频/字幕全不进成片)、muted 轨只剔声音保留画面、DOM 预览字幕层补上隐藏轨过滤;成片与预览语义对齐
- 测试:vitest 新增 moveTrack 重排/钳位/结构共享、setTrackFlags 合并与非法 payload、独奏过滤等用例(514 绿)+ vue-tsc 零错 + build 过;pytest 新增 flags 骨架校验、hidden/muted/solo 渲染 Plan 语义用例(252 绿);浏览器实测轨头图标/选中/拖拽换位/删除保护/自动落库
作品容器 + 媒体域独立 + 画布轻成片(融合子批次 1)
- 作品容器:新表
works(一部剧一条作品,聚合集画布/剪辑工程/实体库),端点/api/works增删改查(用户自助,非本人 403 / 不存在 404);canvas_workspaces新增work_id列(存量库需手动 ALTER,见模型文件注释),画布创建可挂靠作品(非本人作品 403)、列表可按作品筛选,删除作品自动解绑名下画布为自由画布;前端新增侧边栏「作品」入口 → 列表页(/works,卡片 + 新建/删除)→ 详情页(/works/{id},集画布管理:新建一集 / 进入画布 / 删除) - 媒体域独立:TTS provider(内置音色库 + Edge TTS 调用)、字幕格式(SRT/ASS 构建 + 默认样式)、BGM 曲库从
services/project/抽至services/media/公共域,画布对项目域的反向依赖归位;media_compose新增concat_with_xfade转场链公共实现 - 画布轻成片增强:compose 节点新增「转场」(叠化/溶解/擦除/推入,非 none 多段走 xfade 重编码链)、「画幅」(16:9/9:16/1:1)、「背景音乐」三组参数 UI;多段配音按视频段顺序拼接成单轨后与 BGM 混音(
audios多段,旧单段audio_url兼容保留);TTS 音色下拉接入音色库(GET /api/canvas/voices);字幕节点「生成提示词」输入接通后端(按风格/节奏等要求拆分);BGM 曲库端点GET /api/canvas/bgms - 测试:pytest 新增作品端点 401/403/200 三态、画布挂靠作品归属校验、删除解绑用例;全量回归 206 过;vitest 414 绿 + vue-tsc 零错 + build 过
生成错误归类 + 上游调用记账 + 模型倍率定价(可靠性三件套)
- 生成错误归类:新增
error_taxonomy13 类目唯一出处(每类绑定「能否手动重试」语义;submission_uncertain提交结果不确定,禁止原地重试防重复扣费);上游错误统一包装为携带状态码/请求 ID 的结构化异常后归类;任务失败落库generations.error_category/error_message(存量库需手动 ALTER,见模型文件升级注释),任务状态与历史接口透出,提交失败响应携带category;GET /api/config下发error_categories语义表;前端生成页提交失败展示类目文案(可重试类保持原样),画布节点与批量创作表行级重试在不可重试类目上拦截提示,中英文案齐备 - 上游调用记账:新表
api_call_logs每次上游调用一行(渠道/模型/类型/端点/状态/类目/耗时/tokens),由上游调用客户端出口 best-effort 写入,写库失败不影响生成主流程;管理员端点GET /api/admin/api-calls(分页筛选)+/summary(按日×类目×渠道×模型聚合);/admin/logs新增第三 Tab「上游调用」:聚合卡 + 渠道/模型全量概览双汇总表(按调用量排序,点击模型行直接筛选下方明细列表)+ 明细筛选分页 - 模型倍率定价:
model_definitions.cost_multiplier(默认 1.0;存量库需手动 ALTER),实扣积分 = 平台基准价 × 倍率(图片按张/视频按秒规则不变,模型缺失按 1.0,倍率下限 0.1),预估接口与实扣同一计价函数保证一致,退款按实扣原额退;管理端模型编辑「积分倍率」输入保存即生效,模型列表勾选多行「批量设倍率」一次请求批量生效(PUT /api/models/batch-cost-multiplier,单个编辑框保留微调) - 测试:pytest 新增错误类目表驱动/UpstreamError/失败归因落库/倍率计价/批量倍率端点与调用记账端点鉴权三态等用例全绿;vitest 错误类目渲染与重试闸门前端回归全绿
批量创作表节点 + 提示词优化器 + 模型能力合同收敛
- 画布批量创作表节点:新增
table类型节点,「N 行 × M 参考图列」矩阵批量生图;参考图入槽三通道(单元格点选文件 / 拖入图片文件 / 列头句柄拖线到图片节点按列自动填充并建血缘连线);操作预设一键套用(批量换装 2 列 / 创意生图 3 列,含中文提示词模板);全局提示词与行提示词自动拼接;提交前逐行校验(不合格行红框拦截、其余照常提交),每行独立图片任务、失败单行重试,行状态徽标实时回写;列数按所选模型的参考图上限自动收敛 - 提示词优化器:新增
POST /api/prompts/optimize,五种模式(扩展想法 / 精修提示词 / 强化风格 / 适配模型 / 结合参考素材)结构化返回正向+负向提示词、关键变化、假设声明与最多 2 个备选版本;「适配模型」内置主流模型提示词方言规则表;解析失败自动重试一次。入口四处:图片/视频生成页、画布节点 composer、批量创作表行内;五模式各自独立面板——首次切换自动生成、结果与编辑按面板缓存、来回切换即看,应用时回填对应输入框(视频页正/负向双回填);输出语言钉死(中文输入全字段简体中文) - 模型能力合同层:新增
capability_service统一解析模型生成能力,三级优先(管理端显式gen_params逐键覆盖 > 按模型名自动画像 > 默认兜底),散落的模型特例判断收口到单一入口;前端统一经getModelGenParams消费;新模型接入继续零业务代码(类型/能力/约束均可管理端显式覆盖)