Skip to content

Huabu v0.2.0 —— 视频理解

Choose a tag to compare

@acefun29 acefun29 released this 30 Sep 08:45
· 99 commits to main since this release

视频理解

任何声明图片输入的对话模型,自此都能"看"画布里的视频——不需要模型原生支持视频接口。

新能力

  • read_media 读视频:拖进画布的视频现在可以直接问"这里面发生了什么"。工具在本地抽取至多 8 个关键帧(≤768px)交给模型,每帧带 MM:SS 时间戳,回答会引用具体时间点
  • skim_video / read_video_frames 两工具(Agent 化两级精读):长视频先低成本粗扫全片(384px×6 帧 + 时长)定位区间,再对区间高清精读(768/1024px)。时间参数支持秒数与 01:30 这类格式;模型无视觉能力时自动降级为纯时间轴文本
  • 智能选帧:均匀采样为底,短视频附加场景切换检测;aHash 感知去重自动剔除近似重复画面(静态内容自动稀疏,动态保持满额)
  • 视频卡片真首帧:画布视频卡片从渐变占位升级为真实首帧缩略图(系统不支持时自动退回占位)
  • 抽帧缓存:同一视频重复问答零解码开销,缓存目录 512MB 自动 LRU 清理

工程与安全

  • 抽帧全部在主进程完成,失败收敛为带自纠指引的文本结果,绝不炸会话;2GB 以上的视频直接拒读
  • 依赖 ffmpeg-static 静态二进制(安装包体积因此增加约 80MB),asarUnpack 首例已随打包冒烟验证
  • 新增 t13 探针(14 项断言)、扩展 t7/t12 探针;全部自检与探针通过

已知边界

  • 音频轨暂不转写(无 ASR);原生视频直传(Qwen/豆包等)待上游运行时支持
  • 全量变更见 feat(video) 提交