Repository navigation
Huabu v0.2.0 —— 视频理解
视频理解
任何声明图片输入的对话模型,自此都能"看"画布里的视频——不需要模型原生支持视频接口。
新能力
- read_media 读视频:拖进画布的视频现在可以直接问"这里面发生了什么"。工具在本地抽取至多 8 个关键帧(≤768px)交给模型,每帧带 MM:SS 时间戳,回答会引用具体时间点
- skim_video / read_video_frames 两工具(Agent 化两级精读):长视频先低成本粗扫全片(384px×6 帧 + 时长)定位区间,再对区间高清精读(768/1024px)。时间参数支持秒数与 01:30 这类格式;模型无视觉能力时自动降级为纯时间轴文本
- 智能选帧:均匀采样为底,短视频附加场景切换检测;aHash 感知去重自动剔除近似重复画面(静态内容自动稀疏,动态保持满额)
- 视频卡片真首帧:画布视频卡片从渐变占位升级为真实首帧缩略图(系统不支持时自动退回占位)
- 抽帧缓存:同一视频重复问答零解码开销,缓存目录 512MB 自动 LRU 清理
工程与安全
- 抽帧全部在主进程完成,失败收敛为带自纠指引的文本结果,绝不炸会话;2GB 以上的视频直接拒读
- 依赖 ffmpeg-static 静态二进制(安装包体积因此增加约 80MB),asarUnpack 首例已随打包冒烟验证
- 新增 t13 探针(14 项断言)、扩展 t7/t12 探针;全部自检与探针通过
已知边界
- 音频轨暂不转写(无 ASR);原生视频直传(Qwen/豆包等)待上游运行时支持
- 全量变更见 feat(video) 提交