Repository navigation
Video Agent 1.2.0
1.2.0 主要改了两件事:画面怎么挑、网页 AI 怎么用画面。另外可以在程序里直接用 DeepSeek 网页版写总结。
新增:
- 「总结」页多了「DeepSeek 网页」:程序打开一个 DeepSeek 窗口(第一次要在里面登录,以后记住),发去提示词和画面,开着深度思考和智能搜索,写完自动导入。DeepSeek 要补画面时,程序截好候选再发下一轮,直到它不再要,最多 6 轮。服务器繁忙、图片上传失败会自动重试。每一轮都能在窗口里看到。DeepSeek 只有一个窗口,同时只跑一个 DeepSeek 任务,其他的排队。
- 网页 AI 可以在总结最后写一节「画面调整」:用不上的画面写「不用」,以后不再发给它;它从字幕推测缺图的地方写「补截」和时间段,程序在那段时间里截几张不同的候选,下一轮给它挑。命令行用
pack --follow-up生成下一轮材料。 - 装了 AutoSlides Extractor 时,屏幕页默认由它来找,讲者翻得快的页也不会漏。屏幕和摄像头拼在一起的视频先裁出屏幕区域再交给它,同一页逐步出现的几步合成一页。「处理」页取消勾选就改用本程序自己的规则。
- 「设置」里可以一键下载 AutoSlides Extractor 的免安装版(从作者的 GitHub 发布页下载,约 90 MB),放在本程序的数据文件夹里,再下载一次就换成最新版。
改动:
- 写总结的规则改成把画面当材料:表格的数字、图表的走势、文件和政策的条文要读出来写进总结,尤其是讲者没念出来的。画面链接只放在图上确实显示了这一点的地方,链接文字写图上是什么;素材画面、空镜、讲者不链接。
- 发给网页 AI 的每张图(包括总图里的每一页)左下角印上编号和时间,表里也按编号列出路径。以前一次附几十张图时,AI 会按上传顺序对图,把素材画面当成别的图表。
- 去掉了按「如图」「看这里」这类说法自动截图:在讲图论的课里「这个图」说的是图论里的图,截了很多没用的画面,而且截的是话刚出口的时候,图往往还没出来。现在由 AI 读字幕自己推测哪里缺图。
- 画面布局的识别:
- 顶部一直不变的标题栏不再被当成屏幕;
- 屏幕里没有边框的讲者小窗能认出来,找翻页时把它涂黑;
- 讲者挡住了一部分分界线时,也能认出「摄像头和屏幕并排」;
- 用摄像机拍投影或显示器的视频,会找出投影那一块,在里面找翻页。
- 以前判成「只有摄像头」的视频(比如素材画面里偶尔插一张图表、截图),现在会把画面里停住两秒以上的图表和截图当作屏幕页。烧进画面的字幕两三秒换一句,不会再把一张图拆成几段短的而被扔掉。
修复:
- 手工指定的屏幕区域只是裁掉了画面四周时,不再被当成「屏幕加摄像头」。
- 用 AutoSlides Extractor 时,视频名较长的话,它写出的文件路径会超过 Windows 260 个字符的上限,结果读不回来。现在让它在短路径的临时目录里运行。默认用它时如果失败,自动改用本程序自己的规则,处理不会因此报错。
- 网页 AI 在正文里链接了一张画面、又在「画面调整」里写了「不用」时,以正文为准。
其他:
- 已经处理过的视频要重新处理,才用得上新的布局识别和屏幕页;已有的字幕、字幕改正和总结都不受影响。
manifest.json的布局类型多了projected(摄像机拍的投影或屏幕)。
代码改动:
- 命令行新增
picture_review.py,负责「画面调整」:记下不用的画面,在指定时间段里挑候选(同一画面停留越久越优先,素材画面每秒都在变,排在后面)。packing.py增加了下一轮材料,media.py增加了在图上印编号的点阵字体(安装包里的 FFmpeg 没有写字功能)。 layout.py增加了上面几条布局规则和「摄像机拍的投影」这一类;processor.py改为装了 Extractor 时先交给它,失败再用自己的规则。- 桌面程序新增三个文件:
deepseek.js操作 DeepSeek 网页(附图、填字、发送、等写完、读回代码块),只依赖 Electron,以后接别的网页 AI 照同样的接口再写一个;chat-rounds.js负责多轮往返;extractor.js负责下载 Extractor 免安装版。 - 测试:新增模拟 DeepSeek 页面的多轮测试(含一次服务器繁忙)、假 Extractor 测试、几种布局的合成视频测试和下载测试。桌面程序测试里的确认框改在页面里回答,跑测试时不再在屏幕上弹出对话框。
从 0.6.2 及以后的版本更新,只下载变化的部分。设置和工作区都保留。
-
桌面程序:下载
Video-Agent-Setup-1.2.0.exe,直接运行即可覆盖旧版本。安装包没有代码签名,Windows SmartScreen 可能提示“未知发布者”,选“仍要运行”即可。 -
命令行工具(需要 uv,不需要 git):
uv tool install --force https://github.com/edsfod/video-agent/releases/download/v1.2.0/video_agent-1.2.0-py3-none-any.whl
用 uv 安装时,FFmpeg 由 imageio-ffmpeg 从 PyPI 提供;电脑上已有的 ffmpeg 会优先使用。
compress需要带 SVT-AV1 的 FFmpeg。
本页附有安装包里 LGPL FFmpeg 的完整源码(ffmpeg-9.0.2.tar.xz、dav1d-1.5.4.tar.xz、SVT-AV1-v4.2.0.tar.gz)和编译说明(FFmpeg-BUILD.txt),与 0.9.0 相同。