vpy的设计与优化思路

[hooke007]

既是零基础的mpv-vs脚本编写指南（但是需要有mpv的进阶使用知识），也是 创建自定义vpy脚本（请先阅读此部分） 的扩展。

把vpy想象成一个非线性视频编辑器，这也许可以帮助减少理解难度。

mpv提供了哪些变量？
video_in (当前视频) video_in_dw (当前视频的输出宽度) video_in_dh (当前视频的输出高度)
container_fps (当前视频的源帧率) display_fps (显示器的刷新率)
参考： https://mpv.io/manual/master/#video-filters-video-in
如何理解 “变量” ？这相当于在写 mpv.conf/input.conf 时可以直接用的 属性

1. 基础——创建与修改变量

这部分我尝试让你理解脚本的首尾固定框架的含义及作用。

### 这是一个简单的完整的vpy脚本内容
import vapoursynth as vs
from vapoursynth import core

clip = video_in
clip = core.resize.Lanczos(clip=clip, width=500, height=500)

clip.set_output()

创建一个vpy文件并打开，相当于打开视频编辑器。当然这像是个自动化程度很低的视频编辑软件，所以第一步要"手动导入插件"，即导入模块/库，这对应每个脚本开头的固定两行：

import vapoursynth as vs
from vapoursynth import core

这产生的另一个结果是，定义了两个新变量 vs core
core 是个频繁要被用到的模块，因此大多数脚本开头都会直接导入。第二行不写也可，当然这会影响后续的编写方式

Tip

（补充知识）
导入模块的姿势是多样的，再比如：

import vapoursynth

它产生的另一个结果是，定义了新变量 vapoursynth

---

第二步，导入视频。在vpy中，我的习惯是定义一个新变量

clip = video_in

视频这个变量已经由mpv提供了，我们可以直接用。这里把 video_in 赋值给新定义的变量 clip ，可以理解为在视频编辑器内创建一个空轨道，然后把在素材库里的视频拖到这个轨道上去。

---

第三步，尝试对这个视频做一些简单的处理，比如用 vapoursynth 内置的缩放功能，这里当作套用一个滤镜。

clip = core.resize.Lanczos(clip=clip, width=500, height=500)

此处的 core.resize.Lanczos 相当于你打开一层层菜单最后点选的滤镜条目，然后弹出对话框 (clip=xxx, width=xxx, height=xxx) 让你分别填上值。
“滤镜” Lanczos 的第一个参数表示要处理的对象是 clip （这里指的是上一行的 clip = video_in ）

由于我没有使用新的变量名，因此产生的结果被保存并覆盖在旧变量 clip 中，即此时 clip 已经不是原始的 video_in 了。

Tip

（补充知识）
这一步也可以写成

clip = vs.core.resize.Lanczos(clip=clip, width=500, height=500)

为什么是这么写？core 是 vapoursynth 的子模块，resize 是 core 的子模块，Lanczos 是 resize 的子模块。
如果你开头没有编写 from vapoursynth import core 那么你只能以这种方式来使用

---

最后，尝试输出修改后的视频：

clip.set_output()

xxx.set_output() 是固定写法，不用理解原理。

[hooke007]

2. 拼接 k7sfunc 的模块

2.1. 创建毛胚

有了前文的知识，现在应该理解示例脚本中 import k7sfunc as k7f 的意义了。
而 k7sfunc 本就是为简化 vs 的使用而创建的，目的是让你像搭积木一般将各个部件轻松自由组合，创建属于你自己的滤镜。

我以 “超分+补帧” 这样一套需求组合为例，创建一个示例脚本：

### 这是一个未经优化的完整vpy脚本内容
import k7sfunc as k7f

clip = video_in
ret = k7f.FMT_CTRL(clip, h_max=1080, h_ret=True)
clip = k7f.UAI_NV_TRT(clip, model_pth="Zarxrax_DigitalFlim_SuperUltraCompact_x2_fp16_opset14.onnx", fp16=True, st_eng=True)
clip = k7f.MVT_MQ(clip, fps_in=container_fps)

clip.set_output()

UAI_NV_TRT 和 MVT_MQ 这两模块请自行阅读开头文档中的模块功能叙述。
开头没有固定的两行 import vapoursynth ...，因为确实脚本中没有用到它们，可以省略

为什么是先放大后补帧？补帧往往带来帧破损，放大在后处理会放大这种瑕疵；当前大多数超分的计算效率远低于补帧
ret 这个变量利用了脚本报错中断vs滤镜执行的特性，实现mpv中面对高度超过1080的源时，自动停止执行 “超分+补帧”

2.2. 性能优化

下面讲解拼接顺序的理由和如何优化性能。即用 FMT_CTRL 做多次中间处理：

### 这是优化后的完整vpy脚本内容
import k7sfunc as k7f

clip = video_in
ret = k7f.FMT_CTRL(clip, h_max=1080, h_ret=True)

clip = k7f.FMT_CTRL(clip, h_max=720, fmt_pix=1) ## 第一次
clip = k7f.UAI_NV_TRT(clip, model_pth="Zarxrax_DigitalFlim_SuperUltraCompact_x2_fp16_opset14.onnx", fp16=True, st_eng=True)
clip = k7f.FMT_CTRL(clip, h_max=1440) ## 第二次
clip = k7f.MVT_MQ(clip, fps_in=container_fps)

clip.set_output()

第一次的额外插入FMT_CTRL：ai模型放大通常是计算量较重的，预先将待处理的源缩小可以提速减压，这自然是以画质为代价的，而anime由于原生分辨率往往远低于1080p，这反而是可以接受的，而ai放大带来的观感改良将远超过损失的质量。

第二次的额外插入FMT_CTRL：将ai放大后的画面缩回显示器尺寸（这里参数中的h_max=1440是假定你在使用1440p的显示器）。
为什么这么做？因为即使这里不缩小，最终仍然要给dscale处理缩放到你的显示器尺寸。在放大后缩小一来可以极大减轻“补帧”的计算压力，二来在vs中输出4k的带宽和性能吞吐要比2k/1080p要高很多（这非常影响mpv渲染链路的整体效率）。
因此你使用任何其它模块，都建议在最终导出前插入FMT_CTRL来限制输出尺寸对应到你的显示器尺寸（这并不产生质量损失）。

2.3. 按条件可选处理

假如你有这样的需求，高分辨率不放大但是补帧，或高帧率不补帧但放大

import k7sfunc as k7f

clip = video_in

if clip.height <= 1200 :
	clip = k7f.FMT_CTRL(clip, h_max=720, fmt_pix=1)
	clip = k7f.UAI_NV_TRT(clip, model_pth="Zarxrax_DigitalFlim_SuperUltraCompact_x2_fp16_opset14.onnx", fp16=True, st_eng=True)
	clip = k7f.FMT_CTRL(clip, h_max=1440)

if container_fps <= 32 :
	clip = k7f.FMT_CTRL(clip, h_max=1440, fmt_pix=1)
	clip = k7f.MVT_MQ(clip, fps_in=container_fps)

if not (clip == video_in) :
	clip.set_output()

暂无解释，自行尝试理解（

[hooke007]

不要在教程贴创建问题。

[hooke007]

bak