[2026腾讯犀牛鸟]Youtu-VL到ncnn的适配与验证

[AiChiTuDouPian]

Youtu-VL → ncnn 端到端推理技术报告

版本：v1.1
目标：把腾讯多模态大模型 Youtu-VL-4B-Instruct 通过 pnnx 转换为 ncnn 子图，在 C++ 侧实现端到端推理（含图像理解 / 文本生成），在任意输入图片尺寸下，与 PyTorch 原版输出完全一致，使用 CMake 构建，并满足 Windows + Linux 双平台运行。

---

1. 项目背景与目标

Youtu-VL-4B 的推理链路整体搬到 ncnn + C++

1. 用 pnnx 把模型导出为 ncnn 子图
2. C++ 侧实现 LLM 解码（KV cache、因果注意力、RoPE、lm_head），尽量减少第三方依赖。
3. 相同输入下 ncnn 最终文本与 PyTorch 一致（数值对齐 + 贪心序列一致）。
4. 使用 CMake 构建。
5. Windows + Linux 双平台完美编译运行
6. 支持任意尺寸图片输入。

---

2. 系统架构

2.1 模型结构（Youtu-VL-4B，MLA 架构）

语言模型（LLM）部分

• vocab_size=283386，num_hidden_layers=40，hidden_size=2560
• q_lora_rank=1536，kv_lora_rank=512
• 注意力头：NHEAD=32，QK_NOPE=128，QK_ROPE=64，VHEAD=128，QK_HEAD=192
• RoPE：rope_theta=500000，rope_interleave 布局
• 特殊 token：BOS=128000，EOS=128001，VISION_START=128262，VISION_END=128263，IMAGE_PAD=128264
• lm_head 与 embed_tokens 共享权重

视觉塔（Vision Tower）部分

• hidden_size=1152，num_hidden_layers=27
• num_attention_heads=16，head_dim=72（=1152/16）
• intermediate_size=4304，layer_norm_eps=1e-6
• hidden_act=gelu_pytorch_tanh（tanh 近似 GELU，ncnn 侧用 gelu_tanh 复现）
• window_size=256（patch 数），vit_merger_window_size=8（merge 空间窗口）

2.2 Decoder 拆分方案（已验证，本阶段未改动）

每层拆成两个 ncnn 子图，注意力在 C++ 侧手算：

• decoder_pre（输入 x[1,1,2560]，单输入、无 RoPE）：输出 5 个张量 —— qn(q_nope) / qr_raw(q_rot 未旋转) / kn(k_nope) / kr_raw(k_rot 未旋转) / v。RoPE 旋转移出图，C++ 侧 build_R_at 逐位置旋转。
• decoder_post_o（输入 attn_flat[1,1,4096]，无 add）：只做注意力输出投影 o_proj(attn)[1,1,2560]。
• decoder_post_mlp（输入 h[1,1,2560]，无 add）：图内只做 RMSNorm → MLP(SiLU) → down，输出 MLP 贡献。两处残差相加（o_proj(attn)+x、MLP贡献+h）均放在 C++ 完成。

共 27 层 × 3（pre/o/mlp）= 81 个 ncnn 线性子图 + embed/post 线性，所有 LayerNorm、RoPE、注意力、Merger 均在 C++ 精确复现。

2.3 C++ 引擎

• 权重：embed.bin(283386×2560, ~2.9GB, 与 lm_head 共享)、norm.bin(2560, final RMSNorm)、merger 系列权重。
• 推理流程（文本模式）：embed → 逐 token 过 40 层（run_layer，图固定 S=1，KV cache 累积保证因果）→ final_norm → logits = normed_hidden @ embed^T（权重共享）→ 贪心解码。
• 推理流程（图像模式）：run_vision（动态）→ run_merger（动态）→ 用 visual token 替换 prompt 中对应数量的 IMAGE_PAD 槽位 → 走与文本相同的 40 层解码。
• 数值约定：torch [A,B,C] → ncnn (w=C, h=B, c=A)；fp16 bin 用 use_fp16_storage=false 加载为 fp32。

---

3. 数值验证结果

3.1 固定尺寸（16×16）

指标	值	结论
含图末位 logits cosine	0.999735	✅
末位 argmax	198 = 198	✅
贪心生成（12 token）	12/12 逐位相同	✅

→ 与纯文本路径（logits cosine 0.999035、12/12）

3.2 动态尺寸（figure1.png，12×18 grid）

输入 figure1.png（1636×1124）经 processor 真实缩放为 12×18 = 216 patch → 54 visual token，gw=18 → llm_grid_w=9 > 8 触发 2 个 window（固定尺寸版本根本测不出的场景）。C++（ncnn）与 PyTorch 逐项对比：

对比项	C++ vs PyTorch	结论
vision 输出 [216,1152]	overall cosine 0.999759，最差行 0.988	✅
visual token [54,2560]	overall cosine 0.999536，最差行 0.992	✅
末位 logits [283386]	cosine 0.997842，argmax 一致(101716)	✅
贪心生成（24 token）	24/24 逐位相同	✅

• 提示词：「这个图片描述了什么」：

这张图片展示了一个视频播放器界面，视频内容似乎与宗教或哲学讨论有关。视频中有一位戴眼镜的男子，背景是深色的，可能是室内环境。视频下方有一行字幕，显示的是中文：“上帝有儿子吗？耶稣基督的父是凡人还是神明？” 这段文字似乎在探讨宗教信仰中的核心问题。视频播放器界面包括播放进度条、播放按钮、音量控制按钮等常见元素，界面设计简洁，主要以黑色和白色为主。视频右上角有一个“更多”按钮，可能用于展开更多选项。视频下方还有一些互动按钮，如点赞、评论、分享等。整体来看，这个视频播放器界面展示了一个关于宗教信仰的讨论视频，用户可能在观看或准备观看这个视频，以获取相关的宗教或哲学知识。

• 分析：当前对图像进行编码压缩+提示词编码，加起来一共frefill输入是62 token，在c++端已经加入了KVCache减少了计算量，并且加快了长输出的推理速度。

[prefill] start: 62 tokens
内容[gen] step=0 token=101716
？[gen] step=1 token=100896


[gen] step=2 token=279
这张[gen] step=3 token=113396
图片[gen] step=4 token=103989
展示[gen] step=5 token=103203
了一个[gen] step=6 token=103546
视频[gen] step=7 token=102834
播放[gen] step=8 token=106118
器[gen] step=9 token=101392
界面[gen] step=10 token=106680
，[gen] step=11 token=100129
视频[gen] step=12 token=102834
内容[gen] step=13 token=101716
似乎[gen] step=14 token=103865
与[gen] step=15 token=101062
宗教[gen] step=16 token=105841
或[gen] step=17 token=101099
哲学[gen] step=18 token=104918
讨论[gen] step=19 token=103256
有关[gen] step=20 token=102059
。[gen] step=21 token=100085
视频[gen] step=22 token=102834
中[gen] step=23 token=101008
有一位[gen] step=24 token=119463
戴[gen] step=25 token=103676
眼镜[gen] step=26 token=109565
的[gen] step=27 token=101000
男子[gen] step=28 token=105415
，[gen] step=29 token=100129
背景[gen] step=30 token=102925
是[gen] step=31 token=101002
深[gen] step=32 token=101352
色的[gen] step=33 token=103950
，[gen] step=34 token=100129
可能是[gen] step=35 token=103645
室内[gen] step=36 token=105200
环境[gen] step=37 token=101573
。[gen] step=38 token=100085
视频[gen] step=39 token=102834
下方[gen] step=40 token=108353
有一[gen] step=41 token=102667
行[gen] step=42 token=101022
字[gen] step=43 token=101457
幕[gen] step=44 token=102891
，[gen] step=45 token=100129
显示[gen] step=46 token=102218
的是[gen] step=47 token=101688
中文[gen] step=48 token=105315
：“[gen] step=49 token=101742
上帝[gen] step=50 token=111031
有[gen] step=51 token=101004
儿子[gen] step=52 token=104915
吗[gen] step=53 token=102071
？[gen] step=54 token=100896
耶稣[gen] step=55 token=116454
基督[gen] step=56 token=110262
的[gen] step=57 token=101000
父[gen] step=58 token=102314
是[gen] step=59 token=101002
凡[gen] step=60 token=103210
人[gen] step=61 token=101005
还是[gen] step=62 token=101817
神[gen] step=63 token=101406
明[gen] step=64 token=101127
？[gen] step=65 token=100896
”[gen] step=66 token=100060
 [gen] step=67 token=220
这段[gen] step=68 token=106745
文字[gen] step=69 token=103882
似乎[gen] step=70 token=103865
在[gen] step=71 token=101003
探讨[gen] step=72 token=104312
宗教[gen] step=73 token=105841
信仰[gen] step=74 token=107433
中的[gen] step=75 token=101467
核心[gen] step=76 token=102329
问题[gen] step=77 token=101285
。[gen] step=78 token=100085
\n[gen] step=79 token=2695
\n[gen] step=80 token=2695
视频[gen] step=81 token=102834
播放[gen] step=82 token=106118
器[gen] step=83 token=101392
界面[gen] step=84 token=106680
包括[gen] step=85 token=101750
播放[gen] step=86 token=106118
进度[gen] step=87 token=107799
条[gen] step=88 token=101245
、[gen] step=89 token=100216
播放[gen] step=90 token=106118
按钮[gen] step=91 token=108527
、[gen] step=92 token=100216
音[gen] step=93 token=101595
量[gen] step=94 token=101114
控制[gen] step=95 token=101924
按钮[gen] step=96 token=108527
等[gen] step=97 token=101074
常见[gen] step=98 token=103192
元素[gen] step=99 token=103244
，[gen] step=100 token=100129
界面[gen] step=101 token=106680
设计[gen] step=102 token=101659
简洁[gen] step=103 token=105644
，[gen] step=104 token=100129
主要以[gen] step=105 token=118292
黑色[gen] step=106 token=105370
和[gen] step=107 token=101009
白色[gen] step=108 token=105550
为主[gen] step=109 token=103611
。[gen] step=110 token=100085
视频[gen] step=111 token=102834
右[gen] step=112 token=102184
上[gen] step=113 token=101020
角[gen] step=114 token=101598
有一个[gen] step=115 token=104038
“[gen] step=116 token=100156
更多[gen] step=117 token=101956
”[gen] step=118 token=100060
按钮[gen] step=119 token=108527
，[gen] step=120 token=100129
可能[gen] step=121 token=101151
用于[gen] step=122 token=102241
展开[gen] step=123 token=104068
更多[gen] step=124 token=101956
选项[gen] step=125 token=104949
。[gen] step=126 token=100085
视频[gen] step=127 token=102834
下方[gen] step=128 token=108353
还有一些[gen] step=129 token=113459
互动[gen] step=130 token=103809
按钮[gen] step=131 token=108527
，[gen] step=132 token=100129
如[gen] step=133 token=101038
点赞[gen] step=134 token=113458
、[gen] step=135 token=100216
评论[gen] step=136 token=104031
、[gen] step=137 token=100216
分享[gen] step=138 token=103334
等[gen] step=139 token=101074
。[gen] step=140 token=100085
\n[gen] step=141 token=2695
\n[gen] step=142 token=2695
整体[gen] step=143 token=102770
来看[gen] step=144 token=103088
，[gen] step=145 token=100129
这个[gen] step=146 token=101479
视频[gen] step=147 token=102834
播放[gen] step=148 token=106118
器[gen] step=149 token=101392
界面[gen] step=150 token=106680
展示[gen] step=151 token=103203
了一个[gen] step=152 token=103546
关于[gen] step=153 token=101895
宗教[gen] step=154 token=105841
信仰[gen] step=155 token=107433
的[gen] step=156 token=101000
讨论[gen] step=157 token=103256
视频[gen] step=158 token=102834
，[gen] step=159 token=100129
用户可能[gen] step=160 token=102976
在[gen] step=161 token=101003
观看[gen] step=162 token=106547
或[gen] step=163 token=101099
准备[gen] step=164 token=102633
观看[gen] step=165 token=106547
这个[gen] step=166 token=101479
视频[gen] step=167 token=102834
，[gen] step=168 token=100129
以[gen] step=169 token=101012
获取[gen] step=170 token=103696
相关的[gen] step=171 token=104142
宗教[gen] step=172 token=105841
或[gen] step=173 token=101099
哲学[gen] step=174 token=104918
知识[gen] step=175 token=101918
。[gen] step=176 token=100085
\n[gen] step=177 token=2695
\n[gen] step=178 token=2695
###[gen] step=179 token=22778
 [gen] step=180 token=220
总结[gen] step=181 token=102658
\n[gen] step=182 token=2695
这张[gen] step=183 token=113396
图片[gen] step=184 token=103989
展示[gen] step=185 token=103203
了一个[gen] step=186 token=103546
视频[gen] step=187 token=102834
播放[gen] step=188 token=106118
器[gen] step=189 token=101392
界面[gen] step=190 token=106680
，[gen] step=191 token=100129
视频[gen] step=192 token=102834
内容[gen] step=193 token=101716
涉及[gen] step=194 token=102682
宗教[gen] step=195 token=105841
信仰[gen] step=196 token=107433
中的[gen] step=197 token=101467
核心[gen] step=198 token=102329
问题[gen] step=199 token=101285

C++ engine done. prompt_tokens=62 gen_tokens=200 text_bytes=987

• 提示词：「提取图片中文字」：

Compressed and interpretable light-weight model ready for edge deployment。

4. 结论

4.1 结论

C++ ncnn 引擎已实现 Youtu-VL-4B 的动态尺寸端到端推理，在任意输入图片下与 PyTorch 原版最终文本一致：

• 动态尺寸链路（figure1，12×18 grid，216 patch → 54 visual token，2 窗口）：vision cosine 0.99976、visual token cosine 0.99954、末位 logits cosine 0.99784、贪心 24/24 完全一致。

• 项目地址：https://github.com/AiChiTuDouPian/Youtu-VL-ncnn

• 模型地址：https://huggingface.co/xxzigou/youtu-vl-ncnn