Repository navigation
【腾讯犀牛鸟2026】ERNIE-Image ncnn Vulkan Port #7002
touqiang-guang
started this conversation in
Show and tell
Replies: 0 comments
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
项目代码:https://github.com/touqiang-guang/ernie-image-ncnn
模型权重:https://huggingface.co/chaseSun123/ernie-image-ncnn
摘要
本项目题目为"ncnn 实现 ERNIE-Image 端到端移植",目标是为百度 ERNIE-Image-Turbo 建立可在纯 C++/ncnn 环境中独立运行、不依赖 PyTorch/diffusers 的本地文生图实现。第一版以官方模型
baidu/ERNIE-Image-Turbo(8B 参数单流 DiT)为目标,采用其官方 8-step Turbo 路径,以减少跨后端浮点差异在多 step 闭环中的累计次数,缩小首轮移植的调试范围。本次迁移建立了严格的分阶段验证流程。项目依次完成模型结构分析与分段、pnnx/ncnn 转换、C++ Host 侧推理逻辑实现、ncnn CPU 完整链路验证,以及 GPU(Vulkan)后端的精度问题诊断。每一阶段均先冻结输入、输出与通过标准,再进行同输入数值比较与功能回归;阶段通过后方进入下一阶段。由此可将最终输出追溯到 Tokenizer、Text Encoder、DiT、Scheduler、VAE 与后端算子的具体边界。
AI 在项目中主要用于辅助阅读陌生源码、整理候选风险、生成对比验证脚手架,以及提出可证伪的调试假设。代码修改与最终结论均以固定输入的最小实验为依据,并通过 shape、finite、相关系数(correlation)等真实结果验证。本报告记录 AI 如何帮助缩短错误定位过程。
本项目的主要工作如下。
首先,完成了 ERNIE-Image 的 C++/ncnn CPU 推理链路。实际采用的 Turbo 流程被拆分为 Text Encoder(5 段)、DiT(11 段)与 VAE Decoder(1 段)共 17 段 ncnn 模型,以规避 8B 参数一次性转换导致的内存溢出;各段分别完成独立与累计数值验证。C++ 侧实现了 BPE Tokenizer、时间嵌入 compute_c_mod()、FlowMatch Scheduler、可重复随机数、VAE 前后处理与 PNG 写出。CPU 完整链路能够从受支持的 Prompt 生成 512×512 RGB 图片。
其次,完成了 GPU(Vulkan)后端的精度问题诊断。通过单模块切换对照实验,定位到三个独立的正确性障碍:Text Encoder 走 Vulkan 因 fp16 round 误差导致主体语义错乱;VAE Decoder 走 Vulkan 导致输出全白;DiT 主体(segB)走 Vulkan 触发段错误。当前方案为将上述模块全部强制 CPU 以保证正确性。
最后,完成了端到端交付。代码与约 23.4 GB 的 FP32 权重已分别发布至本文开头列出的 GitHub 与 Hugging Face 仓库。
1. 项目目标、范围与最终形态
1.1 迁移目标
官方推理链路可概括为:
本项目保持官方模型结构与推理语义,形成以下部署链路:
最终程序在纯 C++/ncnn 环境中独立运行;Python 仅作为便捷入口(txt2img.py)。
1.2 模型选型依据
ERNIE-Image 的核心计算成本与误差传播均集中在重复去噪循环。单个 step 内部包含全部 DiT Block;当前 step 的 prediction 经 FlowMatch Scheduler 更新 latent 后,会成为下一 step 的输入。因此误差传播同时包含单层算子误差、主干累计误差以及多 step 递归误差。选择官方 8-step 的 Turbo 配置,可将第三类累计控制在较小且固定的次数,同时完整覆盖 Tokenizer、Text Encoder、DiT、Scheduler 与 VAE,适合建立第一条可验证链路。
1.3 最终交付
代码与权重采用分仓发布:
Hugging Face 权重仓库共 41 个文件,总逻辑大小约 23.4 GB(FP32);GitHub 仓库包含代码、构建配置与运行说明。
2. 分阶段验证方法与 AI 辅助调试
2.1 验证流程
项目采用分阶段、逐级扩大的验证流程:
每一阶段先固定输入与通过标准,再进行同输入数值比较与功能回归,阶段通过后方进入下一阶段。
2.2 验收指标
中间 Tensor 主要记录:
端到端图片继续检查:
2.3 AI 在调试中的实际作用
AI 主要帮助完成以下工作:
采用的协作约束为:
时间嵌入的 cos/sin 顺序问题是典型例子。AI 曾辅助提出 timestep 标度、CFG、rope 格式与 cos/sin 顺序等假设,项目逐项执行对照实验,最终以"使用真实 diffusers 模块生成 ground truth、逐段对比 ncnn 输出"定位到 compute_c_mod() 的 cos/sin 顺序错误,修复后相关系数达到 1.0(位对齐),出图恢复正常。
3. 阶段1:模型转换与分段
3.1 模型结构分析
ERNIE-Image-Turbo 为 8B 参数单流 DiT 模型。直接一次性转换整个模型会因内存不足失败,故需将模型按功能拆分为多个段,逐段加载与卸载。
3.2 17 段分段方案
最终的分段方案如下:
各段通过 pnnx 转换为 ncnn FP32 模型,并分别完成独立与累计数值验证。
3.3 移植阶段的关键技术挑战
模型转换与 Host 侧实现阶段共定位六项关键技术挑战:
torch.stack+reshape被静默降级为 concatnew[2i]=new[2i+1]=old[i]flip_sin_to_cos=False对应顺序为[sin, cos]4. 阶段2:C++ Host 侧推理逻辑实现
4.1 BPE Tokenizer
官方 Tokenizer 依赖 Python/diffusers,本项目在 C++ 端实现独立的 BPE Tokenizer(
src/bpe_tokenizer.cpp),支持 UTF-8 输入与 256 token 上限。Tokenizer 从tokenizer/vocab.txt与tokenizer/merges.txt加载词表与合并规则,与官方输出对齐。4.2 时间嵌入 compute_c_mod()
diffusers 的
Timesteps模块在 pnnx 转换时会被错误推断(num_channels 偏差 4 倍)。本项目在 C++ 端手算时间嵌入compute_c_mod(),绕开 pnnx 推断错误。该模块曾出现 cos/sin 顺序错误(diffusersflip_sin_to_cos=False对应[sin, cos],代码误写为[cos, sin]),导致出图模糊错位;通过"真实 diffusers ground truth 逐段对比"定位并修复。4.3 动态长度与随机种子
固定分辨率下,image token 数由 latent 决定;文本长度由运行时 Tokenizer 得到。C++ 根据实际长度动态生成 RoPE、Attention Mask 与 text/image token concat。随机种子可指定,以保证结果可复现(相同 prompt + seed 生成相同图片)。
5. 阶段3:ncnn CPU 完整链路验证
5.1 逐级串联过程
CPU 端作为部署正确性的主基线,按以下次序串联:
单步验证要求每一步输入、prediction 与更新后 latent 全部 finite,Scheduler 公式正确,checkpoint 可恢复。
5.2 端到端出图验证
CPU 完整链路能够从受支持的 Prompt 生成 512×512 RGB 图片。已验证的示例包括
a cute cat on a beach、a cute corgi puppy in snow、a giant majestic dragon flying over mountains at sunset等,输出主体清晰、构图合理(详见第 7 节出图示例)。5.3 性能数据
实测环境:RTX 4060 Laptop 8GB 显存 / 16GB 内存,512×512 分辨率,8 步 Euler 采样,CFG=1.0。
6. 阶段4:GPU(Vulkan)精度问题诊断
6.1 调试目标与基线
在 CPU 链路验证通过后,项目尝试将推理迁移至 Vulkan 后端以提升性能。调试过程以 CPU 输出为正确性基线,逐模块对比 Vulkan 输出。
6.2 单模块切换对照诊断
为精确定位问题模块,项目采用"单模块切换对照"方法:分别将 Text Encoder、VAE Decoder、DiT 主体(segB)在 CPU/GPU 间逐个切换,观察输出变化:
6.3 三个独立的正确性障碍
对照实验定位到三个独立问题:
即使升级至包含 fp16/bf16 round 修复的最新 ncnn,上述 TE/VAE 的 Vulkan 精度仍不完全正确。
6.4 当前缓解方案
将 Text Encoder、VAE Decoder 与 DiT 主体全部强制 CPU(
use_vulkan_compute=false),以 GPU 加速换取正确性。真正的 GPU 加速仍需进一步研究(显存分段管理、算子 Vulkan 兼容性、fp16 round 精度)。7. 最终形态与性能
7.1 交付物
7.2 出图示例
Prompt:
a cute cat on a beachPrompt:
a cute corgi puppy in snowPrompt:
a giant majestic dragon flying over mountains at sunset, highly detailed, epic fantasy art7.3 系统要求
(RAM/2) + VRAM ≥ 16GB7.4 使用方法
8. 已知限制与路线图
已知限制
路线图
致谢
All reactions