Repository navigation
【腾讯犀牛鸟2026】ERNIE-Image ncnn Vulkan Port #6998
everythingfornothing
started this conversation in
Show and tell
Replies: 0 comments
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
Uh oh!
There was an error while loading. Please reload this page.
ncnn 实现 ERNIE-Image-Vulkan 技术报告
项目代码:https://github.com/everythingfornothing/ernie-image-ncnn-vulkan
模型权重:https://huggingface.co/Coderdw/ernie-image-ncnn-vulkan
核心能力
摘要
本项目题目为 “ncnn 实现 ERNIE-Image-Vulkan”,目标是为 ERNIE-Image 建立可在 Linux C++ 环境中独立运行的 ncnn CPU/Vulkan 文生图实现。第一版实现从 ERNIE-Image 系列中选取官方模型
baidu/ERNIE-Image-Turbo:扩散链的每个去噪 step 都会重新执行 36 层 DiT,并把 Scheduler 更新后的 latent 递归送入下一 step;相对于需要更多去噪步数的系列配置,Turbo 使用官方 8-step 路径,可以减少跨后端浮点差异在闭环中的累计次数,缩小首轮 Vulkan 移植的调试面。该选型保持官方 Tokenizer、Text Encoder、DiT、FlowMatch Scheduler 和 VAE 的结构与推理语义,采用 ERNIE-Image 系列中更适合作为首个正确性目标的 Turbo 权重和官方推理配置。本项目采用分阶段验证方法,依次完成参考基线建立、组件级数值验证、C++ Host 实现、CPU 端到端验证、Vulkan Backend 验证及最终 CLI 功能验收。每一阶段首先固定输入、输出及验证准则,再进行同输入数值比较、累计误差分析和功能回归;仅在当前阶段满足预定义完成准则后扩大验证范围。由此可以把最终图片追溯到 Tokenizer、Text Encoder、36 层 DiT、Scheduler、VAE 和 Backend 算子的具体边界。
AI 在项目中主要用于辅助阅读陌生源码、整理候选风险、生成测试脚手架和提出可证伪的调试假设。代码修改和验证结论均以固定输入的最小实验为依据:模型转换与 Backend 算子使用项目预先定义的数值一致性准则,完整系统记录真实误差及传播情况,最终 CLI 使用退出状态、shape、finite、文件格式和重复哈希等客观条件验收。本报告重点记录各组件、顺序累计执行路径和最终产物的分阶段验证结果。
本项目的主要工作如下。
首先,完成了 ERNIE-Image-Vulkan 第一版 C++/ncnn CPU 推理链路。实际采用的 Turbo BF16 流程被拆分为 Text Encoder、DiT frontend、36 个 DiT Block、DiT output head 和 VAE Decoder;各部分通过 pnnx 转换为 ncnn FP32 模型,并分别完成独立组件与顺序累计执行数值验证。C++ 侧实现了 UTF-8 Tokenizer 接入、动态文本长度、Text Encoder/DiT RoPE、Attention Mask、FlowMatch Scheduler、可重复随机数、VAE 前后处理和 PNG 写出。动态文本长度由运行时实际 token 数决定,并选取 N=3、14、30、64、256 和 1024 作为代表性测试点完成验证。
在此基础上,项目进一步完成了动态分辨率改造。C++ Host 使用统一的
ImageGeometry将运行时宽高贯穿 initial latent、DiT frontend、image/text joint tokens、动态 RoPE 与 mask、36 层 DiT、Scheduler、VAE latent unpack、Decoder 和 PNG;CLI 的宽高契约为正数且均为 16 的倍数。改造同时修正了 HostTensor 复制到 ncnn 三维 Tensor 时的cstep对齐问题,并把仅与空间尺寸相关的 reshape、slice 和 unpatchify 改为动态表达或 Host 处理。全部学习权重.bin保持不变。1024×1024 历史 CPU/Vulkan 路径完成回归,1376×768 使用[1,128,48,86]latent 和 4128 个 image tokens 完成 PyTorch→CPU→Vulkan 分级验证;Vulkan 相对 CPU 的最终图片 PSNR 为 67.43 dB,总耗时由 CPU 的 692.68 秒降至 422.03 秒。随后又使用 528×784 未参与适配尺寸及奇数 token 网格进行端到端兼容性验证,正式 CLI 完成完整 8-step 推理、动态 VAE 解码及正确尺寸 PNG 输出。其次,完成了 ncnn Vulkan Backend 的正确性适配。调试过程中先发现 Vulkan GELU 默认 tanh 近似与 CPU exact GELU 的语义不一致,随后又通过固定真实 Q/K/V/mask 的 SDPA 最小可复现实验,定位到
[1,S]Attention Mask 被按[S,S]逐 query row 读取,从 row 1 起发生 descriptor 越界。项目在 ncnn20260526基线上补充 exact GELU 语义,并将 mask 高度传入 cross、cooperative-matrix cross、flash-attention 和 cooperative-matrix flash-attention shader,正确实现单行 mask 广播。修复后,固定 SDPA 同进程 100/100、独立进程 30/30、Block0 独立进程 20/20 均确定性通过,36 层顺序累计执行 relative RMSE 为7.451570e-5,数值差异处于组件与 Backend 验证预设容差范围内。最后,完成了最终 C++ CLI 的端到端 Vulkan 功能验收。RTX 4080 SUPER 上,固定长度回归、动态 Prompt、动态分辨率和未参与适配尺寸的兼容性用例均由同一 CLI 驱动。N=14 和 N=30 两个 1024×1024 Prompt 均执行 8/8 个去噪 step,完成 VAE 解码并写出有效的 8-bit RGB PNG;总耗时分别为 408.27 秒和 424.25 秒。Vulkan 图片相对 CPU 图片的 PSNR 分别为 57.16 dB 和 64.43 dB。CLI 支持通过 portable RNG 显式指定 seed;在 Prompt、分辨率、Backend 和推理配置相同的条件下,英文 seed=123 案例连续两次生成的 PNG SHA-256 完全一致;仅将 seed 改为 456 后同样完成 8/8 steps,且最终 PNG SHA-256 与 seed=123 不同,验证了 seed 参数能够控制生成结果。最终 CLI 功能验收进一步使用中文、英文、日文 Prompt,以及方图、横图、竖图、528×784 非标准尺寸和独立 seed 配置完成 8 次 Vulkan 运行,全部正常退出、完成 8/8 steps 并写出尺寸正确的 RGB PNG。发布目录又进行了一次从整理后源码重新构建的 N=14 回归,输出 SHA-256 与历史 Vulkan 参考基线逐字节一致。最终代码和约 42.47 GiB 的 FP32 权重已分别发布到本文开头列出的 GitHub 与 Hugging Face 仓库。
1. 项目目标、范围与最终形态
1.1 迁移目标
官方推理链路可概括为:
本项目保持官方模型结构与推理语义,形成以下部署链路:
最终程序在纯 C++/ncnn 环境中独立运行;Python 工具链用于建立参考输出、转换模型和生成验证数据。
1.2 ERNIE-Image-Turbo 选型依据
ERNIE-Image-Vulkan 的核心计算成本和误差传播都集中在重复去噪循环。单个 step 内部包含 36 层 DiT;当前 step 的 prediction 经 FlowMatch Scheduler 更新 latent 后,会成为下一 step 的输入。因此误差传播同时包含以下环节:
首版直接选择长去噪链,会同时放大三类不确定性:单层算子误差、36 层主干累计误差以及多 step 递归误差。Turbo 的官方 8-step 配置把第三类累计控制在较小且固定的次数,同时完整覆盖 Tokenizer、Text Encoder、DiT、Scheduler 和 VAE。因此它适合建立 ERNIE-Image-Vulkan 的第一条可验证链路。
Turbo 选型用于降低误差累计和调试复杂度;Vulkan 正确性由 Block/Chunk 同输入验证、36 层顺序累计执行验证、每个 Scheduler step 的 latent 检查和最终 8-step PNG 验收共同确认。
本报告中采用以下命名规则:
1.3 测试边界
本报告中的“测试边界”指每轮实验固定的输入、输出和变量控制方式。为了让不同实现之间的误差具有可解释性,基准回归测试始终固定模型 revision、batch、分辨率、步数、guidance scale、seed policy 和 Prompt Enhancer 状态,只在当前实验需要时改变一个变量。
baidu/ERNIE-Image-Turbo,revisionbc68c81...40140use_pe=falsereference模式 + seed=42测试观察点覆盖 Prompt、PNG 以及以下内部边界:
input_ids [1,N][1,N,3072][1,128,H/16,W/16][1,3,H,W]Tokenizer 的接口保护范围为
1 <= N <= 2048,2048 来自官方model_max_length;本报告实际执行的代表性长序列测试点最高为 N=1024。图像宽高接口要求为正数且均为 16 的倍数,报告中的完整生成用例包括 1024×1024、1376×768、768×1376 和 528×784。所有结论均对应表中明确列出的测试配置和观察边界。1.4 最终交付
代码和权重采用分仓发布:
Hugging Face 权重仓库包含 45 个文件,总逻辑大小为 45.60 GB(42.47 GiB);GitHub 仓库保持为代码、构建配置和运行说明。
2. 分阶段验证方法与 AI 辅助调试
2.1 六阶段验证流程
项目按照下列顺序推进:
阶段1首先建立 PyTorch 基准,确认 61 个中间 Tensor 和最终 PNG 均可重复后进入模型转换。阶段2对各组件执行 pnnx/ncnn 转换,并在独立模块、顺序累计执行路径和完整单步 DiT 的数值差异均处于预设容差范围内后,进入 C++ Host 实现。阶段3完成动态文本长度、RoPE、Attention Mask、Scheduler 和随机数逻辑,确认这些运行时边界与参考输出一致后,再串联阶段4的 ncnn CPU 完整链路。CPU 路径完成 8 个去噪 step、VAE 解码和 PNG 输出后,作为同精度参考基线进入阶段5的 Vulkan 正确性验证。Vulkan 阶段依次验证固定 SDPA、Block0 和 36 层 DiT 的数值精度与重复确定性;满足本阶段验证准则后,阶段6执行最终 Vulkan CLI 的 8-step 端到端出图和性能验收。
动态分辨率扩展继续复用相同的阶段完成准则。首先单独验证 Tensor 内存布局和尺寸计算,再将宽高贯穿 CPU 的 RNG、DiT、Scheduler、VAE 与 PNG;CPU 完成 1024×1024 回归和 1376×768 相同输入条件下的 PyTorch 对照后进入 Vulkan。Vulkan 先回归 1024×1024,再以 CPU 1376×768 结果作为直接参考结果,最终使用未参与适配的 528×784 尺寸检查端到端兼容性。在本阶段验证结果满足预定义完成准则后,再扩大验证范围。
各阶段围绕以下四个基本问题组织验证:
2.2 参考实现与比较基线
本项目同时存在三条合理但数值路径不同的参考:
这一区分十分重要。例如,某次单步比较误用了官方 BF16-derived Text Encoder 输出,而旧八步冻结参考输出使用的是 ncnn Text Encoder 输出,导致最终误差达到
8.27e-2。把两侧输入统一为真实 C++ Text Encoder 的 B04 后,误差降到6.07e-5,证明误差变化来自输入基线统一。2.3 验证指标与数值容差
报告按模块级、系统级和产品级三层使用指标,避免把开发阶段用于定位异常的经验容差扩展成完整模型或所有动态尺寸的统一正确性标准。
组件级数值验证。 该层用于 pnnx/ncnn 模型转换,以及 Vulkan Backend 的固定 SDPA、Block 和 36 层顺序累计执行路径验证。实验固定相同 FP32 输入,比较 PyTorch FP32 bridge 与 ncnn FP32,或 ncnn CPU FP32 与 Vulkan FP32,记录:
组件级数值验证采用项目预先定义的数值一致性准则:
上述阈值作为本项目组件级数值比较的预设容差,用于判断部署实现与参考实现之间的数值一致性,并非 ERNIE-Image、Diffusers 或 ncnn 的官方精度标准。本次报告修订不改变该容差,也不重新判定历史组件实验。
系统级端到端验证。 该层用于 PyTorch 与 ncnn CPU、CPU 与 Vulkan 的完整 8-step 推理。记录 final latent、VAE FP32 output 和最终 RGB 的 RMSE、relative RMSE、cosine、max abs 与 PSNR,用来描述跨实现数值差异和误差在完整链路中的传播情况。系统级结果同时检查完整执行、finite、输出 shape 和最终功能,不为不同精度、Backend 或动态尺寸设置统一的数值验收准则。
CLI 功能验收。 最终 CLI 只使用具有直接客观含义的条件:
图片动态范围、标准差和颜色数只用于排除空图、纯色图或明显损坏输出,不作为生成内容质量标准。图片 RMSE、MAE、PSNR 和 cosine 仅描述两个实现之间的像素差异,也不直接衡量生成内容质量。
2.4 AI 在调试中的实际作用
AI 主要帮助完成以下工作:
采用的协作约束是:
Vulkan 排查是典型例子。AI 曾辅助提出 GELU 语义、低精度 round、buffer reuse、
light_mode、packing、某个末端 Block 固有错误和 SDPA 等假设。项目逐项执行 A/B 和控制输入实验,最终由“Q/K 稳定、SDPA 出现非确定性数值偏差、异常值从 query row 1 开始”三条证据定位到 mask descriptor 越界。3. 阶段1:PyTorch 基准建立
3.1 固定条件
阶段1限定为官方 Hugging Face/Diffusers pipeline,用于建立独立于 pnnx、ncnn、ONNX、Vulkan 和量化路径的上游基准。
baidu/ERNIE-Image-Turbobc68c81e2a1730a394d5fc9fae70713dee940140一只黑白相间的中华田园犬use_pe=falseCPU offload 把非活跃模块暂存到主存,在需要时搬到 GPU,同时保持神经网络计算位于 CUDA 并采用 BF16 精度。
3.2 模型规模与边界
第一版以 Prompt Enhancer 关闭为固定范围,神经网络权重约为 22.29 GiB BF16;扩展为 FP32 后仅权重约为 44.58 GiB。
固定用例的关键 Tensor Contract 为:
3.3 参考输出与复现
仅比较最终图片可能掩盖中间模块的偏差,因此基准同时覆盖逐步 Tensor 和最终 PNG;两次测试均从独立模型加载开始,用于排除复用同一进程状态或缓存造成的伪一致。
阶段1保存了 Tokenizer、Text Encoder、初始噪声、8 次 DiT 输入/输出、8 次 Scheduler 更新、VAE 前处理/输出和最终 uint8 图片,共 61 个命名 Tensor,所有浮点数据均 finite。
两次独立模型加载和推理的结果为:
483ac56b0d2c2cf024f9a68d60f90ef92667257d463125c8baef902388cdbedf图 1:官方 PyTorch/Diffusers BF16 参考输出。
3.4 阶段内发现的问题
独立组件重放最初出现过两个问题:
torch.no_grad(),36 层 DiT 保留反向激活并在额外申请约 34 MiB 时 CUDA OOM。恢复推理模式后问题消失。set_timesteps漏传官方使用的device=device,导致 Scheduler 标量路径和 BF16 舍入不同。修复后 8 个 Scheduler step 和 PNG 均恢复 bit-exact。这两个修改恢复了官方 Pipeline 的真实执行语义,并保持模型、Scheduler、VAE、Text Encoder 和精度配置一致。
4. 阶段2:模型拆分与 pnnx/ncnn 转换
4.1 拆分原则
模型拆分用于建立可转换、可定位和可进行顺序累计执行验证的边界,同时保持网络结构一致。稳定且带权重的计算交给 ncnn;动态 shape、调度和无权重控制逻辑留给后续 C++ Host。
官方 Text Encoder 配置包含 26 个 Transformer Block。Diffusers 实际选择
hidden_states[-2]作为文本条件,因此部署路径执行到layers.24,即 embedding 加layers.0–24共 25 个实际 Block;当前 conditioning 输出取自这一真实执行路径。最终模型划分为:
输出头位于 36 个 Transformer Block 之后,负责把 joint hidden 还原为 latent prediction,因此作为独立语义边界拆分。
4.2 小模块累计执行路径
转换顺序遵循:
单层或单块满足验证准则后继续验证顺序累计执行路径:把实际 ncnn 输出作为下一块输入,同时使用同一输入运行 PyTorch FP32 bridge,从而区分“当前块自身误差”和“前序累计误差”。
4.3 关键数值结果
2.6717e-6,cosine0.9999999999873.4356e-6,cosine0.99999999999921.4805e-61.2377e-61.1589e-63.1081e-61.7771e-54.5951e-55.5616e-54.6041e-56.0070e-5,cosine0.999999998196上述组件级数值验证均使用相同输入的 PyTorch FP32 bridge 作为参考实现,并采用第 2.3 节所定义的数值一致性准则;官方 BF16 对照只用于观察跨精度趋势。完整单步最终输出 shape 为
[1,128,64,64],全程无 NaN/Inf。4.4 转换遇到的问题与处理
Bool mask 导致权重偏移。 Block0 首次导出时,全 True bool mask 被转换为 MemoryData 并写入权重流前部,后续权重地址发生偏移,首个 RMSNorm 输出接近
1e-39。将其改为数学等价、且与原路径 bit-exact 的 FP32 additive-zero mask 后,完整 Block0 通过。RoPE 零宽 Concat。 当前
head_dim == rot_dim == 128,RoPE 后的 pass-through 部分宽度为 0。移除该零宽 Concat 后,PyTorch 等价性 max error 为 0。Output Head Reshape。 第一次转换产生缺少尺寸参数的 Reshape。通过显式固定输出语义
[1,128,64,64]修复后,输出头独立和串联验证均通过。pnnx 自动 ONNX 失败。 8 层 DiT chunk 的 ONNX 可超过 6.98 GB,触发 protobuf 单消息约 2 GiB 的序列化限制,留下 0-byte
.pnnx.onnx。后续pass_ncnn正常完成,.ncnn.param/.bin可加载且通过数值验证;部署链路采用已验收的 ncnn param/bin,并清理失败占位文件和可重建中间副本。长时间无日志。 大块 pnnx
pass_level0可持续约 15 分钟。项目通过 CPU 时间、RSS 和 cgroup OOM 计数共同判断进程状态。5. 阶段3:C++ Host 侧推理逻辑实现
5.1 C++ 与 ncnn 的职责边界
职责划分遵循一个约束:C++ 管理动态控制和无权重数学,Linear、Norm、Attention、MLP、Conv 等带训练权重的计算由 ncnn 执行。
5.2 动态 Prompt 设计
固定分辨率下,image token 数保持 4096;文本长度由运行时 Tokenizer 得到:
原固定参考配置中的
N=14、S=4110被改为运行时变量。C++ 根据 N 动态生成:[1,S]Attention Mask;这样权重尺寸保持不变,Text projection、image projection、DiT Block 和 VAE 仍留在 ncnn;只有 shape-dependent 数据由 Host 生成。
flowchart TD P[Prompt] --> T[C++ Tokenizer] T --> N[N 与 S=4096+N] N --> TR[Text RoPE + causal mask] N --> DR[DiT position + 3-axis RoPE + mask] TR --> TE[ncnn Text Encoder] TE --> DF[ncnn DiT frontend] DR --> DF DF --> DB[ncnn 36 Blocks + output head] DB --> SC[C++ Scheduler] SC -->|重复 8 次| DB SC --> V[ncnn VAE Decoder] V --> PNG[C++ PNG]5.3 Scheduler 和随机数
C++ 重放官方 FlowMatch Scheduler 的 sigma/timestep 和 Euler 更新。每一步都分别保存 DiT 输入、prediction 和更新后 latent,避免只检查最终 latent。
随机数分为两种明确策略:
referenceportableuint64seed,保证本 C++ 实现跨运行可重复portable 模式保证当前 C++ 实现跨运行可重复;跨 PyTorch/CUDA 的确定性回归验证由
reference模式和冻结初始 latent 完成。随机种子正式验证结果:
reference模式 seed=42 latent 对旧资产reference模式 seed=42 PNG 对旧 PNG3c119588...001a300.0007010,std0.99947525.4 动态长度阶段验证
Text Encoder 和 DiT 动态边界先在 N=3、14、30 上逐张量验证;N=14 回归旧冻结参考输出,用于确认动态实现保持原始案例一致。随后在 CPU 完整链路扩展到 N=64、256 和 1024。
图 2:固定 1024×1024 和 seed=42,只改变运行时实际文本长度 N 的六个 CPU 完整生成结果。
5.5 动态分辨率设计与尺寸契约
动态 Prompt 改变文本 token 数 N;动态分辨率则改变图像 token 网格和联合序列长度。项目新增统一的
ImageGeometry,由 CLI 输入的 width、height 安全计算:width 和 height 必须为正数且均为 16 的倍数;所有乘法在分配内存前检查整数溢出。
hidden_size=4096、latent channels、VAE channels、head dimension 和 36 层 Block 等模型结构参数保持固定。基础布局检查发现,ncnn 三维及以上
Mat的通道之间可能存在cstep对齐填充。原 HostTensor→ncnn 路径若把连续 Host 数据一次性memcpy到Mat,会在存在 padding 时把后续通道写入错误位置。因此转换函数改为逐通道复制有效元素,与既有 ncnn→HostTensor 路径形成对称实现。测试分别使用[1,128,64,64]和带奇数空间尺寸的[1,128,33,33],填入可区分通道与位置的数据,往返后逐元素完全一致;零、负数、非 16 倍数和溢出尺寸均被明确拒绝。完整链路中的动态职责划分如下:
[1,128,H/16,W/16]生成 portable latent;reference模式继续绑定 1024×1024、seed=42[1,S,128],Host 截取 image tokens 并恢复 packed latent[1,128,H/16,W/16] → [1,32,H/8,W/8],Decoder 输出 W×HDiT frontend、output head 和 VAE Decoder 中少量由转换固化的空间 reshape 改为动态表达;slice 和 unpatchify 优先放到 Host。转换过程中没有重新执行 pnnx,也没有生成分辨率专用完整模型;Text Encoder、DiT 和 VAE 的学习权重
.bin均保持不变。6. 阶段4:ncnn CPU 完整链路验证
6.1 逐级串联过程
CPU FP32 路径首先作为 ncnn 部署实现的参考基线,按以下次序串联:
单步验证已经证明 ncnn FP32 对 PyTorch FP32 bridge 的转换误差处于预设容差范围内;八步闭环继续要求每一步输入、prediction 和更新后 latent 全部 finite,Scheduler 公式正确,并且 checkpoint 可以恢复。
6.2 VAE 与 PNG 边界
固定同一个实际 CPU 八步输出进行组件级验证:
1.6049e-8,max abs9.5367e-74.5681e-8,max abs3.5763e-72.6060e-6,cosine0.999999999988VAE 和 PNG 在独立验证后接入同一个 C++ 进程,证明最终 latent 可以在内存中直接完成解码和出图。
6.3 N=30 CPU 代表性用例
固定 N=30、S=4126、seed=42、8 steps 的完整 C++ CPU 结果:
bbe9194efaa634934f69568fcdd1ff68b97b926c697bb39f9656a549ae6326d1图 3:ncnn CPU FP32,N=30、seed=42 完整 8-step 输出。
6.4 动态 Prompt 长序列验证
动态长度测试分别选择极短序列、历史静态基准、中等代表性用例以及逐级增长的长序列,用来同时检查 shape 回归、RoPE/mask 构造和 Attention buffer 随 N 增长时的稳定性。
每个案例都由实际 C++ Tokenizer 得到目标 N,执行 8/8 steps 并输出有效 PNG。测试脚本另外执行输出基本有效性检查,包括像素动态范围、全图标准差和有效颜色数,用于排除空图、纯色图及明显损坏输出,不作为生成内容质量评价指标。
6.5 动态分辨率 CPU 端到端验证
动态分辨率首先在 CPU 上建立参考基线。原 1024×1024 路径继续使用冻结的
reference模式 seed=42 latent 和 N=30 Prompt,完整执行 8/8 steps;输出 PNG SHA-256 仍为bbe9194...6d1,与动态改造前的 CPU 冻结参考输出逐字节一致,总耗时为 692.168 秒。选择 1376×768 作为代表性动态分辨率测试配置:
PyTorch 与 ncnn CPU 直接读取同一份 BF16 可表示的 initial latent,文件 SHA-256 为
6791e6c2...73a,从而排除不同随机数实现带来的输入差异。两端都完成 8-step、VAE 和 RGB/PNG,最终 ncnn PNG 尺寸为 1376×768。6.686550e-26.691306e-20.9977617022.7288252.436189e-24.259939e-20.9990932261.4131443.1427302.385108e-20.999716004180最终图片 PSNR 为 38.18 dB。两端使用相同 initial latent,均完成完整 8-step、VAE 和 RGB/PNG 输出;最终 ncnn 输出尺寸为 1376×768,所有已检查 Tensor 均 finite。上述指标用于描述官方 CUDA BF16 与 ncnn CPU FP32 两条执行路径之间的端到端数值差异,不作为统一数值容差。ncnn CPU 总耗时为 692.682 秒。
7. 阶段5:Vulkan Backend 正确性验证
7.1 调试基线
Vulkan 精度排查阶段显式关闭所有低精度路径:
同时关闭 cooperative matrix 等额外变量,先建立 full FP32 参考基线,使后续非确定性显著数值偏差的排查集中在 FP32 Vulkan 执行路径。
7.2 第一处问题:GELU 语义不一致
在 Block0 内设置中间张量观测点,依次保存 AdaLN/Norm、Q、K、V、RoPE 后 Q/K、SDPA、Attention residual、FFN up、GELU、FFN output 和 Block output。
初步观察到
ffn_up_raw仍接近1e-6,经过 Vulkan GELU 后误差升至约7e-4。让 GELU 显式下载到 CPU 计算再上传后,ffn_gelu回到约3e-6,构成因果验证。根因是 CPU
fast_gelu=0使用 exact GELU,而旧 Vulkan shader 无论参数为何都使用 tanh 近似。正式修正为:CPU fallback 用于诊断 GELU 误差来源;最终部署采用原生 Vulkan GELU,使 36 Blocks × 8 steps 保持在 GPU 执行路径中。
7.3 GELU 修复后的残余异常排查
exact GELU 后仍观察到相同输入偶发显著数值偏差或 NaN。项目继续执行:
light_mode=true/false;结果表明,layers.32–35 在相同 CPU 输入下均满足验证准则;
light_mode和 packing 两组配置中均会出现非确定性数值偏差,相同 layer0 输入也会得到数值一致、显著偏差或 NaN 的不同结果。证据由此进一步集中到共享执行路径中的非确定性数值异常。一次把
SDPA_vulkan::support_vulkan=false作为隐式 CPU fallback 的实验在 Vulkan 运行中直接 SIGSEGV,退出码 139,该路径据此退出候选方案。混合 Backend 诊断采用显式下载、CPU 计算和上传方式。7.4 首个非确定性数值偏差位置
固定同一个 Block0 输入重复提取 Attention 边界:
9.08e-71.18e-63.82e-6,一次异常6.93e-2异常 SDPA max abs 约 18.55,而正常模式约
2.59e-4。这把问题从完整 DiT 收敛到了 Vulkan SDPA 或其执行边界。7.5 固定真实输入的 SDPA 最小可复现实验
该异常具有随机性,因此采用固定输入重复测试。固定真实 Q/K/V/mask 用于隔离 SDPA 执行边界;同进程重复观察 workspace 复用和执行时序,独立进程重复覆盖资源重新初始化与驱动状态。每次测试同时检查 finite、数值误差和完整输出 SHA-256。
最小可复现实验直接注入真实 Block0 Q/K/V/mask:
旧构建的重复结果:
空间定位发现:
旧
sdpa_cross.comp使用类似query_row * N + key_column的地址读取 mask,但 ERNIE 传入的是需要跨所有 query row 广播的[1,S]mask。因此从 row 1 开始访问越界,相邻 workspace 的偶然内容决定了输出表现为数值一致、显著偏差或 NaN。7.6 对 ncnn 的修改
项目基于 ncnn tag
20260526、commite54f7b1f88434e1d844ea0551b880a1cfb079ce1修改以下 7 个文件:gelu_vulkan.cppfast_gelu作为 specialization constant 传入 shadershader/gelu.compfast_gelu=0增加与 CPU 对齐的 Cephes erf exact GELU;1保留 tanh 路径sdpa_vulkan.cppattn_mask_blob.h作为新的 push constantmask_h传入shader/sdpa_cross.compmask_h==1时固定读取 row 0shader/sdpa_cross_cm.compshader/sdpa_fa.compshader/sdpa_fa_cm.comp当
mask_h>1时保持原完整二维 mask 的逐 query row 语义。修改范围集中在 ncnn Vulkan 实现,模型.param/.bin保持一致并直接复用既有 pnnx 产物,执行路径保持为原生 Vulkan。7.7 修复后分级回归验证
修复后按“SDPA 最小可复现实验 → 完整 Block0 → 36 层 DiT”逐级扩大范围:前一级确认修改直接命中根因,后一级确认真实集成路径保持正确。36 层同时运行固定上游 CPU 输入的组件级验证和实际 Vulkan 顺序累计执行路径,从而区分单个 chunk 的固有误差与前序误差传播。
3.598471e-63.598471e-61.289734e-67.451570e-536 层边界结果:
1.099903e-61.099903e-61.069933e-66.206763e-71.336847e-68.212170e-73.713719e-62.406499e-62.068371e-57.216383e-66.398313e-51.329133e-57.451570e-53.991596e-6图 4:蓝线为 Vulkan 顺序累计执行路径,橙线为固定相同 CPU 输入时当前 chunk 的组件级误差;所有点的数值差异均处于组件与 Backend 验证预先采用的
1e-4项目内部容差范围内。7.8 动态分辨率 Vulkan 端到端验证
Vulkan 动态分辨率端到端验证直接使用第 6.5 节的 ncnn CPU 结果作为同精度参考结果。测试先回归 1024×1024,再运行 1376×768;两条路径使用同一套 frontend、DiT chunks、output head 和 VAE Decoder 权重。
1024×1024 Vulkan 完成 8/8 steps,输出 1024×1024 RGB PNG;相对 CPU 图片 RMSE 为 0.153163、最大像素误差为 5、PSNR 为 64.43 dB,与动态改造前冻结的 Vulkan regression 数值完全一致,总耗时为 423.551 秒。
1376×768 测试没有仅依赖相同 seed,而是直接复用 CPU 保存的 initial latent;CPU/Vulkan 文件 SHA-256 均为
6791e6c2...73a。Vulkan 实际执行[1,128,48,86]packed latent、4128 个 image tokens 和 S=4158 的联合序列,完成 8/8 steps、动态 VAE 和 PNG。8.207176e-48.211665e-40.9999996636.520683e-22.618493e-44.576424e-40.9999998954.324466e-20.1084238.222841e-40.9999996625最终图片 PSNR 为 67.43 dB,输出为 1376×768、8-bit RGB,所有 Tensor 均 finite。在完全相同 initial latent 下,CPU 与 Vulkan 的 final latent、VAE FP32 output 和最终 RGB 均保持高度一致,完整 8-step 推理没有出现 NaN/Inf 或运行错误。表中指标用于描述完整系统的实际数值差异,不使用单一经验阈值判定 Runtime 是否成功。
该尺寸直接复用了此前 exact-GELU 和 SDPA mask broadcast 修复;动态 shape 没有暴露新的 Vulkan Backend 问题,因此本轮没有再次修改 ncnn,也没有保存 Vulkan 专用权重。
8. 阶段6:端到端 Vulkan 与性能验收
8.1 测试环境
20260526+ exact GELU + SDPA mask broadcast fix阶段1的 Python 环境为 Python 3.10.21、PyTorch
2.7.1+cu126、torchvision0.22.1+cu126、Diffusers0.41.0.dev0、Transformers5.16.1和 Accelerate1.14.0。PyTorch wheel 内置 CUDA Runtime 12.6;驱动报告的最高兼容 CUDA 版本属于独立指标。8.2 完整 CLI 功能验收层级
端到端出图用于证明功能闭环。CLI 功能验收从文件完整性、动态 Text shape 和已修复算子开始,逐步扩大到 Block、36 层、8-step、VAE/PNG,最后再从整理后的发布目录重新构建运行,使每层结果都能对应到明确的验证边界。
最终测试依次检查:
[1,14,3072]、S=41108.3 N=14 与 N=30 端到端结果
c344fa85...a1e4cd441bb6985...484dd1N=14 用例额外执行了设备级显存采样,GPU 峰值显存为 10855 MiB。
8.4 最终图片
一只黑白相间的中华田园犬一只黑白相间的中华田园犬在草地上奔跑,远处有树木。图 5:两个独立 Prompt 的 ncnn Vulkan FP32、seed=42、8-step 输出。
两张图片都通过 PNG header、尺寸、bit depth、RGB 类型、动态范围和人工内容检查。N=14 图片包含 372,068 种不同 RGB 颜色,像素范围为 0–255,全图标准差为 66.01;这些统计用于排除空图、纯色图和明显损坏输出,不作为生成内容质量评分。
8.5 CPU/Vulkan 同精度图片比较
该表描述 CPU 与 Vulkan 两条完整路径的实际像素差异。RMSE、MAE、max abs 和 PSNR 与输出稳定性、finite、内容检查、重复运行结果共同记录,不设置统一的图片数值验收准则,也不把这些指标解释为生成内容质量分数。
8.6 整理后发布产物回归验证
为验证整理后代码与分仓权重的可交付性,项目对发布目录执行了独立回归验证:
reference模式 seed=42、Vulkan FP32 完成 8/8 steps;回归验证结果:
c344fa856fae03509c5a0fd6a7adbd7f941e9a5e060787d53fe880437a1e4cd4该 SHA-256 与 N=14 历史 Vulkan 冻结参考图片逐字节一致,说明代码整理、依赖归档和权重分仓后运行结果保持一致。
8.7 最终 CLI 多语言与动态分辨率功能验收
完成内部数值正确性验证后,最终版
ernie_image_cli采用黑盒测试方式进行端到端功能验收。基础测试矩阵固定 Vulkan、portable RNG、seed=123 和 8-step;seed 参数有效性用例仅将 seed 改为 456。测试只观察进程退出状态、step 完成度、运行错误、PNG 可读性、实际尺寸、RGB 格式和重复哈希,不再比较逐层 Tensor,也不增加新的数值容差。多语言测试使用语义接近的中文、英文和日文 Prompt。Tokenizer 在运行时得到的 text length 分别为 18、12 和 13,三条动态文本路径均完成 8/8 steps,输出 1024×1024、8-bit RGB PNG。逐张人工查看确认图片包含可辨识的黑白犬与草地场景,不是空图、纯色图或明显损坏图片。
动态尺寸用例固定同一中文 Prompt、seed 和 Vulkan Backend,只改变 width 与 height。四个尺寸均由同一套权重完成 Text Encoder、8-step DiT/Scheduler、动态 VAE 和 PNG 写出,没有出现 NaN/Inf、shape 或 Vulkan error。
其中 528×784 此前未参与动态分辨率适配,其 49×33 packed grid 和 1617 个 image tokens 均由正式 CLI 在运行时生成。该案例完成 8/8 个去噪步骤、动态 VAE 解码和 528×784 RGB PNG 写出,未出现 shape 或 Vulkan 运行错误,作为未参与适配尺寸及奇数 token 网格的端到端功能兼容性验证。
重复性测试将英文 1024×1024 案例连续运行两次。两次均完成 8/8 steps,PNG SHA-256 均为
c9d5fe34b1706489eef56ce8f9e01f5de56e4fb3defd2e6ddbf28c01d8053fdc,确认当前 C++ portable RNG 路径在相同 Prompt、尺寸和 seed 下逐字节可复现。seed 参数有效性测试保持英文 Prompt、1024×1024、Vulkan、portable RNG 和 8-step 不变,仅将 seed 从 123 改为 456。seed=456 用例完成 8/8 steps,无 NaN/Inf 或运行错误,生成 1024×1024、8-bit RGB PNG,总耗时为 340.660 秒。seed=123 与 seed=456 的 PNG SHA-256 分别为
c9d5fe34b1706489eef56ce8f9e01f5de56e4fb3defd2e6ddbf28c01d8053fdc和2caf031f20f8aaafd68fc955340f1e51c8efdb0c23d1bf577ca5bf84a6a49c26;两者不同,验证了显式 seed 的变化会传递到最终生成结果。最终 CLI 功能验收确认:中文、英文和日文 Prompt 均可正常执行;方图、横图、竖图和非标准尺寸均可正常生成;portable RNG 在相同 seed 下可重复复现,且显式 seed 能够控制最终输出。当前已验收边界为 Linux x86_64、batch=1、ERNIE-Image-Turbo 8-step、Prompt Enhancer 关闭、UTF-8 Prompt、显式 portable seed,且 width 与 height 均为正数并为 16 的倍数。
All reactions