验证像素线「生成 → 强制网格化后处理」两段式主链路能否稳定产出硬网格、可回落到统一输出契约的角色帧。· Refs #4(实验矩阵总纲)· 依据 research/03-风格分路线.md(hub: https://github.com/johnnyzhang-eng/windup-board/tree/main/research )
一、背景与痛点
承接 #1 产品与 #4 总纲。三条风格线(像素 / 高清手绘 / 伪3D)走不同路线、几乎不共享链路,本条只做像素线。
像素画是三条线里唯一「纯生成路线拿不到合格产物」的风格:扩散模型天然产出的正是像素画的反面——像素大小不一、描边不连续、模糊、抗锯齿噪点、幻觉出不对齐的网格;这是机制层面的根本矛盾,即便是专门训练的像素模型也有(来源:runware Retro Diffusion 博客)。
由此得出白板核心结论:像素线必须在生成后强接一道强制网格化后处理,这一段不能省。 因此本实验要跑通并纳入 pipeline 的不是「某个模型」,而是「生成 + 强制网格化」两段式主链路。像素是国产小游戏最高频的低成本美术风格,且它对 pipeline 后处理模块的要求最特殊,需要优先把主链路验通。
二、探究什么(实验设计 · A/B)
统一角色 = 骷髅剑士(与其他风格线共享身份主键),本条渲染为像素风;动作实例沿用统一用例集。
当前默认候选主链路(自建两段式):
| 环节 |
用什么 |
| 风格 + 身份 |
pixel-art-xl LoRA(权重 1.2,配 LCM 8 步 / guidance 1.5)+ 角色 LoRA 叠加锁身份 |
| 姿态控制 |
OpenPose 逐帧驱动动作/朝向 |
| 抠图 |
键色 / 角落色 + alpha 二值化(★ 禁用 AI matting,会产半透明边、破坏硬边) |
| 后处理(必接) |
unfake.js:scale 检测 → 网格吸附 → 调色板量化 → 形态学去噪 → alpha 二值化 |
| 收尾 |
对齐(画布/脚底线/pivot)→ 引擎导出 |
A/B 变量与对照:
- 后处理引擎:unfake.js(默认候选)vs PixelRefiner(备选)
- 抠图取色策略:键色 vs 角落色(两者都走 alpha 二值化;AI matting 已明确排除,不进 A/B)
- 外部一体化方案对标(是否可省掉自建后处理):Retro Diffusion(自研 pixel decoder,解码即硬网格)vs PixelLab(4/8 向 + skeleton 动画,有 API + MCP)
- 前沿(P2,不阻塞本条):SD-πXL(硬 palette 约束生成,research 级)
关键参数固定项: LoRA 权重 1.2 / LCM 8 步 / guidance 1.5(来自调研主链路,其余采样参数待第 1–2 周实验校准)。
三、纳入 pipeline 判据(一致性 / 成本 / 质量)
对齐 #1 §5 产品验收基线;由 E1 统一评判打分。达标才升为「当前默认」,否则留「在验候选」。
- 硬网格达标(质量·像素线专属): 网格化后 scale 统一、无非整数像素块、描边连续、无抗锯齿残边、色板收敛。量化阈值(如允许偏移像素数)待第 1–2 周实验校准。
- 一致性: 跨动作一致性盲评 ≥ 80% 且优于纯提示词基线;以「角色卡(身份 + 造型基准帧)」为主键逐帧比对。
- 可用帧成功率: 单次生成可用帧 ≥ 70%。
- 脚底线对齐: 无肉眼跳动,初设阈值帧高 3% 以内(第 1–2 周实验校准)。
- 成本: 每角色报告生成次数 / 耗时 / 成本三个数。
- 输出契约回落(硬门槛): 帧尺寸统一、背景透明 PNG、脚底线与 pivot 一致、同一动作实例共享同一套画布/脚底线/锚点;导出 = GIF + 逐帧 PNG + sprite sheet + JSON 元数据 + 引擎导入说明(Cocos / 微信小游戏),缺帧不出残缺包,导出包 Cocos / 微信小游戏 15 分钟内首播成功。
四、优先级与依赖
- 优先级 P0:像素线是三条风格线里唯一纯生成拿不到合格产物的,两段式主链路是纳入 pipeline 的前置。
- 强依赖 E1(统一评判):一致性 / 成本 / 质量三维打分与盲评基线均由 E1 提供,本条判据全部挂在 E1 上。
- 与 E4b(高清手绘线)/ E4c(伪3D线)相互独立,链路不共享,可并行推进。
- 工程依赖:unfake.js(及 PixelRefiner 备选)需集成到 pipeline 后处理模块;Retro Diffusion / PixelLab 对标线需 API 接入。
五、关联
Refs #4(实验矩阵总纲)。兄弟实验 E4b(高清手绘线)、E4c(伪3D线)按 E 标号引用(见 #4 速览表,Issue 号建好后回填);依赖 E1(统一评判)。research:research/03-风格分路线.md
主要来源:
六、实验记录
用模板 research/实验记录/_模板.md 记录,结果(图 / GIF / 数字)回填 research/实验记录/。
建议标签(管理员补):experiment-matrix、P0
一、背景与痛点
承接 #1 产品与 #4 总纲。三条风格线(像素 / 高清手绘 / 伪3D)走不同路线、几乎不共享链路,本条只做像素线。
像素画是三条线里唯一「纯生成路线拿不到合格产物」的风格:扩散模型天然产出的正是像素画的反面——像素大小不一、描边不连续、模糊、抗锯齿噪点、幻觉出不对齐的网格;这是机制层面的根本矛盾,即便是专门训练的像素模型也有(来源:runware Retro Diffusion 博客)。
由此得出白板核心结论:像素线必须在生成后强接一道强制网格化后处理,这一段不能省。 因此本实验要跑通并纳入 pipeline 的不是「某个模型」,而是「生成 + 强制网格化」两段式主链路。像素是国产小游戏最高频的低成本美术风格,且它对 pipeline 后处理模块的要求最特殊,需要优先把主链路验通。
二、探究什么(实验设计 · A/B)
统一角色 = 骷髅剑士(与其他风格线共享身份主键),本条渲染为像素风;动作实例沿用统一用例集。
当前默认候选主链路(自建两段式):
A/B 变量与对照:
关键参数固定项: LoRA 权重 1.2 / LCM 8 步 / guidance 1.5(来自调研主链路,其余采样参数待第 1–2 周实验校准)。
三、纳入 pipeline 判据(一致性 / 成本 / 质量)
对齐 #1 §5 产品验收基线;由 E1 统一评判打分。达标才升为「当前默认」,否则留「在验候选」。
四、优先级与依赖
五、关联
Refs #4(实验矩阵总纲)。兄弟实验 E4b(高清手绘线)、E4c(伪3D线)按 E 标号引用(见 #4 速览表,Issue 号建好后回填);依赖 E1(统一评判)。research:research/03-风格分路线.md
主要来源:
六、实验记录
用模板 research/实验记录/_模板.md 记录,结果(图 / GIF / 数字)回填 research/实验记录/。