Skip to content

gnipbao/codex-whiteboard-video-skill

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

10 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

白板手绘视频引擎

Codex 白板视频 Skill

English

whiteboard-video-engine 的 Codex Skill 适配层。安装后,Codex 可以直接调用本地引擎,把图片、SVG、线稿或脚本转换成白板手绘视频。

本仓库只包含 Skill 指令和轻量 wrapper。渲染、模型 provider、笔画追踪和视频合成都在 engine 仓库中维护。

仓库分工

仓库 职责
whiteboard-video-engine Python 包、渲染器、CLI、模型 wrapper、测试和文档
codex-whiteboard-video-skill Codex SKILL.md、工作流说明和 wrapper 脚本

效果演示

完整演示素材维护在 engine 仓库。

输入图
输入插画
输出预览
白板动画预览
查看 MP4

安装

先安装引擎:

python3 -m pip install "git+https://github.com/gnipbao/whiteboard-video-engine.git"

再安装 Skill:

mkdir -p ~/.codex/skills
git clone https://github.com/gnipbao/codex-whiteboard-video-skill.git \
  ~/.codex/skills/whiteboard-video

验证 wrapper:

python3 ~/.codex/skills/whiteboard-video/scripts/whiteboard_cli.py doctor

本地开发 engine 时:

python3 -m pip install -e /path/to/whiteboard-video-engine

在 Codex 中使用

提及已安装的 Skill:

[$whiteboard-video](/Users/you/.codex/skills/whiteboard-video/SKILL.md)
把这张图片转成 15 秒手绘白板视频,线稿细节使用 rich,手势使用 asian。

底层会调用已安装的 engine:

python3 "${CODEX_HOME:-$HOME/.codex}/skills/whiteboard-video/scripts/whiteboard_cli.py" render-photo input.jpg \
  -o out/output.mp4 \
  --duration 15 \
  --lineart-provider auto \
  --stroke-detail rich

始终使用上面的 Skill 绝对路径。不要调用当前项目中的 whiteboard-video/scripts/whiteboard_cli.py;旧副本可能把内置 src 放到 Python 路径最前面,从而覆盖已安装 engine 的最新默认值。

本地模型

Skill 使用 engine 的 provider 系统。本仓库不包含模型代码和权重。

模型应放在 Codex 执行命令的项目目录中,不要放进 ~/.codex/skills/whiteboard-video

推荐目录结构:

my-whiteboard-project/
  .venv-lineart/
    bin/
      python
  tools/
    lineart/
      run_informative_drawings.py
      run_anime2sketch.py
    informative-drawings/              # 必须是完整 clone 的上游项目目录
      test.py
      model.py
      data.py
      util/
      checkpoints/
        model/
          anime_style/
            netG_A_latest.pth
          contour_style/
            netG_A_latest.pth        # 可选
          opensketch_style/
            netG_A_latest.pth        # 可选
    Anime2Sketch/                      # 必须是完整 clone 的上游项目目录
      model.py
      data.py
      utils.py
      weights/
        netG.pth
        improved.bin                 # 可选,有则优先使用

注意:tools/informative-drawings/tools/Anime2Sketch/ 不是只放权重的空目录,而是需要完整下载对应上游仓库。Skill 调用的 engine wrapper 会 import 这些仓库里的 Python 模块;如果只放 *.pth / *.bin,模型无法运行。

最小可用目录:

  • Informative Drawings:需要 tools/lineart/run_informative_drawings.pytools/informative-drawings/checkpoints/model/anime_style/netG_A_latest.pth
  • Anime2Sketch:需要 tools/lineart/run_anime2sketch.pytools/Anime2Sketch/weights/netG.pthtools/Anime2Sketch/weights/improved.bin

也可以显式配置命令:

export WHITEBOARD_INFORMATIVE_DRAWINGS_CMD="/abs/project/.venv-lineart/bin/python /abs/project/tools/lineart/run_informative_drawings.py {input} {output}"
export WHITEBOARD_ANIME2SKETCH_CMD="/abs/project/.venv-lineart/bin/python /abs/project/tools/lineart/run_anime2sketch.py {input} {output}"

模型安装说明见:whiteboard-video-engine/docs/MODELS.md

仓库内容

  • SKILL.md:Codex 指令。
  • scripts/whiteboard_cli.py:调用已安装 engine CLI 的 wrapper。
  • references/:工作流说明。
  • examples/:轻量示例和案例说明。

不包含

  • engine 源码
  • 模型仓库
  • 模型权重
  • 生成视频
  • 用户上传素材

许可证

MIT。上游模型代码和权重遵循各自许可证。

About

No description, website, or topics provided.

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors

Languages