项目简介

受到HuggingLLM项目的启发，本项将介绍以stable-diffusion为代表的视觉生成大模型的原理、使用和应用，降低使用门槛，让更多感兴趣的非专业人士能够无障碍使用SD创造价值。

立项理由

以stable-diffusion为代表的视觉生成大模型正在深刻改变视觉领域中的上下游任务（包括二维、三维、视频）。且正在改变许多行业，比如绘画、3D建模、影视、游戏等等。我们将借助该项目让更多人了解并使用视觉生成大模型，尤其是对此感兴趣、想利用相关技术做一些新产品或应用的朋友。希望新的技术能够促进行业更快更好发展，提高人们工作效率和生活质量。AI for humans!

项目受众

项目适合以下人员：

• 学生。希望通过学习相关技术，或是开发新应用，或是入门视觉生成式大模型，或是结合其他行业做AI for science的研究等。
• 相关或非相关行业从业者。对stable-diffusion或视觉生成大模型感兴趣，希望在实际中运用该技术创造提供新的服务或解决已有问题。

项目不适合以下人员：

• 研究底层算法细节，比如DDPM数学推导、讨论SDS / SJC VSD等。
• 对其他技术细节感兴趣。

项目亮点

聚焦于如何使用stable-diffusion API创造新的功能和应用（二维和三维）。 了解相关算法原理以更便捷高效使用。 提供示例代码和使用流程。

项目规划【内容持续更新中，欢迎关注～】

二维生成

• 1 stable-diffusion原理简介
  • 1.1 视觉生成方法
  • 1.2 DDPM算法
• 2 stable-diffusion使用指南
  • 2.1 提示词
  • 2.2 文生图
  • 2.3 图生图
  • 2.4 生成优化
    • 2.4.1 Textual Inversion
    • 2.4.2 DreamBooth
    • 2.4.3 LoRA
    • 2.4.4 ControlNet
  • 2.5 插件与工具
  • 2.6 sdxl1.0与应用

三维生成

• 3 三维生成原理
  • 3.1 背景及应用
  • 3.2 NeRF神经辐射场
  • 3.3 文生3D
  • 3.4 可控3D生成
• 4 三维视觉应用
  • 4.1 blender入门
  • 4.2 3D重建与打印

视频生成

• 5 视频编辑
  • 5.1 风格迁移
  • 5.2 场景编辑
• 6 视频生成
  • 6.1 文生视频
  • 6.2 图生视频

技术局限与未来发展

• 7 目前局限
  • 二维生成：版权等
  • 三维生成：质量有待提升、生成时间长、渲染速度慢等
  • 视频生成：稳定性、连续性等
• 8 未来发展
  • 8.1 社区生态
  • 8.2 行业应用
    • 二维场景：营销作图、游戏作画、美图工具等
    • 三维场景：游戏、数字人、电影、虚拟资产、vision pro内容等
    • 视频场景：抖音、b站、直播等

主要贡献者

Xiaojie Li 清华大学硕士

Letian Zhang 清华大学硕士

joye Data Scientist

Bote Huang 西安电子科技大学本科

致谢

特别感谢 Sm1les对本项目的帮助与支持。 感谢Tango对2-2章节提供的帮助；感谢AnSuZeaT对6-1章节提供的帮助； 感谢Fantastic121380对1-1章节提供的帮助；感谢flawzhang、mxztflow、QJieWang对本项目提供的帮助。

关注我们

扫描下方二维码关注公众号：Datawhale

  Datawhale，一个专注于AI领域的学习圈子。初衷是for the learner，和学习者一起成长。目前加入学习社群的人数已经数千人，组织了机器学习，深度学习，数据分析，数据挖掘，爬虫，编程，统计学，Mysql，数据竞赛等多个领域的内容学习，微信搜索公众号Datawhale可以加入我们。

LICENSE

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。