Diffusion-Story-Teller

调用 Stable-Diffusion 及 LLM 的 Huggingface Inference Api 构建的故事讲述工程

In English

简要介绍

背景

Huggingface Inference Api 是一个可以免费试用的模型测试工具包，助力快速原型设计人工智能应用。
本项目旨在利用他们的api构建一套简单的图形化故事呈现系统。

即时演示

名称	HuggingFace Space 链接
🎥💬 封面故事讲述者（Comet Atomic）	https://huggingface.co/spaces/svjack/Comet-Atomic-Story-Teller
🧱 像素故事讲述者	https://huggingface.co/spaces/svjack/Pixel-Story-Teller

安装和运行结果

安装和运行步骤

通过命令行安装

pip install -r requirements.txt

运行封面故事讲述者

python book_cover_app.py

运行像素故事讲述者

python pixel_app.py

然后访问 http://127.0.0.1:7860

注意

上述演示demo会从环境变量获取Huggingface API_TOKEN，手动设置也可以。

API_TOKEN = os.environ.get("HF_READ_TOKEN")

运行结果

book_cover_demo.mp4

pixel_demo.mp4

以下是两个demo的部分结果。

🎥💬 封面故事讲述者

book_cover_connect.mp4

🧱 像素故事讲述者

pixel_ori_connect.mp4

pixel_trans_connect.mp4

更多对比结果，请查看视频。

体系结构

故事讲述者可以根据“某人做某事”的主题生成故事，LLM部分补全故事的起承转合（起因、经过、结果等），而Stable-Diffusion部分则为它们绘制图片。

• 🎥💬 封面故事讲述者 可以向故事添加书籍封面(点击左侧画廊中的图片)，并且所有图像都转换为封面样式。
• 🧱 像素故事讲述者 可以降低图像分辨率到像素级别，使输出类似像素游戏中的截屏效果。

Contact

svjack - https://huggingface.co/svjack - svjackbt@gmail.com - ehangzhou@outlook.com

Project Link:https://github.com/svjack/Diffusion-Story-Teller

Acknowledgements

• Huggingface
• Mistral-7B
• svjack