Skip to content

erzaozi/vits-plugin

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

41 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

vits-plugin

VITS-PLUGIN 🍇

  • 一个适用于 Yunzai 系列机器人框架 的的 AI 语音合成插件,让你能够在机器人中使用 AI 语音合成功能

  • 使用著名 AI 社区 Huggingface 和国内知名 AI 社区 Modelscope 的接口,支持 BERT-VITS2、GPT-SoVITS、Fish-Audio 等模型,对自身硬件没有要求,降低了使用门槛,让更多人体验 AI 语音合成的乐趣。

  • 使用中遇到问题请加 QQ 群咨询:707331865

Tip

在朋友们的呼声下 CikeyQi 决定开发这个插件,为了降低使用门槛,该插件搜罗当前互联网中可以直接免费使用的接口,并将其打包进插件中,让用户能够直接在机器人中使用这些接口,这个插件超棒的噢。

安装插件

1. 克隆仓库

git clone https://github.com/erzaozi/vits-plugin.git ./plugins/vits-plugin

Note

如果你的网络环境较差,无法连接到 Github,可以使用 GitHub Proxy 提供的文件代理加速下载服务

git clone https://mirror.ghproxy.com/https://github.com/erzaozi/vits-plugin.git ./plugins/vits-plugin

2. 安装依赖

pnpm install --filter=vits-plugin

插件配置

Warning

非常不建议手动修改配置文件,本插件已兼容 Guoba-plugin ,请使用锅巴插件对配置项进行修改

获取 Modelscope Cookie
  1. 打开 随便一个需要登录才能使用的空间 并登录,Ctrl + Shift + I 打开开发者工具 ,点击 网络
  2. 等待出现 status 请求,点击该请求,复制 Cookie 字段即可(注意复制完整)

cookie

获取 Fish-Audio Token
  1. 打开 Fish Audio 并登录,Ctrl + Shift + I 打开开发者工具 ,点击 网络
  2. 尝试在网页生成一次,等待出现 task 请求,点击该请求,复制 Authorization 字段即可(注意复制完整)

cookie

功能列表

请使用 #vits帮助 获取完整帮助

  • 单独合成某个角色的语音
  • 自动将你的文本消息合成 AI 语音

模型列表

模型与源的关系

resources
├───Bert-VITS2
│   ├───Modelscope.json
│   └───Huggingface.json
├───GPT-SoVITS
│   ├───Modelscope.json
│   └───Huggingface.json
└───Fish-Audio
    └───Fish-Audio.json

要使用对应模型才能使用对应源中的发音人,举个例子,使用 Bert-VITS2 模型时能选择 ModelscopeHuggingface 两个源,但不同模型的源是完全不一样的,里面的发音人也不一样,请参考下表找到你想要的发音人位置

🍉Bert-VITS2

Modelscope 平台

点击展开
模型名称 模型名称 模型名称 模型名称
AI 陈泽(中日英) AI 星瞳(坏女人)(中日英) AI 梅西 2.0(中日英) AI 珈乐 2.0(中日英)
AI 乃琳 2.0(中日英) AI 七海 2.0(中日英) AI 塔菲 2.0 重制版(中日英) AI 东雪莲 2.0 重制版(中日英)
AI 奶绿 2.0(中日英) AI 尼奈 2.0(中日英) AI 科比 2.0(中日英) AI 嘉然 2.0(中日英)
AI 丁真 2.0(中日英) AI 丁真 2.0(备用 1) AI 丁真 2.0(备用 2) AI 炫神 2.0(中日英)
AI 电棍 2.0(中日英) AI 阿梓 2.0(中日英) AI 东雪莲 2.0(中日英) AI 塔菲 2.0(中日英)
AI 星瞳 2.0(中日英) AI 孙笑川 2.0(中日英) AI 塔菲 AI 小菲
AI 东雪莲 AI 奶绿 AI 尼奈 AI 珈乐
AI 电棍 AI 七海 AI 阿梓 AI 星瞳
AI 向晚 AI 嘉然 AI 剑魔 AI 乃琳
AI 贝拉 AI 扇宝 AI 恬豆 AI 黑桃影
AI 卖卖 AI 鹿鸣 AI 文静

Huggingface 平台

点击展开
模型名称 模型名称 模型名称 模型名称
AI 星瞳(坏女人)(中日英) AI 梅西 2.0(中日英) AI 珈乐 2.0(中日英) AI 乃琳 2.0(中日英)
AI 七海 2.0(中日英) AI 塔菲 2.0 重制版(中日英) AI 东雪莲 2.0 重制版(中日英) AI 奶绿 2.0(中日英)
AI 尼奈 2.0(中日英) AI 科比 2.0(中日英) AI 嘉然 2.0(中日英) AI 丁真 2.0(中日英)
AI 炫神 2.0(中日英) AI 电棍 2.0(中日英) AI 阿梓 2.0(中日英) AI 东雪莲 2.0(中日英)
AI 塔菲 2.0(中日英) AI 星瞳 2.0(中日英) AI 孙笑川 2.0(中日英) AI 塔菲
AI 小菲 AI 东雪莲 AI 奶绿 AI 尼奈
AI 珈乐 AI 电棍 AI 七海 AI 阿梓
AI 星瞳 AI 向晚 AI 嘉然 AI 剑魔
AI 乃琳 AI 贝拉 AI 扇宝 AI 恬豆
AI 黑桃影 AI 卖卖 AI 鹿鸣 AI 文静

🍊GPT-SoVITS

Modelscope 平台

点击展开
模型名称 模型名称 模型名称 模型名称
AI 张顺飞 AI 蔡徐坤 AI 米诺 AI 陈泽
AI 电棍 AI 炫神 AI 山泥若 AI 丁真
AI 孙笑川 AI 东雪莲 AI 塔菲 AI 奶绿
AI 阿梓 AI 七海 AI 星瞳 AI 星瞳(坏女人)
AI 扇宝 AI 扇宝(卖卖) AI 尼奈 AI 恬豆
AI 向晚 AI 贝拉 AI 珈乐 AI 嘉然
AI 乃琳

Huggingface 平台

点击展开
模型名称 模型名称 模型名称 模型名称
AI 电棍 AI 炫神 AI 山泥若 AI 丁真
AI 孙笑川 AI 东雪莲 AI 塔菲 AI 奶绿
AI 阿梓 AI 七海 AI 星瞳(坏女人) AI 坏女人
AI 扇宝 AI 扇宝(卖卖) AI 尼奈 AI 恬豆
AI 向晚 AI 贝拉 AI 珈乐 AI 嘉然
AI 乃琳

🥕Fish-Audio

点击展开
模型名称 模型名称 模型名称 模型名称
丁真 AD 学姐 纪录片旁白 永雏塔菲
POTUS 45 - Trump 流萤 七海みなみ 阿梓
芙宁娜 符玄 雷电将军 董宇辉
邓紫琪 丁真(锐刻五代版) 电棍 otto 派蒙
单田芳 扣比不 黑手 孙笑川 258
七海 Nana7mi 刻晴 钟离 冰糖 IO
李立宏美食 AI 沈子钧 黄泉 花火
棋手战鹰 弘历 明前奶绿 2 纳西妲
井芹仁菜 东雪莲 尼奈(猫娘版) Robin (Honkai: Star Rail)
炫神 赤井秀一 银枝 砂金
巴图鲁 胡桃 明日香 空 1
花火导演 1 星瞳 旭旭宝宝 黑天鹅
亚太空间合作组织秘书长 温迪 1 尼奈
アルマ2 孙笑川 记者 2.0 希格雯
huhu 试试 唐僧
coco1 夹子米虫 包包大人 baicai_ZH
烟绯 男 2 常用 偶像大师 新田美波
枣伊吕波 亚托莉 罗永浩 佛耶戈
斯维因 布洛妮娅 小桃 扇宝
袁腾飞 东方镜 waner 管家
晶蓝研究室 Ageha Shama 古美门 nkl
md1 露早 GOGO baicai_JP 青春恋物 纯爱酱
Sakura 卖卖 夏目蓝 小熊维尼
蓝斯报站 老母亲 企业宣传片
chouxiangping1 作曲 mm 农村生活
Meow Moew ttt2 流萤 ali
jian 余切 战鹰 01 派蒙 1
多人 流浪者_原神 qixuanm 扇宝
Qinlan coco 安和昴 wannn
昆虫学者 记者 白露 艾丝妲
测试 姐姐 1 扣税国王 浊心斯卡蒂
明前奶绿 菩提祖师 AI 李奥翔
周棋洛 奥尔菲斯 2.0 🥕 撒贝宁
全蛋 dongbei 溜溜 leo WY
琳妮特 ling MOSS 崔永元
明日方舟 W 夏提雅 陈冲 Negan
ID001 佛耶戈 汤圆四水 悟空 1
郑容和 dw 文静
aishe 战场原黑仪 niao
测试 匠心帝。 雷军 神里绫华
tts Within 藿藿 飞虎队
测试 阿里马斯 tttt 后羿
高松灯 相泽南 甘雨 ayane
June (The Finals) 张顺飞 明日方舟山 AI 何佳宇
hhjk 河原木桃香 xwy 星瞳
huawei 流萤 lu 邓女士
Natsuhi 爱莉希雅 露西(en 七濑胡桃中文 ai
大家好 阿兰 pzd 王二
Harold Finch yanhe LUO-002 温柔动听女声
Taylor Swift 包龙星 凯伦(实验版) 22
洛天依_灵 次生银翼 爱衣休伯利安 露西(zh
awei 52ba 乌尔比安 gyh 卖卖
w 的声音 凯尔希 明日方舟 特雷西娅、魔王 Rupa
fy liuliu lamune 狗蛋
测试 高血压 xiaohua 霸道姐姐 sweetbox
qy 赵本山 Dr 大和田常务
Xixixi 邓浩洋 炫烨
温柔女声 凤凤 MG 动画男声 毕业季温情女学生
boss3 刘德科 湖普 企业宣传片-大气
彩虹红 幽兰黛尔 胖宝宝 11
洛天依_柔 WK 听不懂思密达 嘟嘟_学校广播电台_CN
波提欧 剑先鹤城
东风谷早苗 mv 萨格尔王 男 1 pjs
夏生 田二喜 dons 无添加
md test WKR 大司马
陈功的声音模型 测试 1 me lze
男 1 ling 二次元妲己
Freeind AI test 大家的日语中级 1 阅读 JJ
Max テスト henry 暗人 阿星
tstt2 test 憨堡 Ger hou
moss slang 李素裳 独人十三
liu 33 test 永雏小菲
丹花伊吹 ibkui 1 9729 广西大师
9729 小孩 迪奥娜 ZH Scotty (The Finals)
8 boss 包子 扇宝
络希 007 嘉然 AI 李奥翔
beagle 海老塚智 测试 1
1 奥尔菲斯 33 老叶 2
周星驰 安仁 2 发姐 Ngo Lan Huong
ouyang ces mfq 瓶子君 152
Mun 瓶子君 152 鱼头 SELF
个人 C Sheldon 萧炎 wan
然然 2.0 科比 维什戴尔 然然
jingxiangshuiyi marklin JJJ ele_read
xm_01 抖音米敏 自己 测试单田芳
y 1 1 6653
芙宁娜 jackzou 北方老师的话 没有没有
康辉 董宇辉 芽衣_雷之律者 琪亚娜_薪炎之律者
梅比乌斯 凯文 夏提雅中文 gmz
My Voice 2 My Voice rui 测试
2 222 1111 logos 逻各斯
测试 嘟嘟_商超女播报员_CN xjp hjj
ll Negan 小孩 ZH 萌小天
fisher_test1 莹凡的声音 米诺 hiyo
2024.01.27 旅行骑士 CPA1 Y10REO 哈哈哈哈 鱿鱼安静吗
小 U 居居 居居 袁腾飞
梁宏达 阿波尼亚 萝莎莉娅 菲谢尔
莱尔 莉莉娅 苏莎娜
芽衣 缇米朵 维尔薇 符华_识之律者
符华_云墨丹心 符华 科斯魔 琪亚娜_空之律者
琪亚娜 狂热蓝调 爱衣 渡鸦
格蕾修 德丽莎_月下初拥 德丽莎 帕朵菲莉丝
希儿_黑 希儿 布洛妮娅_迷城骇兔 布洛妮娅_次生银翼
布洛妮娅 姬子_极地战刃 姬子 卡萝尔
卡莲 千劫 八重樱 伊甸
人偶_赤鸢 人偶_贝拉 人偶_西琳 人偶_若水
人偶_苍玄 人偶_绯玉丸 人偶_特斯拉 Zero 人偶_爱酱
人偶_晓月镇魂歌 人偶_妖精爱莉 人偶_圣剑幽兰黛尔 人偶_克莱因
人偶_仿犹大 丽塔 主角 June (The Finals)

常见问题

  1. 合成失败,请检查角色名与文本内容
    • 检查当前使用的源和模型是否存在这个角色,角色名是否正确

支持与贡献

如果你喜欢这个项目,请不妨点个 Star🌟,这是对开发者最大的动力, 当然,你可以对我 爱发电 赞助,呜咪~❤️

有意见或者建议也欢迎提交 IssuesPull requests

相关项目

  • Bert-VITS2:vits2 backbone with multilingual-bert
  • GPT-SoVITS:1 min voice data can also be used to train a good TTS model! (few shot voice cloning)
  • Fish-Audio:Brand new TTS solution

许可证

本项目使用 GNU AGPLv3 作为开源许可证。

About

基于 Yunzai 的语音合成插件

Resources

License

Stars

Watchers

Forks