《王者荣耀》多模态问答助手 【RAG】【AGENT】【RolePlay】【Deploy】【MultiModal】

[chg0901]

数据介绍

队友招募

这是一个和王者有关的多模态项目，
打算使用rag，和agent, roleplay，lmdeploy等技术，
欢迎感兴趣的大佬联系，利用这份数据，一起开发有趣的应用

招募要求

1. 参加过第一期或者对目标技术有一定理解
2. 热爱王者或者多模态数据的应用，执行力强，有想象力
3. 富有团队精神，有足够时间精力投入
4. 需要加入21班，负责人是21班助教
5. 目前加我10个人，打算分两组，每组做不同的东西，加 微信(kwchg0901) 时请说明来意
6. 需要说明你想做加入团队后负责的内容或者期待实现的内容, 我会根据各人的兴趣来调整组队和给技术方案推荐
7. 然后给我个比较合适的自我介绍，我会把你介绍给大家

数据背景

《王者荣耀》是由腾讯游戏天美工作室群开发并运营在Android、IOS平台上的MOBA类国产手游，是目前中国最流行的智能手机游戏之一，王者荣耀中的玩法以竞技对战为主，玩家之间进行1V1、3V3、5V5等多种方式的PVP对战，在满足条件后可以参加游戏的排位赛等，还可以参加PVE的闯关模式，是属于推塔类型的游戏。

王者荣耀中英雄众多，主要分为五个分路和七个职业，每个英雄最多有十几款皮肤，很多皮肤除了和原皮海报不同，还有不同的故事和语音，因此王者荣耀的有关数据是很好的多模态数据。

分路介绍	特点
发育路	发育路一般由射手担任这个位置，前期击杀发育路的小兵可以获得更多金钱
中路	中路一般由法师担任这个位置，中路小兵有较高的物理防御
打野	打野玩此位置都携带“惩击”，一般由刺客或者战士担任这个位置，击杀野怪是升级的快速途径
对抗路	对抗路一般由战士或者坦克担任这个位置，击杀对抗路小兵可以获得更多经验
游走	游走一般由坦克或者辅助来担任这个位置，需要佩戴游走装备，这样才不会影响队友金币获取，也就是经济

HoK 多模态toy数据集

这个多模态数据集包括来自手机游戏《王者荣耀》的图像、文本和音频，这是中国最流行的智能手机游戏之一。

• 王者荣耀故事英雄与技能-toy.xlsx 包含每个英雄详细信息的主要文本数据。 作为一个玩具数据集，我只上传了4个英雄的数据

• “英雄Q版头像”、“英雄档案图片”和“英雄海报”是包含这些英雄的各种图像的文件夹。

• 英雄语音和对应台词是包含每个英雄每种皮肤对应的语音（音频）和台词（文本）的文件夹。 （有些皮肤没有对应的声音，使用默认皮肤的声音和台词。）

在线试听蔡文姬原皮语音

王者荣耀 蔡文姬原皮语音

各个英雄的默认皮肤

├───安琪拉
│   └───暗夜萝莉
├───艾琳
│   └───精灵之舞
├───阿古朵
│   └───山林之子
└───阿轲
    └───信念之刃

有一些数字，例如'116_阿轲__迷踪丽影'中的116和'142_安琪拉_东瞰扶胥选自广东通志.mp3'中的142。 这些数字与王者荣耀网站中的英雄索引有关，你可以忽略它，因为我提供了每个英雄的中文名。

我可能会考虑稍后上传更多数据。

简单的文件结构

│   王者荣耀故事英雄与技能-toy.xlsx
├───英雄Q版头像
├───英雄档案图片
├───英雄海报
├───英雄皮肤
│   ├───安琪拉
│   ├───艾琳
│   ├───阿古朵
│   └───阿轲
└───英雄语音和对应台词
    ├───安琪拉
    │   ├───142_安琪拉__乘龙·聚宝船
    │   ├───142_安琪拉__心灵骇客   
    │   ├───142_安琪拉__时之奇旅
    │   ├───142_安琪拉__暗夜萝莉
    │   ├───142_安琪拉__追逃游戏
    │   └───142_安琪拉__魔法小厨娘
    ├───艾琳
    │   ├───155_艾琳__奇遇舞章
    │   ├───155_艾琳__精灵之舞
    │   └───155_艾琳__觅芳踪
    ├───阿古朵
    │   ├───533_阿古朵__山林之子
    │   ├───533_阿古朵__江河有灵
    │   └───533_阿古朵__顽趣
    └───阿轲
        ├───116_阿轲__信念之刃
        ├───116_阿轲__暗夜猫娘
        ├───116_阿轲__节奏热浪
        └───116_阿轲__迷踪丽影

数据集整理日志

• 02/16 采用获取英雄资料页和单个英雄页简单信息，汇总为英雄技能介绍, 英雄故事, 和历史上的英雄
• 02/18 后续又下载了部分图片和语音, 请查看数据样例
• 02/26 添加ToDo， 02/29基本把想拿的数据都拿到了，还需要些许优化
• 02/26 添加整体RAG思路
• 02/28 添加更多数据
• 02/29 小伙伴帮助下可以拿到更加高清的英雄原皮海报和更多语音数据，以及更多英雄信息，目前缺少①英雄关系，②装备和③铭文具体信息，
• 03/04 更新完整的各英雄各皮肤对应对应的语音文本（除了鬼子英雄的，四个SNK+宫本），修复部分网络波动而造成的下载语音失败， 验证了女娲和娜可露露缺少（各自缺一条语音，但是有台词）语音资源的问题（他们网页有资源缺陷，部分标签没有值），盾山没有语音和台词【他不会说话】，添加关闭语音下载flag，提高其他信息获取速度
• 03/04 【ToDo】发现之前下载的各英雄各皮肤海报数据不完整，缺少①英雄关系，②装备和③铭文具体信息，
• 03/14 添加更多局内沟通语音, 包括BP, 战术, 系统语言, 正向沟通语音等, 添加铭文, 装备等其他资源
• 03/17 整理上传 toy多模态王者数据集到Github

更多详情，请查看王者荣耀问答助手[大模型实战营 结题项目][更新更多数据，计划采用RAG方法进行多模态检索搜索查询] - 知乎

HoK Text 数据集

数据介绍

目前，此文件夹中有两个 processed.jsonl 和 processed2.jsonl 数据集。

数据OriginalData_inChinese.xlsx是生成processed.jsonl和processed2.jsonl的原始数据，

处理代码为text_processing. py 和 text_processing3.py .

它们是 Xtuner 用于微调手机游戏《王者荣耀》英雄属性搜索的 LLM 模型的两个版本的文本数据。

如何使用

详细如何使用这两个数据集，请参考以下两个知乎链接

1. 王者荣耀问答助手[大模型实战营 结题项目][更新更多数据，计划采用RAG方法进行多模态检索搜索查询]
2. XTuner 大模型单卡低成本微调实战[大模型实战营04]【最后是王者荣耀有关的项目】