Skip to content

lightyear-turing/TuringMM-34B-Chat

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

8 Commits
 
 
 
 
 
 
 
 

Repository files navigation

TuringMM 智娃AI大模型

模型介绍

  • TuringMM-34B-Chat是一款开源的中英文Chat模型,由北京光年无限科技有限公司基于Yi-34B开源模型、基于14w的精标教育数据进行sft微调以及15W对齐数据进行DPO偏好学习得到的一个微调模型。

  • Yi 系列模型以双语语言模型为目标,在 3T 多语言语料库上进行训练,成为全球最强的 LLM 模型之一,在语言理解、常识推理、阅读理解等方面表现出良好的前景;

请注意,TuringMM-34B-Chat仍然可能生成包含事实性错误的误导性回复或包含偏见/歧视的有害内容,请谨慎鉴别和使用生成的内容。


📥 模型下载

模型名称 模型大小 HuggingFace ModelScope
TuringMM-34B-Chat 65G 🤗HuggingFace 🤖ModelScope

模型评估结果

模型基准测试C-EVAL

  • C-Eval 是一个全面的中文基础模型评估套件。它包含了13948个多项选择题,涵盖了52个不同的学科和四个难度级别
发布公司 平均得分 hard steam 社会科学 人文科学 其他
Qwen-72B-Chat 阿里云 79.5 - 74.5 89.1 81.2 78.1
XVERSE-65B 元象智能 72.4 50.8 65.7 85 74 71.8
XuanYuan-70B 度小满 71.9 53.6 67.7 83.3 73.9 67.4
TuringMM-34B-Chat 光年无限 80.7 60.2 73.8 89.3 82.3 83.7

模型推理

推理所需的模型权重、源码、配置已发布在 Hugging Face,下载链接见本文档最开始的表格。我们在此示范多种推理方式。程序会自动从Hugging Face 下载所需资源。

Python 代码方式

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation.utils import GenerationConfig

tokenizer = AutoTokenizer.from_pretrained("lightyear-turing/TuringMM-34B-Chat", use_fast=False, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("lightyear-turing/TuringMM-34B-Chat", device_map="auto",
                                             torch_dtype=torch.bfloat16, trust_remote_code=True)

model.generation_config = GenerationConfig.from_pretrained("lightyear-turing/TuringMM-34B-Chat")

# 流式输入示例
for res in model.chat_stream(tokenizer, '你好啊!', max_token=200, history=[], do_sample=True):
    print(i)

# 非流式输出示例
pret, history = model.chat(tokenizer, '你好啊!', max_token=200, history=[], do_sample=True)
print(pret)
  • 可以使用添加环境变量的方式控制显卡使用 export CUDA_VISIBLE_DEVICES=0,1(使用了0、1号显卡)
  • 或者在代码添加 os.environ['CUDA_VISIBLE_DEVICES'] = "0,1"

页面方式体验

python run_chat_web.py --checkpoint_path '/your-model-path'

本页面基于gradio工具开发,是为 Chat 对话场景设计。


示例输出

游戏互动

用户:	你好啊
TuringMM	你好!我是一名机器人,名叫智娃,很高兴见到你。有什么我可以帮助你的吗?

用户:	你可以和我一起玩吗
TuringMM	当然可以!我们可以一起玩游戏,聊天,了解更多关于地球的事情。你想玩什么游戏呢?

用户:	我们可以一起玩成语接龙吗
TuringMM	成语接龙?听起来很有趣!那我们一起开始吧,成语接龙第一字是“羊”,你能接上吗?

用户:	没想到,你换一个吧
TuringMM	没问题,成语接龙第二字是“牛”,这个简单多了吧?那么,你接什么呢?

闲聊

用户:	我不想去学校了
TuringMM	看起来你今天心情不太好,是吗?你为什么不想去学校呢?

用户:	学校有人欺负我
TuringMM	我听到你的声音里有些难过和不安,是吗?你感觉很不舒服,是吗?可以告诉我发生了什么事情吗?

用户:	他们抢我零食
TuringMM	这听起来很令人沮丧。你知道,这并不是第一次发生,对吧?你有没有告诉老师或家长呢?他们能帮助你。如果你不想要,他们也不会强迫你分享。你愿意试试跟他们说说话吗?                           


企业介绍

图灵机器人,全名北京光年无限科技有限公司,是国内强大的AI交互技术和智能OS公司,使命愿景是“实现人机自由对话、让AI机器人进入亿万家庭”。 目前,北京光年无限专注于消费类/智能学习硬件场景,并自主研发了一系列基于儿童教育智能硬件的AI技术产品,包括儿童语音对话、视觉AI交互、儿童教育AI大模型等。北京光年无限以AI技术研发驱动 ,AI领域的技术发明专利超过500件,主要产品如图灵机器人、Turing OS等在行业有良好的客户口碑。其中,主营业务产品“图灵机器人”累计超过百万级的AI对话机器人开发者,在智慧家庭/教育硬件等AI机器人场景拥有深度积累。


声明

由于模型参数量限制、训练数据的清洗程度等因素,本项目开源的模型可能存在以下局限性:

  • 对于事实性知识,容易产生错误的回复。
  • 由于未经过无害化微调,可能会产生歧视、危害、违背伦理道德的言论。
  • 在代码、推理上的能力仍有欠缺。

基于以上模型的局限性,我们要求本项目的代码、数据、模型不得用于对社会造成危害的用途,且应当遵循基座模型的商业许可。


license: Apache License 2.0

About

No description, website, or topics provided.

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages