[BUG] Baihcuan2-13B 输入token长度1024左右 返回单个终止符 #244
Description
v100 加载Baichuan2-13B-Chat 启动脚本 CUDA_VISIBLE_DEVICES=1,2 python -m lightllm.server.api_server --model_dir Baichuan2-13B-Chat --trust_remote_code --host 0.0.0.0 --port 5622 --tp 2 --max_total_token_num 6000
请求体
{
"inputs": "阅读以下说明书内容：使用前，请完整阅读本说明书使用期限：五年\n*实际使用期限由日常使用频次、储存环境（温、湿度等）和保管方式决定，请予合理使用和保管医疗器械注册证编号：苏械注准20182071291产品技术要求编号：苏械注准20182071291\n生产许可证编号：苏药监械生产许20100068号计量器具型式批准证书编号：2017F075-32\n\n血压计使用步骤：\n第一步：将主机放在一个平稳安全的表面，如桌子，确保使用者容易触到，然后连接电源。\n第二步：接着将臂带空气管插头紧紧地插入空气管插口。\n第三步：然后正确安置臂带。\n第四步：测量前先做3-5次深呼吸，坐正放松，不要说话，也不要移动身体或手臂。\n第五步：关机状态下，按动开关键，显示屏显示时间月/日，进入待机状态；\n第六步：待机状态下按动开关键，显示屏显示满屏，此时语音提示：“请保持正确的测量姿势，测量马上开始”，然后臂带开始自动充气。\n\n操作指引\n坐姿测量：坐在椅子上，两脚平放在地板上，把手臂自然伸直放在桌面上，掌心朝上，身体放松，不要随意移动，使臂带与心脏保持在同一水平线上（如图4-1）。任何血压测量都受被测量者的姿势及身体状况的影响。\n\n和家亲绑定配网说明\n无线传输功能\n1.下载“和家亲”APP\n首先，请您可以扫描下方二维码，下载并安装“和家亲”App,或者至App Store、各大安卓市场搜索“和家亲”下载并安装。\n2.注册和登录“和家亲”\n请您注册“和家亲”账号，并登录。如您已下载“和家亲”App，并已登录相关账号，请您直接进入\n3.绑定智能设备\n① 请您先将智能设备插上电源，并打开设备，然后打开您的“和家亲”APP，您会在“和家亲”APP的设备页面收到提示“发现1台可添加设备”，请点击该提示，然后按照操作指引绑定设备。提示图如下：\n② 若您无法通过上一步完成设备绑定。请您打开“和家亲”APP，进入“连接”页面，然后点击“添加智能设备”或右上角的“＋”，进入添加设备页面。如下图所示。在“添加设备”页面，可以点击“扫码绑定”，扫描设备屏幕或机身上的二维码。如下图所示。扫码后，按照提示指引完成绑定即可。\n③ 您还可以通过选定品牌设备名称的方式绑定设备。请您先打开“和家亲” APP，进入“连接”页面，然后点击“添加智能设备”或右上角的“＋”，进入添加设备页面。在“添加设备”页面，按照“品牌”→“型号”，逐级选择到具\n请回答问题：血压计如何使用？",
"parameters": {
"max_new_tokens": 256,
"temperature": 0.3,
"top_p": 1,
"top_k": 1,
"ignore_eos": false,
"do_sample": true
}
}
返回
{
"generated_text": [
""
],
"count_output_tokens": 1
}
在字数较少的时候可以实现正常返回，不知道是不是对输入有什么要求？