max_tokens设置似乎出现异常

[ybsbbw]

8卡A800服务器
xinference版本0.9.0
vllm0.3.0
web界面配置模型32000的最大输入token长度

但是实际运行时，发现似乎加载的模型还是4096长度的，如下图显示

我印象中必须max_seq_length和max_model_length都设置为32000，最大输入token长度才能正常完成设置，这里麻烦开发人员检查一下

[xxWeiDG]

这个问题现在还是存在，您那解决了吗

[ybsbbw]

已经解决了-------- 原始邮件 --------发件人： xxWeiDG ***@***.***>日期： 2024年7月15日周一 15:08收件人： xorbitsai/inference ***@***.***>抄送： ybsbbw ***@***.***>, Author ***@***.***>主 题： Re: [xorbitsai/inference] max_tokens设置似乎出现异常 (Issue #1060) 这个问题现在还是存在，您那解决了吗 —Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you authored the thread.Message ID: ***@***.***>

[xxWeiDG]

已经解决了-------- 原始邮件 --------发件人： xxWeiDG @.>日期： 2024年7月15日周一 15:08收件人： xorbitsai/inference @.>抄送： ybsbbw @.>, Author @.>主 题： Re: [xorbitsai/inference] max_tokens设置似乎出现异常 (Issue #1060) 这个问题现在还是存在，您那解决了吗 —Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you authored the thread.Message ID: @.***>

请教一下，您是怎么解决的呢，好像vllm有问题

[jony4]

这么处理试试

已经解决了-------- 原始邮件 --------发件人： xxWeiDG @.>日期： 2024年7月15日周一 15:08收件人： xorbitsai/inference _@**._>抄送： ybsbbw _@.>, Author @._>主 题： Re: [xorbitsai/inference] max_tokens设置似乎出现异常 (Issue #1060) 这个问题现在还是存在，您那解决了吗 —Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you authored the thread.Message ID: _@_.*>

请教一下，您是怎么解决的呢，好像vllm有问题