输入长度怎么设置

[wzg-zhuo]

GGML_ASSERT: /tmp/pip-req-build-obcizsli/third_party/ggml/src/ggml.c:2493: view_src == NULL || data_size + view_offs <= ggml_nbytes(view_src)
Could not attach to process. If your uid matches the uid of the target
process, check the setting of /proc/sys/kernel/yama/ptrace_scope, or try
again as the root user. For more details, see /etc/sysctl.d/10-ptrace.conf
ptrace: 对设备不适当的 ioctl 操作.
No stack.
The program is not being run.

max_length设置1024，推理报错，请问是转化时候要设置么

[yvonwin]

抱歉，我无法复现这个错误，但是这个问题应该和转换无关，需要更多的信息才能确认。

[wzg-zhuo]

max_length设置512不会报错，过长会报错，可以试试

[yvonwin]

max_length 和 分配的 kv_cache 大小有关，如果你用的是gpu, 有可能模型太大，显存不够？

[wzg-zhuo]

使用的是cpu，8c，模型使用的是qwen1.5-1.8-chat

[yvonwin]

那就有点奇怪了，我这边即使是32b的模型也不存在该问题。我在m1, 13600k, 和一个epyc上测试过。