[Docs] max_new_token怎么设置？

[PengJiazhen408]

📚 The doc issue

请问evaluation的时候，max_new_token最大可以设置为多少？如下图所示，我们设置为32768时，代码就会卡很久。

代码卡在这个位置：

Suggest a potential alternative/fix

No response

[yuecao0119]

您好，

InternVL-Chat-V1-5 的上下文长度为 4k (4096)。Mini-InternVL-Chat-2B/4B-V1-5 的上下文长度为 8k (8192)。InternVL2 系列中的所有型号的上下文长度均为 8k (8192)。
参考：#272

[czczup]

您好，看您的代码，这似乎是在训练而不是测试；如果是训练的话，我建议设置上下文在16k以内；如果是测试的话，max_new_tokens不需要设置32k这么大，这个指的是模型生成的输出的token长度，最大设置成4096就足够了。

[duoyw]

您好，看您的代码，这似乎是在训练而不是测试；如果是训练的话，我建议设置上下文在16k以内；如果是测试的话，max_new_tokens不需要设置32k这么大，这个指的是模型生成的输出的token长度，最大设置成4096就足够了。

你好，我们有相似的问题。在我们单轮对话的任务（类似于文章续写，完整代码生成）中，需要输出的长度会比较长，此时能否设置更大的token长度？例如超过10000

[czczup]

您好，看您的代码，这似乎是在训练而不是测试；如果是训练的话，我建议设置上下文在16k以内；如果是测试的话，max_new_tokens不需要设置32k这么大，这个指的是模型生成的输出的token长度，最大设置成4096就足够了。

你好，我们有相似的问题。在我们单轮对话的任务（类似于文章续写，完整代码生成）中，需要输出的长度会比较长，此时能否设置更大的token长度？例如超过10000

可以的

[PengJiazhen408]

好的谢谢