generate 不使用fp16时报错

[xiaofei05]

模型finetune时没有使用fp16, 对finetune后的模型使用 ./scripts/generate_text.sh 交互生成正常，但是去掉./scripts/generate_text.sh中的--fp16时报错：

修改generate_examples.py 233行
past_key_values = [x.half() for x in past_key_values]
为
past_key_values = [x for x in past_key_values]

仍然报相同错误。

[zzy14]

您可以尝试把 generate_examples.py中past_key_values = [x.half() for x in past_key_values] 的half()删除。

[xiaofei05]

您可以尝试把 generate_examples.py中past_key_values = [x.half() for x in past_key_values] 的half()删除。

如题所说，仍然是相同错误

[zzy14]

您好，我们更新了一下对应的代码，测试现在是可以跑fp32的，您可以试试看

[xiaofei05]

好的，现在没有问题了，感谢！