关于 Generative Inference

[macheng6]

在generate模式下，代码中的实现是基于explicit symptoms预测出在词表上的分布next_token_logtis之后，就开始遍历这个next_token_logits，生成的词用generated变量存储。我的理解是应该取next_token_logtis中概率最大的词，加入input_ids，之后继续输入模型获得下一个next_token_logtis，这样才能考虑implicit symptoms，但是代码中并不是这样实现的，能解答一下吗？

[jymChen]

因为诊断是交互的，取next_token_logtis中概率最大的症状作为要询问的症状，这里就是一次询问操作，需要确认implicit symptoms中（即给出肯定的ture或false的答复），才会加入input_ids中继续询问。