fix returning logits in prefill phase of pytorch engine

[grimoire]

Fix pytorch engine decode.

[lvhan028]

May resolve the conflicts

[irexyc]

from lmdeploy.pytorch.engine import Engine
import numpy as np
m = Engine('/nvme/shared/llama2/huggingface/llama-2-7b-chat')
g = m.create_instance()

# sequence_start 似乎没效果，每次结果都不一样。
g.decode([[11,12,13,14,15]], sequence_end=False)

[grimoire]

@irexyc seqence_start 的行为具体是啥？要用新的 session_id 吗？还是说清掉旧的 cache 复用原来的？

[irexyc]

# 第一次调用，session_id=0, 未结束
g.decode([[11,12,13,14,15]], sequence_end=False)

# 第二次调用的时候，session_id=0，之前的请求没有end，并且当前请求sequence_start=True，所以 session_id 冲突了，turbomind 会清空 session_id=0 对应的历史, pytorch 这边似乎没有清空。
g.decode([[11,12,13,14,15]], sequence_end=False)

[grimoire]

修了，现在 sequence_start=True 时会尝试 end 一次

[irexyc]

r1 = m.decode([[11,12,13,14,15]], sequence_end=False)
r2 = m.decode([[16,17,18,19,20]], sequence_start=False)

# r2每次都不一样