性能需要继续提升（包括TRT）

[cacard]

一个性能测试，10个汉字，在 4080Lap上运行：

Use TRT:1.767s / 1.792s
NO-TRT: 1.889s /1.912s

TRT提升约7%的速度。
你们提升了多少？

[AIStorm-boop]

我整体性能提升了几十倍

[niaoyu123]

我整体性能提升了几十倍

提升后，能达到说的150ms吗？

[goingHan]

一个性能测试，10个汉字，在 4080Lap上运行：

Use TRT:1.767s / 1.792s NO-TRT: 1.889s /1.912s

TRT提升约7%的速度。 你们提升了多少？

@cacard 你好，问一下怎么运行的指令。 我在A6000上推理13个字，要7秒左右，将load_trt设置为true后，推理时间没有变换。

[zw76859420]

我整体性能提升了几十倍

请问是offline 还是 online 模型？ 我们这边10个字，没做任何优化的情况下，V100推理速度在7~8秒之间。

[ztes-sunny]

不要瞎捣乱，提升10倍，贴图看看