关于推断速度

[Step-Zero]

你好，请问你写的推断速度是指一次推断吗？因为我这试着一句话的推断还是挺慢的，每一个输出都依赖上一次输出，推断次数是帧数乘以你写的毫秒数吧？

[Z-yq]

您用的是python版本还是 C版本？
CTC 还是 RNN-T 还是LAS 还是Transformer？

[Step-Zero]

python版本 用的Transducer，encoder是Transformer。

[Z-yq]

响应速率应该看第二次推断的消耗时间， 第一次推断需要加载图到内存，消耗时间自然多 ------------------&nbsp;原始邮件&nbsp;------------------ 发件人:&nbsp;&quot;Step-Zero&quot;<notifications@github.com&gt; 发送时间:&nbsp;2020年11月11日(星期三) 晚上8:14 收件人:&nbsp;&quot;Z-yq/TensorflowASR&quot;<TensorflowASR@noreply.github.com&gt;; 抄送:&nbsp;&quot;Z-yq&quot;<641242921@qq.com&gt;;&quot;Comment&quot;<comment@noreply.github.com&gt;; 主题:&nbsp;Re: [Z-yq/TensorflowASR] 关于推断速度 (#15)

[Step-Zero]

时间打印的是perform_greedy函数执行的时间，15s的音频推断时间大约5s（没有使用 lm），是不是差不多就是这个处理速度？

[Z-yq]

感觉是初始预测时间，您可以一次脚本中循环预测若干次看看响应时间，如果都是5秒，那可能是当前机器CPU算力较低、内存较少------------------&nbsp;原始邮件&nbsp;------------------ 发件人:&nbsp;&quot;Step-Zero&quot;<notifications@github.com&gt; 发送时间:&nbsp;2020年11月11日(星期三) 晚上8:33 收件人:&nbsp;&quot;Z-yq/TensorflowASR&quot;<TensorflowASR@noreply.github.com&gt;; 抄送:&nbsp;&quot;Z-yq&quot;<641242921@qq.com&gt;;&quot;Comment&quot;<comment@noreply.github.com&gt;; 主题:&nbsp;Re: [Z-yq/TensorflowASR] 关于推断速度 (#15)

[Step-Zero]

确实是只有第一次推断时间比较长，之后15s左右的音频推断时间也只有600ms。感谢耐心解答