速度和tensorRT相比起来如何？

[leiwen83]

如题，
另外好支持int8推理吗？

Thx,
Lei

[clevercool]

由于 TensorRT或者cublas不开源，目前的版本是基于NVIDIA cutlass 1.3开发，性能与基于cublas 的TensorRT的版本有一定差距。也是由于cutlass版本的问题，目前只支持FP16和FP32。