Support Optional Configurations for Embedding models

[zhangever]

Is your feature request related to a problem? Please describe

部署BCE embedding模型， 3副本，分布在3张3090卡上，但是没法得到比单副本3倍的提升。 实质上吞吐量跟单卡一样

Describe the solution you'd like

希望能增加可选配置，例如request limit。

Describe alternatives you've considered

N/A

Additional context

N/A

[codingl2k1]

你用 3 卡 3 副本时，有没有哪些进程 CPU 打满 100% 的？

[zhangever]

你用 3 卡 3 副本时，有没有哪些进程 CPU 打满 100% 的？

当时只有压测请求， 没有别的请求呢
gpu的利用率不高，每张卡断断续续，高峰期也不到10%

[codingl2k1]

我是说 CPU 使用率有没有 100% 的？