提交前确认 / Preflight
想解决什么问题 / What problem does this solve
1、weibui发送列队能否添加取消按钮
2、能否在 WebUI 中添加 token 用量统计以及缓存命中率等信息呢?
期望的方案 / Proposed solution
1、webiui任务进行中时,重新发送消息会进入消息队列,但是消息队列似乎无法取消。希望能够取消列队中的消息并让列队中的消息回到输入框重新进行编辑但不停止(不影响)当前正在运行的任务
2、ds官方页不提供缓存命中信息,同时很多第三方 API 或本地 API 接入时,无法查看自己的用量以及了解缓存命中率。希望能增加这个功能,可以按日、按周和全部分类来查看 token 活动用量等信息。这样就不用再去部署一个网关或者其他的第三方看板来统计这些信息了。
备选方案 / Alternatives
No response
提交前确认 / Preflight
想解决什么问题 / What problem does this solve
1、weibui发送列队能否添加取消按钮
2、能否在 WebUI 中添加 token 用量统计以及缓存命中率等信息呢?
期望的方案 / Proposed solution
1、webiui任务进行中时,重新发送消息会进入消息队列,但是消息队列似乎无法取消。希望能够取消列队中的消息并让列队中的消息回到输入框重新进行编辑但不停止(不影响)当前正在运行的任务
2、ds官方页不提供缓存命中信息,同时很多第三方 API 或本地 API 接入时,无法查看自己的用量以及了解缓存命中率。希望能增加这个功能,可以按日、按周和全部分类来查看 token 活动用量等信息。这样就不用再去部署一个网关或者其他的第三方看板来统计这些信息了。
备选方案 / Alternatives
No response