Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

以 token 数为单位计算配额 #33

Closed
lmuiotctf opened this issue Apr 27, 2023 · 15 comments
Closed

以 token 数为单位计算配额 #33

lmuiotctf opened this issue Apr 27, 2023 · 15 comments
Labels
enhancement New feature or request

Comments

@lmuiotctf
Copy link

由于次数太泛,毕竟有的用户一次返回超级多得字数,所以加入token来计算会,将来会有计划嘛?

@songquanpeng songquanpeng changed the title 希望增加以返回token来计费方式 以 token 数为单位计算配额 Apr 27, 2023
@songquanpeng
Copy link
Owner

有计划的。

@songquanpeng songquanpeng added the enhancement New feature or request label Apr 27, 2023
@songquanpeng
Copy link
Owner

已实现,不过当前对于 stream 格式的返回,我直接是通过 bytes 数乘以一个系数来估算的,系数之后可以自己配置。

@songquanpeng
Copy link
Owner

已支持配置系数。

@aohun
Copy link

aohun commented Apr 28, 2023

计算token有开源包可以利用一下

@songquanpeng
Copy link
Owner

已更换 token 计算方式。

@lmuiotctf
Copy link
Author

所以目前这个额度是以token为计算方式,不是以请求成功为基准了嘛?
建议在新建渠道的时候新增一个选项(是否以token为计算标准、保留原来的请求次数额度)
image

@songquanpeng
Copy link
Owner

次数的话保留意义不大,如果一个用户带了很多历史信息,还是只算一次,但是实际消耗的 token 很多。

@lmuiotctf
Copy link
Author

嗯嗯 所以目前情况是:stream:true的时候开启token计算?

@songquanpeng
Copy link
Owner

非 stream 模式下 OpenAI 的 API 会直接返回 token 数,不需要自己计算。

@lmuiotctf
Copy link
Author

可以,但是超了变负数这个应该无法进行控制(哈哈哈哈哈)
image

@songquanpeng
Copy link
Owner

songquanpeng commented Apr 28, 2023 via email

@lmuiotctf
Copy link
Author

对了,好像充值链接时没有在接口进行返回
image
image

@songquanpeng
Copy link
Owner

songquanpeng commented Apr 28, 2023 via email

@lmuiotctf
Copy link
Author

lmuiotctf commented Apr 28, 2023

这个确实,接口返回放充值链接不得行,期待下次优化!
希望实现:
站点名字支持后台配置

@songquanpeng
Copy link
Owner

这个确实,接口返回放充值链接不得行,期待下次优化! 希望实现: 站点名字支持后台配置

新需求请单开一个 issue,不然不方便我归档。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
enhancement New feature or request
Projects
None yet
Development

No branches or pull requests

3 participants