generated from songquanpeng/gin-template
-
-
Notifications
You must be signed in to change notification settings - Fork 4.2k
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
以 token 数为单位计算配额 #33
Labels
enhancement
New feature or request
Comments
有计划的。 |
已实现,不过当前对于 stream 格式的返回,我直接是通过 bytes 数乘以一个系数来估算的,系数之后可以自己配置。 |
已支持配置系数。 |
计算token有开源包可以利用一下 |
已更换 token 计算方式。 |
次数的话保留意义不大,如果一个用户带了很多历史信息,还是只算一次,但是实际消耗的 token 很多。 |
嗯嗯 所以目前情况是:stream:true的时候开启token计算? |
非 stream 模式下 OpenAI 的 API 会直接返回 token 数,不需要自己计算。 |
这个还好吧,他不充值的话下次就没法请求了
…------------------ 原始邮件 ------------------
发件人: ***@***.***>;
发送时间: 2023年4月28日(星期五) 晚上6:50
收件人: ***@***.***>;
抄送: ***@***.***>; "State ***@***.***>;
主题: Re: [songquanpeng/one-api] 以 token 数为单位计算配额 (Issue #33)
可以,但是超了变负数这个应该无法进行控制(哈哈哈哈哈)
—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you modified the open/close state.Message ID: ***@***.***>
|
我感觉不应该在 API 的返回内容里放充值链接吧
…------------------ 原始邮件 ------------------
发件人: ***@***.***>;
发送时间: 2023年4月28日(星期五) 晚上6:53
收件人: ***@***.***>;
抄送: ***@***.***>; "State ***@***.***>;
主题: Re: [songquanpeng/one-api] 以 token 数为单位计算配额 (Issue #33)
对了,好像充值链接时没有在接口进行返回
—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you modified the open/close state.Message ID: ***@***.***>
|
这个确实,接口返回放充值链接不得行,期待下次优化! |
新需求请单开一个 issue,不然不方便我归档。 |
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
由于次数太泛,毕竟有的用户一次返回超级多得字数,所以加入token来计算会,将来会有计划嘛?
The text was updated successfully, but these errors were encountered: