Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

部署渠道请求:Vercel部署方式可以嘛 #26

Open
tiwentichat opened this issue Apr 22, 2023 · 5 comments
Open

部署渠道请求:Vercel部署方式可以嘛 #26

tiwentichat opened this issue Apr 22, 2023 · 5 comments

Comments

@tiwentichat
Copy link

大佬,可以加一个vercel部署方式嘛

@LiangYang666
Copy link
Owner

之前在一个分支上有尝试适配,重构了蛮多,但存在一些问题,后面论文25号送审了继续着手做这一块

@tiwentichat
Copy link
Author

之前在一个分支上有尝试适配,重构了蛮多,但存在一些问题,后面论文25号送审了继续着手做这一块

感谢!期待!

@LiangYang666
Copy link
Owner

先说结论,没法实现部署到vercel上

之前有尝试过重构代码部署到vercel上,分支名为deploy_on_vercel,只能回答一些极短的问题且不会流式显示,问的问题一旦复杂就会出现超时错误

今天仔细看了下相关文档,vercel的severless function虽然支持Python后端,但是不支持流式http传输,且个人免费版本仅提供5秒的接口处理时间,而gpt的api的回复往往会超过这个时间因此会超时

vercel的edge function支持流式传输,但是目前看到好像仅支持node.js的后端,官方未给出Python后端如何开启edge function

因此,该仓库目前没有办法正常部署到vercel上,api的回答一旦变长,vercel会出现超时调用而停止

@tiwentichat
Copy link
Author

先说结论,没法实现部署到vercel上

之前有尝试过重构代码部署到vercel上,分支名为deploy_on_vercel,只能回答一些极短的问题且不会流式显示,问的问题一旦复杂就会出现超时错误

今天仔细看了下相关文档,vercel的severless function虽然支持Python后端,但是不支持流式http传输,且个人免费版本仅提供5秒的接口处理时间,而gpt的api的回复往往会超过这个时间因此会超时

vercel的edge function支持流式传输,但是目前看到好像仅支持node.js的后端,官方未给出Python后端如何开启edge function

因此,该仓库目前没有办法正常部署到vercel上,api的回答一旦变长,vercel会出现超时调用而停止

昂,我也是了一下确实不好搞。感谢大佬回复!

@zhugezifang
Copy link

websocket 方式试过吗

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants