LLM_VISION_IMAGE_USE_BASE64=1 是否会导致tokens的大量消耗?
#6731
SAnBlog
started this conversation in
General | 讨论
Replies: 1 comment 3 replies
-
|
上传图片的会走专门的图片token计算逻辑，和base64上传/url上传没有区别 |
Beta Was this translation helpful? Give feedback.
3 replies
-
那url上传的优势是什么? |
Beta Was this translation helpful? Give feedback.
-
|
base64 上传会有接口请求流量的开销。比如你传一张 10M 的 base64 图片到服务商，如果是后端传输，那么就会产生 10m 的出口流量。如果你的出口流量有带宽限制，比如最多 1m/s ，那么你就会需要等待 10s 才能传完毕。如果是纯 url 的话，那么图片下载逻辑是会在服务商侧完成，一般提供服务的也都是大带宽，速度会比较快。 |
Beta Was this translation helpful? Give feedback.
-
|
明白了感谢解答,对于带宽足够自用的影响不大. |
Beta Was this translation helpful? Give feedback.
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
-
目前Gemini使用OneApi中专无法上传图片,看到可以采用LLM_VISION_IMAGE_USE_BASE64的解决方案,确实解决了问题,但是有个疑问,既然是将图片转成base64,图片的大小转base64后的长度接近,那岂不是2M的一张图片会消耗大量的tokens?
有些模型上下文长度不足1M的能否上传2M的大小?
Beta Was this translation helpful? Give feedback.
All reactions