聊聊 orca 里大家跑长任务时的体感——并发、模型轮换、可观测这几块够用吗? #14990
Apageoflove
started this conversation in
Ideas
Replies: 0 comments
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
最近在 orca 上跑了一些多步骤、跨工具的长任务(web 抓取 + 文件处理 + 调 LLM),把体感集中抛一下:
并发:现在 orca 默认并发好像是 4?长任务一旦里头嵌套调 LLM,CPU/内存就上去了。有没有人压测过更高并发(比如 8/16/32)的稳定性?是不是有现成的 config 项可以调?
模型轮换:现在切换 provider/anthropic↔openai 看着是手动的,挂了之后能不能自动 fallback?比如 anthropic 429 了,能自动切到 openai 吗?这块社区有没有现成的 pattern 大家都这么干?
可观测:现在 trace 在 orca 里能看到,但要不要把 span 也吐到 otel/loki 之类的?这条主要是想问问大家怎么监控生产里的 orca agent。
我自己之前在 orca 上提过一个小 PR(#14226 Continue CLI 文档链接修复),所以对 orca 的栈比较熟。大家回个声就行:
不催 roadmap、不抢 maintainers 的事,就是把社区里日常踩到的点汇总一下,方便后面一起推进。
All reactions