一个 Agent 只能配置一个 Runtime 的架构是不是缺乏灵活性?我在考虑如果一个套餐额度用光想换一个可能会比较麻烦? #6618
HuAzurestar
started this conversation in
General
Replies: 3 comments 1 reply
|
我觉得除了 Agent 分组配置之外,可以考虑增加 Runtime 多实例配置的能力。 目前 Agent 和 Runtime 的关系更像是 1:1,如果 Runtime 出现额度耗尽、不可用或者模型限制时,整个 Agent 任务可能直接停摆。 是否可以支持一个 Runtime Pool 的概念:
这样 Agent 本身只关注任务逻辑,Runtime 层负责资源调度。 另外,如果 Agent 数量比较多,Runtime Pool 也可以和 Agent Group 结合:
感觉这样比每个 Agent 单独配置 Runtime 更容易规模化管理,类似 Kubernetes 里面的资源调度思路。 |
1 reply
|
一个个点开真的是太难受了,本质上有区分度的,还是每一个 Agent 的 prompt 指令配置,模型我其实时不时想换一换其他的,无论是想感受一下每个模型的特别之处,还是在额度用完之后必须切换的时候,额度恢复还得再换回去,真的很麻烦 |
0 replies
|
额度耗尽问题,这个不算是Multica的职责,应该是中转站本身要做到多供应商切换,或者自行部署支持多供应商、多中转站的代理服务 |
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
如题。runtime 本质是电脑,配置模型在 agent 里面配置,如果agent 比较多的情况下,配置模型甚至 CLI 参数,需要一个个点开。目前套餐多是月为单位重置额度,可能会导致停摆。目前我们在考虑,多个 agent 副本做同一个事情来减少处理,但是显然,这样子 agent 太多会难以管理。 可否:(A)Agent 分组/分标签,可以按组/标签统一配置 Runtime、模型、CLI 参数 等。(B)能否 Agent 配置多个 Runtime、模型、CLI 参数 等,如果出现 额度问题自行切换。
All reactions