支持本地模型以增强安全性 #12
weipeng1999
started this conversation in
Ideas
Replies: 1 comment
|
鎰熻阿杩欐潯寤鸿鈥斺€斻€屽鏌ュ櫒蹇呴』涓庝富鏅鸿兘浣撳悓 provider銆嶇‘瀹炴槸褰撳墠瀹炵幇鐨勪竴涓湡瀹炵害鏉燂紝浣犲垪鐨勪笁涓棝鐐归兘鎴愮珛锛堟晱鎰熶俊鎭笉鑳界暀鍦ㄦ湰鍦般€佷簯妯″瀷鍋?allow/deny 鐨勬垚鏈€乸rovider 鏁呴殰杩炲甫闃诲鎵€鏈夊伐鍏锋墽琛岋級锛屽叾涓€屽伐鍏风粨鏋滃湪鎺堟潈鍓嶅厛缁忔湰鍦版ā鍨嬭瘎浼般€嶄笌 dsh-auto-review 鐨勮璁$洰鏍囧畬鍏ㄤ竴鑷淬€? |
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
需要解决的问题
当前 auto-reviewer 子智能体必须使用与主智能体相同的 LLM provider。这带来以下安全和成本问题:
无法实现本地/隔离审查:有严格安全策略的组织无法使用 AI 驱动的代码审查,因为他们无法保证敏感信息留在本地。
成本低效:审查器评估每次工具调用,但不需要与主智能体相同等级的模型能力。用昂贵的云模型做简单的 allow/deny 决策是浪费。
单点故障:如果主智能体的 LLM provider 宕机或被限速,审查器也会失败,阻塞所有工具执行。
缺失的能力:一种将审查器路由到本地自托管模型(如通过 litellm 代理、Ollama 或 LM Studio)的方式,同时主智能体继续使用云 provider。
预期行为
用户应能配置审查器使用独立的 LLM provider。
配置示例:
效果:
<云 provider 的某个模型>litellm/qwen3.5-9B-nothink(本地、隔离)安全收益:工具调用将返回的敏感数据(文件内容、API 密钥、凭据)在执行授权之前由审查模型进行评估。
补充信息
spawn后端创建无父会话上下文的新会话All reactions