K8S上如何分布式多节点部署deerflow,StreamBridge支持分布式或跨POD消费吗

[igreek]

K8S上如何分布式多节点部署deerflow,StreamBridge支持分布式或跨POD消费吗

[hyeonsang010716]

以下基于当前 main（5b0ef62）核对，分两部分回答。

1. StreamBridge 支持跨 Pod 吗？

支持，但要用 redis 类型；memory 只适用于单进程。

stream_bridge:
  type: redis
  redis_url: redis://redis:6379/0   # 也可以用环境变量 DEER_FLOW_STREAM_BRIDGE_REDIS_URL

Redis 版用 Redis Streams 保存每个 run 的事件。客户端连到任意一个 Gateway Pod 都能收到实时事件，断线后可以用 Last-Event-ID 续传。缓冲区按 queue_maxsize 截断，超出窗口时会收到 SSE gap 事件，前端会重新加载线程状态。（config.example.yaml）

需要注意：StreamBridge 共享的是事件投递，不是任务调度。run 本身仍然在创建它的那个 worker 进程内执行，并不是分布式任务队列。（README）

2. K8s 多节点部署

建议从官方 Helm chart deploy/helm/deer-flow 开始。它包含 gateway / frontend / nginx / provisioner / postgres / redis，默认已配置 stream_bridge.type: redis，并注入 DEER_FLOW_STREAM_BRIDGE_REDIS_URL。

关于 Gateway 多副本： chart 默认 gateway.replicas: 1，chart README 里仍然写着“暂不要超过 1”，理由是 #3948 的 run 控制问题（去重、取消、孤儿回收）。不过 #3948 已于 7 月关闭，相关修复 #4003（跨进程原子创建 + lease 回收）、#4064、#4500（任意 worker 都能取消）已合入 main，主 README 也写明了多 worker 的要求。chart 文档还没有同步更新，所以如果要上多副本，请先在自己的环境里充分验证。

多副本需要同时满足以下条件（README、CONFIGURATION.md）：

database:
  backend: postgres
  postgres_url: $DATABASE_URL
checkpointer:              # 多副本必需，LangGraph Store 不会回退到 database
  type: postgres
  connection_string: $DATABASE_URL
stream_bridge:
  type: redis
run_events:
  backend: db
run_ownership:
  heartbeat_enabled: true
agent_storage:
  backend: db              # 否则自定义 agent 只写在单个节点的磁盘上

几个容易踩的坑：

• 启动检查不会帮你兜底。 这些前提的启动校验只读取 GATEWAY_WORKERS 环境变量（deps.py）。Helm 里每个 Pod 都是 --workers 1，所以通过 replicas 扩容时校验不会触发，配置漏了也不会报错，需要自己确认。
• 节点时钟要同步。 run lease 会跨节点比较 UTC 时间戳，偏差超过 grace_seconds（默认 10 秒）可能把仍在运行的 run 误判为孤儿（config.example.yaml）。
• 取消有延迟。 落在非 owner Pod 上的取消请求会先持久化，等 owner 续租时再执行，延迟上限约为一次心跳间隔。
• 多节点用 RWX 存储。 .deer-flow 的 PVC 默认是 ReadWriteOnce，跨节点需要 ReadWriteMany（如 NFS），否则其他节点上的 sandbox Pod 挂载不了（chart README）。
• 仍是进程内的功能： 浏览器工具组要求单 worker；IM 渠道状态等进程内服务需要自行协调；如果启用定时任务，还要设置 scheduler.multi_instance: true。

如果只是想先扩容，最稳妥的做法是：Gateway 保持 1 个副本，让 sandbox 分布到多个节点。provisioner 会为每个 sandbox 单独创建 Pod + Service（provisioner），由 K8s 调度到各节点。