Skip to content

LinkSyncX 0.2.11.10

Choose a tag to compare

@github-actions github-actions released this 01 Nov 12:49
· 36 commits to main since this release

自定义版本:0.2.11.10

Docker 镜像:

docker pull ghcr.io/dreamforsh/linksyncx:0.2.11.10

本版更新

安全:头像上传的解压型拒绝服务

  • 头像上传此前只校验 base64 文本与解码后的大小(100KB),随后直接 image.Decode。体积很小的构造图片可以在解码阶段申请巨量内存或消耗大量 CPU:超大像素画布、WebP 中与画布尺寸不一致的 VP8/VP8L 位流、堆叠几十个扫描的渐进式 JPEG。
    • 现在解码前先做校验:base64 文本长度与解码后字节数都不超过 100KB;单边不超过 4096 像素、总像素不超过 4,194,304;JPEG 扫描数不超过 32。
    • WebP 走 riff 逐块读取,块长度不得超过文件本身,VP8 用 vp8.NewDecoder().DecodeFrameHeader()、VP8L 用 vp8l.DecodeConfig() 取真实位流尺寸,并且必须与 VP8X 画布尺寸一致——image.DecodeConfig 单看时会给出画布尺寸,而 Decode 分配的是位流尺寸,两者可以被拉开。
  • 服务端压缩的工作量也设了上限:先把最长边缩到 512,再按 9 档缩放 × 8 档质量迭代。WebP 不再走服务端重压(VP8L 的 Huffman 表不受像素数约束),超过 20KB 的 WebP 直接返回 AVATAR_WEBP_TOO_LARGE,提示改用 PNG/JPEG/GIF。
  • 前端上传前同样把关:GIF 超过 20KB 或任何图片超过尺寸上限时直接拦下(新文案 profile.avatar.dimensionsTooLarge),其余图片先按最长边 512 归一化再压缩;浏览器不支持 WebP 编码时回退 PNG,文件名扩展名与 MIME 跟随实际产物。
  • OAuth 回填头像被拒绝不再打断整个登录流程:新增的 AVATAR_DIMENSIONS_TOO_LARGE、AVATAR_WEBP_TOO_LARGE、AVATAR_TOO_COMPLEX 与原有头像错误一样按“跳过头像”处理。
  • 影响:超过 20KB 的 WebP 头像不能再上传(前端会先压成 20KB 以内的 WebP,正常路径不受影响);超大尺寸图片会被拒绝,而不是先解码再压缩。

安全:依赖与工具链整改(Dependabot 100 项)

  • Go:go 1.27.3;golang.org/x/{crypto,image,mod,net,sync,term,text,sys,tools}、klauspost/compress 1.18.7、gopsutil v4.26.3 等升到当前修复版;testcontainers-go 0.40 → 0.42 连带引入 moby/moby/api、moby/moby/client 新模块(Container.MappedPort 现在返回 network.Port,取值用 Num())。
  • 前端:移除 xlsx(CVE-2023-30533 原型污染、CVE-2024-22363 ReDoS),管理端“使用记录”导出改用 write-excel-file,输出仍为 .xlsx,列与顺序不变;vue 3.5.44、vue-i18n 11、axios 1.21、dompurify 3.4.17;移除未使用的 @lobehub/icons。
  • 前端工具链:ESLint 8 → 10,改为 flat config(eslint.config.js 取代 .eslintrc.cjs 与 .eslintignore);Vite 5 → 6、Vitest 2 → 4、@vue/test-utils 2.5、@vitest/coverage-v8 4;package.json 锁定 packageManager: pnpm@9.15.9、engines.node: ^22.13.0 || >=24。
  • CI 与镜像:CI 的 Node 20 → 24,与镜像构建阶段原本就在用的 node:24-alpine 对齐;Go 升到 1.27.3(golang:1.27.3-alpine),golangci-lint v2.13 → v2.15。
  • 安全扫描:pnpm audit 从“只看生产依赖、只在高危失败、永远 || true 放行”改为全依赖范围、任何等级都纳入,再由 .github/audit-exceptions.yml 白名单过滤;旧白名单(xlsx、lodash、lodash-es、axios、nanoid)已全部清空。
  • HTTP/2 兼容保留:http2.ConfigureTransports / http2.ConfigureServer 仍按原方式使用(附带 nolint 说明与 keepalive 回归测试),上游连接行为与 h2c 行为未变。

CodeBuddy:上游流卡住时失败切换或结束

  • CodeBuddy 上游只会流式返回,而原始 Chat 中继、Messages / Responses 桥接(scanCCStream)与非流式聚合都用同步 bufio.Scanner 读它,gateway.stream_data_interval_timeout 对它们从未生效。上游吐完 200 后沉默时,客户端和账号会被一起挂住,直到客户端自己放弃。
  • sendCodeBuddyUpstreamRequest 现在给每个成功响应体套一层空闲上限,只统计阻塞在 Read 里的时间:客户端取字节慢不会被误判成上游沉默。超时后关闭 body(传输层取消请求),Scanner 解锁,读取以类型化的空闲错误结束;该错误刻意不包装 context.Canceled,以免被当成客户端中断。计时器自续期、不起额外 goroutine,Close 停止。
  • 卡住之后的处理:
    • 客户端还没收到任何内容(Chat、Messages、Responses 或仍在聚合的非流式请求):账号冷却 2 分钟,网关流超时策略识别为超时,返回 502 UpstreamFailoverError、code stream_timeout,由 handler 换账号重试。
    • 已经开始输出:同样冷却 2 分钟,流以类型化错误 stream_timeout 结束,用量标记为不完整。Chat 收到 handler 的错误帧,Messages 以 Anthropic error 事件结束、Responses 以 response.failed 结束,都标记为已提交并计入 SLA 失败。
    • 原始 Chat 中继读到 EOF:如果 [DONE]、usage 或 finish_reason 已经到达,此次关闭视为正常结束,不冷却。
  • 超时取值:gateway.stream_data_interval_timeout 有值时按该值(默认 180 秒);设为 0 时 CodeBuddy 与 Grok 一样仍有上限,但取 300 秒而非 180 秒——上游不发心跳,只在排队与 prefill 阶段沉默,300 秒是设置项允许的最大值,也是 codebuddy2api 对同一上游采用的按次读超时。其他平台不受影响。

CodeBuddy:减少首 token 之前的网关耗时

  • 长对话里请求在真正发往上游前会花掉几十毫秒:请求体被解码成 map 再编码回去(四轮全量遍历)、系统提示每轮过六条大小写不敏感正则、若干查找要把整段重放历史再扫一遍。本版把这些路径改掉,出站请求体与请求头逐字节不变。
  • 具体改动与实测(同机、stub 上游、5 次交错取中位数):
    • PrepareChat 在 json.Valid 后一趟切分,直接写出排序压缩后的请求体;需要转义的键与含 U+2028/U+2029 的值回退到 encoding/json。PrepareChatBody:64 KB 2.44 → 0.24 ms,512 KB 6.69 → 1.37 ms,2 MB 21.5 → 4.95 ms。
    • 脱敏对文本里不存在的字面量直接跳过对应正则(除非含零宽空格),并按系统提示做有界 LRU 记忆(256 条、32 MB)。重复的 12 KB 系统提示从每轮约 2 ms 变成一次查表。
    • 上游模型名改为由 PrepareChat 直接给出。此前要等上游响应之后、转发第一字节之前再 gjson 搜一遍改写后的请求体(2 MB 档约 0.5 ms)。
    • X-Conversation-ID 的遍历改为遇到第一条 user 消息即停,不再先解析整段历史(2 MB 档约 2.5 ms)。
    • Chat 转发到 CodeBuddy 时不再为设置 stream_options 重写整个请求体(PrepareChat 本来就会覆盖);stream_options 为数组时仍以同样的 sjson 错误失败。
    • Responses→Chat 桥接复用调用方已算出的 EffectiveResponsesTools,不再二次解码输入历史;其余 Responses→Chat 回退路径一并受益。
    • streamRawChatCompletions 在输出开始后停止喂静默拒答检测器(此后无人读取)。每个转发事件 4.70 → 2.68 µs、9 → 6 次分配。
  • 上游调用前的网关耗时:
    • chat:64 KB 2.79 → 0.55 ms,512 KB 8.82 → 2.81 ms,2 MB 28.3 → 10.1 ms
    • messages:64 KB 3.62 → 1.57 ms,512 KB 15.3 → 9.51 ms,2 MB 51.7 → 34.6 ms
    • responses:64 KB 6.61 → 3.29 ms,512 KB 37.9 → 24.0 ms,2 MB 138.7 → 93.7 ms

其他

  • 修复上版依赖升级遗漏的一处集成测试编译错误:testcontainers-go 0.42 的 MappedPort 返回 network.Port,认证限流集成测试仍在调用 Int(),导致 internal/server/routes 测试包编译失败、CI 的集成测试 job 在构建阶段就退出。现改用 Num(),与本仓库另外两处调用一致。

升级说明

  • 本版没有新增数据库迁移,无需额外操作。
  • 头像限制变化:超过 20KB 的 WebP 头像会被拒绝(AVATAR_WEBP_TOO_LARGE),超过 4096 像素单边或 4,194,304 总像素的图片会被拒绝(AVATAR_DIMENSIONS_TOO_LARGE),扫描数超过 32 的 JPEG 会被拒绝(AVATAR_TOO_COMPLEX)。正常从网页上传不受影响,前端会先归一化并压到 20KB 以内;直接调接口写入 base64 的脚本需要自行压缩。
  • 使用记录导出的 .xlsx 由 write-excel-file 生成:表头仍是第一行、列与顺序不变,token 数、耗时等数值列仍是数字单元格,金额列仍是 6 位小数的字符串。
  • CodeBuddy 的流式请求现在受 gateway.stream_data_interval_timeout 约束;本项设为 0 时 CodeBuddy 仍取 300 秒上限(Grok 为 180 秒)。若某些超长 prefill 场景被误判为卡住,可把该设置调大(上限 300 秒)。
  • 自行构建:Go 1.27.3;前端需要 Node ^22.13.0 或 >=24 与 pnpm 9.15.9,ESLint 走 flat config(pnpm lint 无需额外参数)。
  • Docker 镜像的 Go 构建阶段升到 golang:1.27.3-alpine,Node 构建阶段仍是 node:24-alpine。

完整变更:custom-v0.2.11.9...custom-v0.2.11.10