Repository navigation
LinkSyncX 0.2.11.10
·
36 commits
to main
since this release
自定义版本:0.2.11.10
Docker 镜像:
docker pull ghcr.io/dreamforsh/linksyncx:0.2.11.10本版更新
安全:头像上传的解压型拒绝服务
- 头像上传此前只校验 base64 文本与解码后的大小(100KB),随后直接
image.Decode。体积很小的构造图片可以在解码阶段申请巨量内存或消耗大量 CPU:超大像素画布、WebP 中与画布尺寸不一致的 VP8/VP8L 位流、堆叠几十个扫描的渐进式 JPEG。- 现在解码前先做校验:base64 文本长度与解码后字节数都不超过 100KB;单边不超过 4096 像素、总像素不超过 4,194,304;JPEG 扫描数不超过 32。
- WebP 走
riff逐块读取,块长度不得超过文件本身,VP8 用vp8.NewDecoder().DecodeFrameHeader()、VP8L 用vp8l.DecodeConfig()取真实位流尺寸,并且必须与 VP8X 画布尺寸一致——image.DecodeConfig单看时会给出画布尺寸,而Decode分配的是位流尺寸,两者可以被拉开。
- 服务端压缩的工作量也设了上限:先把最长边缩到 512,再按 9 档缩放 × 8 档质量迭代。WebP 不再走服务端重压(VP8L 的 Huffman 表不受像素数约束),超过 20KB 的 WebP 直接返回
AVATAR_WEBP_TOO_LARGE,提示改用 PNG/JPEG/GIF。 - 前端上传前同样把关:GIF 超过 20KB 或任何图片超过尺寸上限时直接拦下(新文案
profile.avatar.dimensionsTooLarge),其余图片先按最长边 512 归一化再压缩;浏览器不支持 WebP 编码时回退 PNG,文件名扩展名与 MIME 跟随实际产物。 - OAuth 回填头像被拒绝不再打断整个登录流程:新增的
AVATAR_DIMENSIONS_TOO_LARGE、AVATAR_WEBP_TOO_LARGE、AVATAR_TOO_COMPLEX与原有头像错误一样按“跳过头像”处理。 - 影响:超过 20KB 的 WebP 头像不能再上传(前端会先压成 20KB 以内的 WebP,正常路径不受影响);超大尺寸图片会被拒绝,而不是先解码再压缩。
安全:依赖与工具链整改(Dependabot 100 项)
- Go:
go 1.27.3;golang.org/x/{crypto,image,mod,net,sync,term,text,sys,tools}、klauspost/compress 1.18.7、gopsutil v4.26.3等升到当前修复版;testcontainers-go 0.40 → 0.42连带引入moby/moby/api、moby/moby/client新模块(Container.MappedPort现在返回network.Port,取值用Num())。 - 前端:移除
xlsx(CVE-2023-30533 原型污染、CVE-2024-22363 ReDoS),管理端“使用记录”导出改用write-excel-file,输出仍为.xlsx,列与顺序不变;vue 3.5.44、vue-i18n 11、axios 1.21、dompurify 3.4.17;移除未使用的@lobehub/icons。 - 前端工具链:ESLint 8 → 10,改为 flat config(
eslint.config.js取代.eslintrc.cjs与.eslintignore);Vite 5 → 6、Vitest 2 → 4、@vue/test-utils 2.5、@vitest/coverage-v8 4;package.json锁定packageManager: pnpm@9.15.9、engines.node: ^22.13.0 || >=24。 - CI 与镜像:CI 的 Node 20 → 24,与镜像构建阶段原本就在用的
node:24-alpine对齐;Go 升到 1.27.3(golang:1.27.3-alpine),golangci-lintv2.13 → v2.15。 - 安全扫描:
pnpm audit从“只看生产依赖、只在高危失败、永远|| true放行”改为全依赖范围、任何等级都纳入,再由.github/audit-exceptions.yml白名单过滤;旧白名单(xlsx、lodash、lodash-es、axios、nanoid)已全部清空。 - HTTP/2 兼容保留:
http2.ConfigureTransports/http2.ConfigureServer仍按原方式使用(附带nolint说明与 keepalive 回归测试),上游连接行为与 h2c 行为未变。
CodeBuddy:上游流卡住时失败切换或结束
- CodeBuddy 上游只会流式返回,而原始 Chat 中继、Messages / Responses 桥接(
scanCCStream)与非流式聚合都用同步bufio.Scanner读它,gateway.stream_data_interval_timeout对它们从未生效。上游吐完 200 后沉默时,客户端和账号会被一起挂住,直到客户端自己放弃。 sendCodeBuddyUpstreamRequest现在给每个成功响应体套一层空闲上限,只统计阻塞在Read里的时间:客户端取字节慢不会被误判成上游沉默。超时后关闭 body(传输层取消请求),Scanner 解锁,读取以类型化的空闲错误结束;该错误刻意不包装context.Canceled,以免被当成客户端中断。计时器自续期、不起额外 goroutine,Close停止。- 卡住之后的处理:
- 客户端还没收到任何内容(Chat、Messages、Responses 或仍在聚合的非流式请求):账号冷却 2 分钟,网关流超时策略识别为超时,返回 502
UpstreamFailoverError、codestream_timeout,由 handler 换账号重试。 - 已经开始输出:同样冷却 2 分钟,流以类型化错误
stream_timeout结束,用量标记为不完整。Chat 收到 handler 的错误帧,Messages 以 Anthropic error 事件结束、Responses 以response.failed结束,都标记为已提交并计入 SLA 失败。 - 原始 Chat 中继读到 EOF:如果
[DONE]、usage 或finish_reason已经到达,此次关闭视为正常结束,不冷却。
- 客户端还没收到任何内容(Chat、Messages、Responses 或仍在聚合的非流式请求):账号冷却 2 分钟,网关流超时策略识别为超时,返回 502
- 超时取值:
gateway.stream_data_interval_timeout有值时按该值(默认 180 秒);设为 0 时 CodeBuddy 与 Grok 一样仍有上限,但取 300 秒而非 180 秒——上游不发心跳,只在排队与 prefill 阶段沉默,300 秒是设置项允许的最大值,也是codebuddy2api对同一上游采用的按次读超时。其他平台不受影响。
CodeBuddy:减少首 token 之前的网关耗时
- 长对话里请求在真正发往上游前会花掉几十毫秒:请求体被解码成 map 再编码回去(四轮全量遍历)、系统提示每轮过六条大小写不敏感正则、若干查找要把整段重放历史再扫一遍。本版把这些路径改掉,出站请求体与请求头逐字节不变。
- 具体改动与实测(同机、stub 上游、5 次交错取中位数):
PrepareChat在json.Valid后一趟切分,直接写出排序压缩后的请求体;需要转义的键与含 U+2028/U+2029 的值回退到encoding/json。PrepareChatBody:64 KB 2.44 → 0.24 ms,512 KB 6.69 → 1.37 ms,2 MB 21.5 → 4.95 ms。- 脱敏对文本里不存在的字面量直接跳过对应正则(除非含零宽空格),并按系统提示做有界 LRU 记忆(256 条、32 MB)。重复的 12 KB 系统提示从每轮约 2 ms 变成一次查表。
- 上游模型名改为由
PrepareChat直接给出。此前要等上游响应之后、转发第一字节之前再 gjson 搜一遍改写后的请求体(2 MB 档约 0.5 ms)。 X-Conversation-ID的遍历改为遇到第一条 user 消息即停,不再先解析整段历史(2 MB 档约 2.5 ms)。- Chat 转发到 CodeBuddy 时不再为设置
stream_options重写整个请求体(PrepareChat本来就会覆盖);stream_options为数组时仍以同样的 sjson 错误失败。 - Responses→Chat 桥接复用调用方已算出的
EffectiveResponsesTools,不再二次解码输入历史;其余 Responses→Chat 回退路径一并受益。 streamRawChatCompletions在输出开始后停止喂静默拒答检测器(此后无人读取)。每个转发事件 4.70 → 2.68 µs、9 → 6 次分配。
- 上游调用前的网关耗时:
- chat:64 KB 2.79 → 0.55 ms,512 KB 8.82 → 2.81 ms,2 MB 28.3 → 10.1 ms
- messages:64 KB 3.62 → 1.57 ms,512 KB 15.3 → 9.51 ms,2 MB 51.7 → 34.6 ms
- responses:64 KB 6.61 → 3.29 ms,512 KB 37.9 → 24.0 ms,2 MB 138.7 → 93.7 ms
其他
- 修复上版依赖升级遗漏的一处集成测试编译错误:
testcontainers-go 0.42的MappedPort返回network.Port,认证限流集成测试仍在调用Int(),导致internal/server/routes测试包编译失败、CI 的集成测试 job 在构建阶段就退出。现改用Num(),与本仓库另外两处调用一致。
升级说明
- 本版没有新增数据库迁移,无需额外操作。
- 头像限制变化:超过 20KB 的 WebP 头像会被拒绝(
AVATAR_WEBP_TOO_LARGE),超过 4096 像素单边或 4,194,304 总像素的图片会被拒绝(AVATAR_DIMENSIONS_TOO_LARGE),扫描数超过 32 的 JPEG 会被拒绝(AVATAR_TOO_COMPLEX)。正常从网页上传不受影响,前端会先归一化并压到 20KB 以内;直接调接口写入 base64 的脚本需要自行压缩。 - 使用记录导出的
.xlsx由write-excel-file生成:表头仍是第一行、列与顺序不变,token 数、耗时等数值列仍是数字单元格,金额列仍是 6 位小数的字符串。 - CodeBuddy 的流式请求现在受
gateway.stream_data_interval_timeout约束;本项设为 0 时 CodeBuddy 仍取 300 秒上限(Grok 为 180 秒)。若某些超长 prefill 场景被误判为卡住,可把该设置调大(上限 300 秒)。 - 自行构建:Go 1.27.3;前端需要 Node
^22.13.0或>=24与 pnpm 9.15.9,ESLint 走 flat config(pnpm lint无需额外参数)。 - Docker 镜像的 Go 构建阶段升到
golang:1.27.3-alpine,Node 构建阶段仍是node:24-alpine。