Skip to content

v1.6.0 - Tokenizer-aware fingerprint probe

Choose a tag to compare

@Vhow123 Vhow123 released this 13 Nov 15:07
· 3 commits to main since this release

v1.6.0 — tokenizer-aware fingerprint probe

指纹检测重写。旧实现给模型打一个百分制「行为分」,但实测它对「是不是真模型」没有信息量:deepseek-v4.1-flash 与 gpt-6-astra 都是 6/6;随机数采样在所有试过的模型上都均匀(熵 2.998 bit,100 个数字各约 7 次,任意两次运行之间 JSD 小于 0.001 bit)。

现在改用两个不依赖模型配合的信号:

身份签名

4 项温度 0 偏好探针(数字、颜色、字母、编程语言),答案先归一到同一个词(蓝色 / blue → blue),再合成摘要。已记录的答案不会被覆盖,所以被换掉的模型仍然可见。某一个探针跨运行给出不同答案时,记入 volatile 并退出比对——单项漂移是探针不稳,不是换了模型;两项以上同时变才判「身份已变化」。与本地记录过的所有模型比对,签名相同即同一后端。

分词器向量

4 段固定文本,各读回 prompt token 数,减去成对取得的单字符计数,得到分词器自身的计数(服务端模板被抵消)。与 55 个互异向量比对,它们取自 350 个公开版本(modelprint,MIT)。中转站能转发文本,但复现不了它没跑过的词表。

  • 只识别家族,不指认具体型号。
  • 测不准时给「最接近 … · N/4 维不同」,并说明差 1 维多半是撞上路由切换。
  • 一次运行至少保留 3 维、基线成对读取,否则报「分词器计数不足」而不是给出假向量。

速度

默认快速指纹只跑上面 8 个探针并并发执行,实测 303.5 s → 23 s。工具栏勾选「完整指纹」才额外跑 7 项行为探针与 3 次采样(用于可用性与采样分布检查)。

修掉的三处缺陷

  • 分词器探针的回复没有文本,把 meanAnswerBytes 拉向 0。
  • 稳定行的基线 updatedAt 被冻结,按时间淘汰时最常测的模型反而先被清掉。
  • fileStore 的整文件读改写没有串行化,同时测两行会丢一条基线(队列改为按文件路径,而不是按 store 实例)。

验证

  • npm run check 通过,84 项测试全绿,含一个不串行化就必然失败的并发写用例。
  • tk/deepseek-v4.1-flash 与 tk/deepseek-v4.1-flash-1017 实测向量 49/53/62/83,匹配 deepseek;tk/gpt-6-astra 缺一维时同时命中 openai 与 glm,报「无法判断」而不是硬猜。
  • 界面验收通过 CDP 实跑:快速指纹「分词器家族 匹配 · 向量 49/53/62/83 · deepseek/deepseek-v4-flash, deepseek/deepseek-v4-pro」「身份签名 身份一致 · 4/4 确定性探针 · 比对探针 3」「同签名模型 tk/deepseek-v4.1-flash」「总耗时 22.72 s」。