Repository navigation
v1.6.0 - Tokenizer-aware fingerprint probe
v1.6.0 — tokenizer-aware fingerprint probe
指纹检测重写。旧实现给模型打一个百分制「行为分」,但实测它对「是不是真模型」没有信息量:deepseek-v4.1-flash 与 gpt-6-astra 都是 6/6;随机数采样在所有试过的模型上都均匀(熵 2.998 bit,100 个数字各约 7 次,任意两次运行之间 JSD 小于 0.001 bit)。
现在改用两个不依赖模型配合的信号:
身份签名
4 项温度 0 偏好探针(数字、颜色、字母、编程语言),答案先归一到同一个词(蓝色 / blue → blue),再合成摘要。已记录的答案不会被覆盖,所以被换掉的模型仍然可见。某一个探针跨运行给出不同答案时,记入 volatile 并退出比对——单项漂移是探针不稳,不是换了模型;两项以上同时变才判「身份已变化」。与本地记录过的所有模型比对,签名相同即同一后端。
分词器向量
4 段固定文本,各读回 prompt token 数,减去成对取得的单字符计数,得到分词器自身的计数(服务端模板被抵消)。与 55 个互异向量比对,它们取自 350 个公开版本(modelprint,MIT)。中转站能转发文本,但复现不了它没跑过的词表。
- 只识别家族,不指认具体型号。
- 测不准时给「最接近 … · N/4 维不同」,并说明差 1 维多半是撞上路由切换。
- 一次运行至少保留 3 维、基线成对读取,否则报「分词器计数不足」而不是给出假向量。
速度
默认快速指纹只跑上面 8 个探针并并发执行,实测 303.5 s → 23 s。工具栏勾选「完整指纹」才额外跑 7 项行为探针与 3 次采样(用于可用性与采样分布检查)。
修掉的三处缺陷
- 分词器探针的回复没有文本,把
meanAnswerBytes拉向 0。 - 稳定行的基线
updatedAt被冻结,按时间淘汰时最常测的模型反而先被清掉。 fileStore的整文件读改写没有串行化,同时测两行会丢一条基线(队列改为按文件路径,而不是按 store 实例)。
验证
npm run check通过,84 项测试全绿,含一个不串行化就必然失败的并发写用例。tk/deepseek-v4.1-flash与tk/deepseek-v4.1-flash-1017实测向量49/53/62/83,匹配 deepseek;tk/gpt-6-astra缺一维时同时命中 openai 与 glm,报「无法判断」而不是硬猜。- 界面验收通过 CDP 实跑:快速指纹「分词器家族 匹配 · 向量 49/53/62/83 · deepseek/deepseek-v4-flash, deepseek/deepseek-v4-pro」「身份签名 身份一致 · 4/4 确定性探针 · 比对探针 3」「同签名模型 tk/deepseek-v4.1-flash」「总耗时 22.72 s」。