[讨论] torch rollout 下 GRPO/CISPO 的 importance ratio 恒等于 1，clip 分支从不生效

[a0917-cell]

读 trainer/train_grpo.py 时发现的一个现象，先说结论：在默认的 --rollout_engine torch 路径下，importance ratio 位元级恒等于 1，所以 PPO clip 与 CISPO 的 clamp 都不会生效，--loss_type 这个开关也没有任何作用。 实际优化的目标等价于带 KL 惩罚的 REINFORCE。

这不是 bug（数学上仍然是正确的 on-policy 更新），但它和代码读起来的样子不一样，对照着学 GRPO/CISPO 的人容易误以为自己看到的 clip 在起作用，所以想提出来讨论一下。

为什么恒等于 1

TorchRolloutEngine.rollout() 里的 old_per_token_logps 是用当前这组权重、在同一次调用中算出来的（compute_per_token_logps(self.policy_model, ...)），而 optimizer.step() 发生在之后。所以到 ratio = torch.exp(per_token_logps - old_per_token_logps) 这一行时，分子分母来自同一组权重、同一段输入。

--accumulation_steps 也不改变这一点：权重只在 step 边界更新，而 old_logps 是每个 batch 重新算的，窗口内两者始终同步。rollout_engine.update_policy(model) 对 torch 引擎而言只是把同一个对象重新绑定一次。

实测

RTX A2000 12GB，bf16 autocast，num_generations=6、max_new_tokens=32，走仓库自己的 TorchRolloutEngine：

dropout=0.0 train=True : max|log_ratio| = 0.000e+00   ratio ∈ [1.000000, 1.000000]   PPO-clip 触发 0.0%    CISPO clamp(max=5) 触发 0.0%
dropout=0.1 train=True : max|log_ratio| = 1.840e+00   ratio ∈ [0.158813, 5.495078]   PPO-clip 触发 75.5%   CISPO clamp(max=5) 触发 0.3%
dropout=0.1 train=False: max|log_ratio| = 0.000e+00   ratio ∈ [1.000000, 1.000000]   PPO-clip 触发 0.0%    CISPO clamp(max=5) 触发 0.0%

MiniMindConfig 默认 dropout=0.0，所以默认就是第一行：不是「近似为 1」，是差值精确为 0。

第二行更值得注意：dropout>0 确实能让 ratio 散开，但散开的原因是两次 forward 抽到了不同的 dropout mask，而不是策略发生了位移。此时 clip 在 75.5% 的 token 上被触发，触发的理由却是噪声——这比恒等于 1 更容易误导。

三种 loss 的梯度是同一个

把 train_grpo.py 里两个分支照抄出来，在 ratio ≡ 1 的前提下比较对 per_token_logps 的梯度：

grad(cispo) vs grad(grpo)      : max abs diff = 0.000e+00
grad(cispo) vs grad(REINFORCE) : max abs diff = 0.000e+00
grad(grpo)  vs grad(REINFORCE) : max abs diff = 0.000e+00

CISPO 相对 GRPO 的核心差别，是对 ratio 很大的 token 保留梯度而不是把它裁成 0；ratio 恒为 1 时这个差别无从体现。

对照：train_ppo.py 里 clip 是真的在工作

同一个仓库里 PPO 那支有 --ppo_update_iters 外加 minibatch 内循环，第一个 minibatch 更新之后权重就和 old_resp_logp 分离了，所以 clip 与 clipfrac 都有意义——代码里甚至已经有 --debug_log_ratio 专门盯这个量。GRPO 这支缺的正是这个内循环开关。

--rollout_engine sglang 是另一种情况：权重要靠 update_policy() 落盘再让 SGLang 重载，而这个调用只在 step % save_interval == 0（默认 10）时发生，所以那条路径上 ratio 确实不为 1，但落后的步数是被 save_interval 顺带决定的，不太像是有意设计的 off-policy 程度。（这一段是读代码得到的，没有实跑 SGLang。）

想讨论的方向

1. 给 GRPO 也加一个类似 --ppo_update_iters 的内循环开关？一份 rollout 更新多次，clip 才有约束对象，也顺带提高样本利用率。
2. 或者维持现状，但在 README 的 GRPO 章节 / 代码注释里点明：当前默认是严格 on-policy 单次更新，clip 与 --loss_type 是为可扩展性保留的结构。教程性质的仓库里，这句话可能比代码本身更重要。
3. 顺带一提，dropout > 0 与 ratio 的相互作用建议也写一句——它不会修复恒等，只会把噪声灌进 importance ratio。

复现

import sys, torch, torch.nn.functional as F
sys.path.insert(0, '.')
from transformers import AutoTokenizer
from model.model_minimind import MiniMindConfig, MiniMindForCausalLM
from trainer.rollout_engine import TorchRolloutEngine

dev, tok = 'cuda', AutoTokenizer.from_pretrained('./model')
model = MiniMindForCausalLM(MiniMindConfig(dropout=0.0)).to(dev)
ctx = torch.cuda.amp.autocast(dtype=torch.bfloat16)
engine = TorchRolloutEngine(model, tok, dev, ctx)
pi = tok(["你好，请介绍一下你自己。", "1+1等于几？"], return_tensors="pt", padding=True,
         padding_side="left", add_special_tokens=False, return_token_type_ids=False).to(dev)
r = engine.rollout(pi["input_ids"], pi["attention_mask"], num_generations=6, max_new_tokens=32, temperature=0.8)
out, old = r.output_ids, r.per_token_logps.to(dev).detach()
pos = r.prompt_lens.to(dev).unsqueeze(1) - 1 + torch.arange(r.completion_ids.size(1), device=dev).unsqueeze(0)
with ctx:
    logits = model(out, attention_mask=(out != tok.pad_token_id).long()).logits[:, :-1, :]
    new = F.log_softmax(logits, dim=-1).gather(2, out[:, 1:].unsqueeze(-1)).squeeze(-1).gather(1, pos)
print((new - old).abs().max().item())   # -> 0.0

[mira687]

sglang 路径上 ratio ≠ 1 还有一个和 save_interval 无关的来源：temperature。

rollout 用 temperature=0.8 采样，而 SGLang 当前 main 的 sampler.py 默认返回的是 logits 除以 temperature 之后的 logprob（设了 SGLANG_RETURN_ORIGINAL_LOGPROB=1 才返回原始值）。train_grpo.py 里的 per_token_logps 则是对原始 logits 直接 log_softmax。所以即使刚 update_policy() 完、权重完全一致，ratio 也是 π(T=1)/π(T=0.8)，再叠加两套 kernel 的数值差。

和你写的 dropout 那条是同一类：clip 触发的理由是 temperature，不是策略位移，同一个 --loss_type 在 torch 和 sglang 两个引擎下给出的梯度权重也就不一样。TRL 是在训练侧把 logits 也除以 temperature 来对齐的。这段同样只是读代码，没跑 SGLang。

另外，方向 2 可以直接引 DeepSeekMath 原文的 GRPO 训练设置："The policy model only has a single update following each exploration stage." torch 默认路径就是论文本身的设定。