chatgpt 第三阶段代码实现上的疑问

[hust-kevin]

@ht-zhou @binmakeswell 你好，我在看你们chatgpt第三阶段实现的代码，有几个疑问，还请解答

1. 在计算critic的输出时，如下的代码，是获取prompt部分的value结果然后取平均，但是正常来说不应该是获取生成文本那部分的value取平均么

if action_mask is not None:
      num_actions = action_mask.size(1)
      prompt_mask = attention_mask[:, :-num_actions]
      values = values[:, :-num_actions]
      value = masked_mean(values, prompt_mask, dim=1)
      return value

2. 不太理解critic这个模型存在的意义，在训练的时候，对于critic的目标是期望其输出要接近RM模型的输出，但是第二阶段我们已经有一个RM模型可以使用了，为什么还需要额外去训练一个critic去拟合RM模型呢，感觉是多次一举的，另外在整个pipeline里面，没感觉critic对actor的文本生成起到什么作用

class ValueLoss(nn.Module):
    """
    Value Loss for PPO
    """

    def __init__(self, clip_eps: float = 0.4) -> None:
        super().__init__()
        self.clip_eps = clip_eps

    def forward(self,
                values: torch.Tensor,
                old_values: torch.Tensor,
                reward: torch.Tensor,
                action_mask: Optional[torch.Tensor] = None) -> torch.Tensor:
        values_clipped = old_values + (values - old_values).clamp(-self.clip_eps, self.clip_eps)
        surr1 = (values_clipped - reward)**2
        surr2 = (values - reward)**2
        loss = torch.max(surr1, surr2)
        loss = loss.mean()
        return loss

3. 为什么计算reward的时候，采用了如下的形式，还需要减去KL散度呢

def compute_reward(r: Union[torch.Tensor, float],
                   kl_coef: float,
                   log_probs: torch.Tensor,
                   log_probs_base: torch.Tensor,
                   action_mask: Optional[torch.Tensor] = None) -> torch.Tensor:
    if kl_coef <= 0.0:
        return r
    kl = compute_approx_kl(log_probs, log_probs_base, action_mask=action_mask)
    reward = r - kl_coef * kl
    return reward

4. 数据搜集的过程是有多次的，请问每次搜集的时候都是使用最开始还没有训练的模型去采集呢，还是后续搜集数据使用的actor是上一次更新好参数之后的模型

[Camille7777]

Hii, @hust-kevin for your first question, it is actually controversial by now about how to define the step and you are welcome to open discuss this here #3047.

[ningshixian]

我表达一下我的看法

1. 应该就是生成文本那部分的value取平均，没问题（num action是生成部分的长度）

2. 存在即合理，critic对actor的文本生成是有影响的：critic输出的 value 值会被用于计算优势 A，而 A 最终会被用于计算损失 J_PPO

3. 为了满足Importance Sampling的使用条件，即防止new_policy 和 old_policy 分布相差太多，PPO提供了两个解决方案，其中一种就是使用KL Penalty 进行惩罚，

4. 后者

[akk-123]

我表达一下我的看法

1. 应该就是生成文本那部分的value取平均，没问题（num action是生成部分的长度）

@ningshixian 为啥你的代码是attention_mask[:, -num_actions:]
但是我看到的代码是attention_mask[:, :-num_actions]

[piekey1994]

1.我看之前老版本的代码是取生成的那部分了，不知道为什么新的代码改成了prompt的部分
2.确实很难理解，按照原始ppo论文里面adv其实应该是r+v(t+1)-v(t)类似这样的形式，因为这里的代码没有t的概念，所以简化成了r-v。而同时v又是对r的一个拟合，那么r-v不就是一个约等于0的值。我试过吧v去掉，模型确实训练不起来，说明v是有效的，但是还是很难理解这里v到底起了什么作用，求大佬解答
3.减kl可以避免模型训练到后期偏离得太离谱，还是有点用的
4.后者

[zhohuiluo]

找到答案了吗？我也在想v就是用来拟合r的，三个loss一作用，最后的优势函数r-v不就趋于0了吗？

[akk-123]

第二个问题一直没有理解

[DOCTHIAGO0]

Investing in BITCOIN is more like a shortcut for having a successful financial life and trading with the right account
manager and a genuine broker would free you from modern financial slavery with the best of her trading skills and Good trading signals Reach out to Miranda_Brigss_Fxtrade on Instagram begin your journey to financial freedom

[zhohuiluo]

@hust-kevin 我对此也有一样的疑问，你找到答案了吗？critic这个模型存在的意义是什么呢？，为什么还需要额外去训练一个critic去拟合RM模型

[yynil]

I have the same problems. #3400

Actually in PPO's original paper, the Critic model updates indeed in one of their implementation. I will later try to add another ppo trainer keeping Critic parameters frozen to check if it's necessary or not. At least for now, updating Critic parameters works.

[akk-123]

@ht-zhou 可以对这几个问题解答一下吗