[Paper Note] The Entropy Mechanism of Reinforcement Learning for Reasoning Language Models, Ganqu Cui+, arXiv'25, 2025.05

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2505.22617

Authors

• Ganqu Cui
• Yuchen Zhang
• Jiacheng Chen
• Lifan Yuan
• Zhi Wang
• Yuxin Zuo
• Haozhan Li
• Yuchen Fan
• Huayu Chen
• Weize Chen
• Zhiyuan Liu
• Hao Peng
• Lei Bai
• Wanli Ouyang
• Yu Cheng
• Bowen Zhou
• Ning Ding

Abstract

• This paper aims to overcome a major obstacle in scaling RL for reasoning with LLMs, namely the collapse of policy entropy. Such phenomenon is consistently observed across vast RL runs without entropy intervention, where the policy entropy dropped sharply at the early training stage, this diminished exploratory ability is always accompanied with the saturation of policy performance. In practice, we establish a transformation equation R=-a*e^H+b between entropy H and downstream performance R. This empirical law strongly indicates that, the policy performance is traded from policy entropy, thus bottlenecked by its exhaustion, and the ceiling is fully predictable H=0, R=-a+b. Our finding necessitates entropy management for continuous exploration toward scaling compute for RL. To this end, we investigate entropy dynamics both theoretically and empirically. Our derivation highlights that, the change in policy entropy is driven by the covariance between action probability and the change in logits, which is proportional to its advantage when using Policy Gradient-like algorithms. Empirical study shows that, the values of covariance term and entropy differences matched exactly, supporting the theoretical conclusion. Moreover, the covariance term stays mostly positive throughout training, further explaining why policy entropy would decrease monotonically. Through understanding the mechanism behind entropy dynamics, we motivate to control entropy by restricting the update of high-covariance tokens. Specifically, we propose two simple yet effective techniques, namely Clip-Cov and KL-Cov, which clip and apply KL penalty to tokens with high covariances respectively. Experiments show that these methods encourage exploration, thus helping policy escape entropy collapse and achieve better downstream performance.

Translation (by gpt-5-nano)

• 本論文は、LLMを用いた推論のための強化学習（RL）をスケールさせる際の主要な障害の一つであるポリシーエントロピーの崩壊を克服することを目的とする。エントロピー介入なしの膨大なRL実験においてこの現象は一貫して観測されており、初期の訓練段階でポリシーエントロピーが急激に低下する。この探索能力の低下は、ポリシー性能の飽和と常に伴って生じる。実務的には、エントロピーHと下流性能Rの間に R = -a*e^H + b という変換方程式を確立した。この経験的法則は、ポリシー性能がポリシーエントロピーと交換関係にあることを強く示唆し、エントロピーの枯渇によって性能がボトルネックになることを示しており、天井は完全に予測可能で、H=0のとき R = -a + b となる。我々の発見は、RLの計算スケーリングを目指す継続的な探索のためにはエントロピーの管理が必要であることを示している。これを受け、私たちはエントロピーのダイナミクスを理論的にも実証的にも検討した。我々の導出は、ポリシーエントロピーの変化が、行動確率とロジットの変化との共分散により駆動され、Policy Gradient様のアルゴリズムを用いる場合にはその利得（アドバンテージ）に比例することを強調する。実証研究は、共分散項の値とエントロピー差が正確に一致することを示し、理論的結論を裏付けた。さらに、共分散項は訓練を通じてほとんど常に正の状態を保ち、これがなぜポリシーエントロピーが単調に減少するのかをさらに説明している。エントロピーのダイナミクスの仕組みを理解することを通じて、高共分散を持つトークンの更新を制限することでエントロピーを制御することを動機付けている。具体的には、Clip-CovとKL-Covの2つのシンプルでありながら効果的な手法を提案する。すなわち、それぞれ高共分散を持つトークンをクリップしたりKLペナルティを適用したりするものである。実験の結果、これらの手法は探索を促進し、したがってポリシーがエントロピー崩壊を回避し、下流の性能を向上させるのに役立つことを示した。

Summary (by gpt-4o-mini)

• ポリシーエントロピーの崩壊を克服するために、LLMを用いた強化学習の手法を提案。エントロピーとポリシー性能の関係を示す経験的法則を確立し、エントロピーの管理が重要であることを示唆。共分散の理解を通じて、高共分散トークンの更新を制限する方法（Clip-CovとKL-Cov）を提案し、探索を促進しつつ、ポリシーエントロピーの減少を回避する実験結果を示した。

[AkihikoWatanabe]

openreview:https://openreview.net/forum?id=vXoksdcfqC