[Paper Note] Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety, Tomek Korbak+, arXiv'25

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2507.11473

Authors

• Tomek Korbak
• Mikita Balesni
• Elizabeth Barnes
• Yoshua Bengio
• Joe Benton
• Joseph Bloom
• Mark Chen
• Alan Cooney
• Allan Dafoe
• Anca Dragan
• Scott Emmons
• Owain Evans
• David Farhi
• Ryan Greenblatt
• Dan Hendrycks
• Marius Hobbhahn
• Evan Hubinger
• Geoffrey Irving
• Erik Jenner
• Daniel Kokotajlo
• Victoria Krakovna
• Shane Legg
• David Lindner
• David Luan
• Aleksander Mądry
• Julian Michael
• Neel Nanda
• Dave Orr
• Jakub Pachocki
• Ethan Perez
• Mary Phuong
• Fabien Roger
• Joshua Saxe
• Buck Shlegeris
• Martín Soto
• Eric Steinberger
• Jasmine Wang
• Wojciech Zaremba
• Bowen Baker
• Rohin Shah
• Vlad Mikulik

Abstract

• AI systems that "think" in human language offer a unique opportunity for AI safety: we can monitor their chains of thought (CoT) for the intent to misbehave. Like all other known AI oversight methods, CoT monitoring is imperfect and allows some misbehavior to go unnoticed. Nevertheless, it shows promise and we recommend further research into CoT monitorability and investment in CoT monitoring alongside existing safety methods. Because CoT monitorability may be fragile, we recommend that frontier model developers consider the impact of development decisions on CoT monitorability.

Translation (by gpt-4o-mini)

• 人間の言語で「考える」AIシステムは、AIの安全性に関して独自の機会を提供します。私たちは、彼らの思考の連鎖（CoT）を監視することで、悪意のある意図を検出することができます。他のすべての既知のAI監視方法と同様に、CoT監視も完璧ではなく、一部の不正行為が見逃される可能性があります。それでも、CoT監視には可能性があり、私たちはCoTの監視可能性に関するさらなる研究と、既存の安全手法と並行してCoT監視への投資を推奨します。CoTの監視可能性は脆弱である可能性があるため、最前線のモデル開発者は、開発の決定がCoTの監視可能性に与える影響を考慮することを推奨します。

Summary (by gpt-4o-mini)

• 人間の言語で「考える」AIシステムは、安全性向上のために思考の連鎖（CoT）を監視することで悪意のある意図を検出する機会を提供する。しかし、CoT監視は完璧ではなく、一部の不正行為が見逃される可能性がある。研究を進め、既存の安全手法と併せてCoT監視への投資を推奨する。モデル開発者は、開発の決定がCoTの監視可能性に与える影響を考慮すべきである。

[AkihikoWatanabe]

元ポスト:https://x.com/gdb/status/1945350912668737701?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q

[AkihikoWatanabe]

CoTを監視することで、たとえばモデルのよろしくない挙動（e.g., misalignmentなどの意図しない動作や、prompt injection等の不正行為)を検知することができ、特にAIがより長期的な課題に取り組む際にはより一層その内部プロセスを監視する手段が必要不可欠となるため、CoTの忠実性や解釈性が重要となる。このため、CoTの監視可能性が維持される（モデルのアーキテクチャや学習手法（たとえばCoTのプロセス自体は一見真っ当なことを言っているように見えるが、実はRewardHackingしている、など）によってはそもそもCoTが難読化し監視できなかったりするので、現状は脆弱性がある）、より改善していく方向にコミュニティとして動くことを推奨する。そして、モデルを研究開発する際にはモデルのCoT監視に関する評価を実施すべきであり、モデルのデプロイや開発の際にはCoTの監視に関する決定を組み込むべき、といったような提言のようである。

[AkihikoWatanabe]

関連:https://x.com/dongxi_nlp/status/1945606266027426048?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q