[Paper Note] Activation Oracles: Training and Evaluating LLMs as General-Purpose Activation Explainers, Adam Karvonen+, arXiv'25, 2025.12

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2512.15674

Authors

• Adam Karvonen
• James Chua
• Clément Dumas
• Kit Fraser-Taliente
• Subhash Kantamneni
• Julian Minder
• Euan Ong
• Arnab Sen Sharma
• Daniel Wen
• Owain Evans
• Samuel Marks

Abstract

• Large language model (LLM) activations are notoriously difficult to understand, with most existing techniques using complex, specialized methods for interpreting them. Recent work has proposed a simpler approach known as LatentQA: training LLMs to directly accept LLM activations as inputs and answer arbitrary questions about them in natural language. However, prior work has focused on narrow task settings for both training and evaluation. In this paper, we instead take a generalist perspective. We evaluate LatentQA-trained models, which we call Activation Oracles (AOs), in far out-of-distribution settings and examine how performance scales with training data diversity. We find that AOs can recover information fine-tuned into a model (e.g., biographical knowledge or malign propensities) that does not appear in the input text, despite never being trained with activations from a fine-tuned model. Our main evaluations are four downstream tasks where we can compare to prior white- and black-box techniques. We find that even narrowly-trained LatentQA models can generalize well, and that adding additional training datasets (such as classification tasks and a self-supervised context prediction task) yields consistent further improvements. Our best AOs match or exceed white-box baselines on all four tasks and the best overall baseline on 3 of 4. These results suggest that diversified training to answer natural-language queries imparts a general capability to verbalize information about LLM activations.

Translation (by gpt-5-nano)

• 大規模言語モデル（LLM）のアクティベーションは理解が難しいとされており、現存するほとんどの手法はそれを解釈するために複雑で専門的な方法を用いてきた。最近の研究は LatentQA として知られるより簡便なアプローチを提案しており、それは LLM を直接アクティベーションを入力として受け取り、それについて自然言語で任意の質問に答えるよう訓練するというものだ。しかし、先行研究は訓練と評価の両方において狭いタスク設定に焦点を当ててきた。本論文では、代わりに汎用的な視点を採用する。我々は LatentQA で訓練されたモデルを Activation Oracles（AOs）と呼ぶものを評価し、分布外の極端な設定で性能が訓練データの多様性とどうスケールするかを検討する。AOs は、入力テキストには現れないにもかかわらず、モデルに微調整された情報（例：伝記的知識や悪性の傾向など）を回収できることを示す。これは、微調整済みモデルのアクティベーションを用いて訓練したことが一度もないにもかかわらずである。我々の主な評価は、従来のホワイトボックスおよびブラックボックスの手法と比較可能な4つの下流タスクである。狭く訓練された LatentQA モデルでも一般化性能が良好であること、分類タスクや自己教師付きの文脈予測タスクのような追加訓練データセットを導入することで、さらなる一貫した改善が得られることを発見した。我々の最良の AO は、4つのタスクすべてでホワイトボックスのベースラインに匹敵するか超え、4つのタスクのうち3つで全体として最良のベースラインを達成した。これらの結果は、自然言語クエリに答える多様な訓練が、LLM のアクティベーションについて情報を言語化する一般的な能力を付与することを示唆している。

Summary (by gpt-4o-mini)

• LLMのアクティベーションの解釈が難しい中、LatentQAを用いた新たなアプローチが提案され、モデルがアクティベーションを入力として受け取り自然言語で質問に答える能力を訓練。汎用的アプローチで評価した結果、Activation Oracles（AOs）は微調整されていない情報を回収でき、狭く訓練されたモデルでも良好な一般化性能を示した。追加データセットによる改善も確認し、最良のAOはホワイトボックスベースラインを超える性能を達成した。この結果は、多様な訓練がアクティベーションの解釈能力を向上させることを示唆している。

[AkihikoWatanabe]

元ポスト: https://x.com/OwainEvans_UK/status/2019920984242024710?s=20