SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking, Chris Cundy+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2306.05426

Affiliations

• Chris Cundy, N/A
• Stefano Ermon, N/A

Abstract

• In many domains, autoregressive models can attain high likelihood on the taskof predicting the next observation. However, this maximum-likelihood (MLE)objective does not necessarily match a downstream use-case of autoregressivelygenerating high-quality sequences. The MLE objective weights sequencesproportionally to their frequency under the data distribution, with no guidancefor the model's behaviour out of distribution (OOD): leading to compoundingerror during autoregressive generation. In order to address this compoundingerror problem, we formulate sequence generation as an imitation learning (IL)problem. This allows us to minimize a variety of divergences between thedistribution of sequences generated by an autoregressive model and sequencesfrom a dataset, including divergences with weight on OOD generated sequences.The IL framework also allows us to incorporate backtracking by introducing abackspace action into the generation process. This further mitigates thecompounding error problem by allowing the model to revert a sampled token if ittakes the sequence OOD. Our resulting method, SequenceMatch, can be implementedwithout adversarial training or major architectural changes. We identify theSequenceMatch-$\chi^2$ divergence as a more suitable training objective forautoregressive models which are used for generation. We show that empirically,SequenceMatch training leads to improvements over MLE on text generation withlanguage models.

Translation (by gpt-3.5-turbo)

• 多くのドメインにおいて、自己回帰モデルは次の観測値を予測するタスクで高い尤度を達成することができます。しかし、この最尤推定（MLE）目的は、高品質のシーケンスを自己回帰的に生成するという下流のユースケースと必ずしも一致するわけではありません。MLE目的は、データ分布下での頻度に比例してシーケンスに重みを付けるため、モデルの帰属領域外（OOD）での振る舞いについてのガイダンスがなく、自己回帰的な生成中に誤差が蓄積することにつながります。この誤差の蓄積問題に対処するために、我々はシーケンス生成を模倣学習（IL）問題として定式化しました。これにより、自己回帰モデルによって生成されたシーケンスの分布とデータセットからのシーケンスの分布との間の多様な発散を最小化することができます。また、OOD生成されたシーケンスに重みを付けた発散も考慮できます。ILフレームワークを使用することで、バックトラッキングを組み込むこともできます。これにより、モデルがシーケンスがOODである場合にサンプリングされたトークンを元に戻すことができるため、誤差の蓄積問題がさらに軽減されます。我々の提案手法であるSequenceMatchは、敵対的なトレーニングや大規模なアーキテクチャの変更なしに実装することができます。我々は、生成に使用される自己回帰モデルにとってより適したトレーニング目的として、SequenceMatch-$\chi^2$発散を特定しました。実験的に、SequenceMatchトレーニングは、言語モデルによるテキスト生成においてMLEよりも改善をもたらすことを示しました。

Summary (by gpt-3.5-turbo)

• 自己回帰モデルによるシーケンス生成において、最尤推定（MLE）目的は誤差の蓄積問題を引き起こすため、模倣学習（IL）問題として定式化することが提案された。ILフレームワークを使用することで、バックトラッキングを組み込むことができ、誤差の蓄積問題が軽減される。提案手法であるSequenceMatchは、敵対的なトレーニングや大規模なアーキテクチャの変更なしに実装でき、SequenceMatch-$\chi^2$発散を使用することができる。実験的に、SequenceMatchトレーニングは、言語モデルによるテキスト生成においてMLEよりも改善をもたらすことが示された。

[AkihikoWatanabe]

backspaceアクションをテキスト生成プロセスに組み込むことで、out of distributionを引き起こすトークンを元に戻すことで、生成エラーを軽減させることができる。