Controllable Text Generation via Probability Density Estimation in the Latent Space, ACL'23

[AkihikoWatanabe]

https://virtual2023.aclweb.org/paper_P1149.html

[AkihikoWatanabe]

Previous work on controllable text generation has explored the idea of control from the latent space, such as optimizing a representation with attribute-specific classifiers or sampling one from relevant discrete samples. However, they cannot effectively model a complex space with diverse attributes, high dimensionality, and asymmetric structure, leaving subsequent controls unsatisfying. In this work, we propose a novel control framework using probability density estimation in the latent space. Our method utilizes an invertible transformation function, the Normalizing Flow, that maps the complex distributions in the latent space to simple Gaussian distributions in the prior space. Thus, we can perform sophisticated and flexible controls in the prior space and feed the control effects back into the latent space owing to the bijection property of invertible transformations. Experiments on single-attribute and multi-attribute control reveal that our method outperforms several strong baselines on attribute relevance and text quality, achieving a new SOTA. Further analysis of control strength adjustment demonstrates the flexibility of our control strategy.

Translation (by gpt-3.5-turbo)

• 過去の制御可能なテキスト生成に関する研究では、潜在空間からの制御のアイデアが探求されてきました。具体的には、属性固有の分類器を最適化することや、関連する離散的なサンプルからサンプリングすることなどがあります。しかし、これらの手法では、多様な属性、高次元性、非対称な構造を持つ複雑な空間を効果的にモデル化することができず、その結果、後続の制御が満足のいくものになりません。本研究では、潜在空間での確率密度推定を用いた新しい制御フレームワークを提案します。私たちの手法は、正規化フローと呼ばれる可逆変換関数を利用し、潜在空間の複雑な分布を事前空間の単純なガウス分布にマッピングします。したがって、可逆変換の双射性の特性により、事前空間で洗練された柔軟な制御を行い、制御効果を潜在空間にフィードバックすることができます。単一属性と複数属性の制御に関する実験では、提案手法が属性の関連性とテキストの品質においていくつかの強力なベースラインを上回り、新たなSOTAを達成することが示されました。制御強度の調整に関するさらなる分析は、私たちの制御戦略の柔軟性を示しています。

Summary (by gpt-3.5-turbo)

• 本研究では、潜在空間での確率密度推定を用いた新しい制御フレームワークを提案しています。この手法は、可逆変換関数を使用して潜在空間の複雑な分布を単純なガウス分布にマッピングし、洗練された柔軟な制御を行うことができます。実験結果では、提案手法が属性の関連性とテキストの品質において強力なベースラインを上回り、新たなSOTAを達成していることが示されています。さらなる分析により、制御戦略の柔軟性が示されています。