Boolformer: Symbolic Regression of Logic Functions with Transformers, Stéphane d'Ascoli+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2309.12207

Affiliations

• Stéphane d'Ascoli, N/A
• Samy Bengio, N/A
• Josh Susskind, N/A
• Emmanuel Abbé, N/A

Abstract

• In this work, we introduce Boolformer, the first Transformer architecturetrained to perform end-to-end symbolic regression of Boolean functions. First,we show that it can predict compact formulas for complex functions which werenot seen during training, when provided a clean truth table. Then, wedemonstrate its ability to find approximate expressions when providedincomplete and noisy observations. We evaluate the Boolformer on a broad set ofreal-world binary classification datasets, demonstrating its potential as aninterpretable alternative to classic machine learning methods. Finally, weapply it to the widespread task of modelling the dynamics of gene regulatorynetworks. Using a recent benchmark, we show that Boolformer is competitive withstate-of-the art genetic algorithms with a speedup of several orders ofmagnitude. Our code and models are available publicly.

Translation (by gpt-3.5-turbo)

• この研究では、Boolformerという初めてのTransformerアーキテクチャを紹介し、ブール関数のシンボリック回帰をエンドツーエンドで実行するために訓練されました。まず、クリーンな真理値表が与えられた場合、複雑な関数に対してコンパクトな式を予測できることを示します。次に、不完全でノイズのある観測が与えられた場合に近似的な式を見つける能力を示します。我々は、広範な実世界の二値分類データセットでBoolformerを評価し、古典的な機械学習手法に対する解釈可能な代替手法としての潜在能力を示します。最後に、遺伝子制御ネットワークのダイナミクスをモデリングするという広く行われているタスクに適用します。最新のベンチマークを使用して、Boolformerが最先端の遺伝的アルゴリズムと競争力を持ち、数桁の高速化を実現していることを示します。我々のコードとモデルは公開されています。

Summary (by gpt-3.5-turbo)

• この研究では、BoolformerというTransformerアーキテクチャを使用して、ブール関数のシンボリック回帰を実行する方法を紹介します。Boolformerは、クリーンな真理値表やノイズのある観測など、さまざまなデータに対して効果的な式を予測することができます。さらに、実世界のデータセットや遺伝子制御ネットワークのモデリングにおいて、Boolformerは解釈可能な代替手法として優れた性能を発揮します。この研究の成果は、公開されています。

[AkihikoWatanabe]

ブール関数をend-to-endで学習できるtransformeiアーキテクチャを提案した模様