2019: What's in a Name? Reducing Bias in Bios without Access to Protected Attributes

[jojonki]

What's in a Name? Reducing Bias in Bios without Access to Protected Attributes
Alexey Romanov, Maria De-Arteaga, Hanna Wallach, Jennifer Chayes, Christian Borgs, Alexandra Chouldechova, Sahin Geyik, Krishnaram Kenthapadi, Anna Rumshisky, Adam Tauman Kalai
Accepted at NAACL 2019; Best Thematic Paper
https://arxiv.org/abs/1904.05233

以前取り上げたMSRの記事の著者が研究Gpに入っています．
jojonki/AI-Post-Notes#1

概要

機械学習において学習データに含まれるデータのバイアスを軽減する手法．従来の手法では，人種，性別，年齢といったprotectedな属性にアクセスしているが下記の２点でこれはチャレンジング

1. そのような属性は利用できなかったり，合法的に利用できない
2. 同時に複数のそのような属性を考慮したい

本論では，オンラインレジュメデータを利用して，職種の分類タスクを解く際に，各個人の職種と各個人の名前埋め込みの相関を軽減する手法を提案する．各個人の名前のアクセスは学習時のみに必要で，利用時には不要である．本論の実験では，人種と性別バイアスを分類性能を落とすことなく実現できた．

イントロ

MLにおいて，異なるグループ間においてパフォーマンスが大きく異なる可能性があることが報告されており，例えばオンラインリクルーティングと自動雇用などのMLシステムにおいて問題が指摘されている（De-Arteaga 2019)．オンラインレジュメの職種を予測するとき，職業固有の性別のギャップが既存のジェンダーの不均衡と相関がある場合，その不均衡はより一層悪化すると指摘されている．

本研究では，オンラインレジュメからの職業分類タスクで，職業予測の結果と彼らの名前の埋め込みの相関関係を学習しないようにした．名前と職業は無関係であるべきである．本論では２つのロス関数をそのための制約として実験．実験では，人種とジェンダーバイアスを減らすことができた．更に学習時のみ個人の名前が必要でテスト時は不要というメリットが有る．

名前の単語埋め込みにはSwinger (2019)によると，人種，性別，年齢といったバイアスが含まれており，国籍や宗教などが推測できてしまうことが分かっている．

手法

職業分類の予測結果と各個人の名前の埋込の相関関係を排除するための，２つのロス関数（Cluster Constrained Loss (CluCL)とCovariance Constrained Loss (CoCL)）を導入する．学習データの各サンプルは，各個人とその個人の職業を表す．

• CluCL
  学習データの名前の単語埋め込みをk-meansでクラスタリングし，クラスタ内の名前に関連するデータポイントにおける不均衡をを最小化する．クラスタによって捉えられる空間を最小化するため，同時に複数のバイアスに対して効果を与えることができる

• CoCL
  各個人の職種の確率と彼らの名前埋め込みの共分散を最小化する．

上記２手法において分類時の入力に個人の名前は不要．各個人の名前はロス関数のみに利用されるため，デプロイ時には個人の名前が不要になる．

定式

問題は，オンラインレジュメを入力に入れて，Cクラス（職業の数）の分類をするクラス．学習のロス関数として，L_{total} = L + λL_{CL}となり，λはハイパパラメタでCluCL or CoCLのロスの重みを決めるもの．

Cluster Constrained Loss (CluCL)

まず名前埋め込みは，First nameとLast nameの埋め込みを足して２で割って得る．得た名前埋め込みのデータ郡をkクラスタに分ける．そして各職種クラスcに対して，クラスタ間の平均ペアワイズの値を計算する．
// あるクラスcの確率が高いデータポイントが，クラスタ間で不均衡であるとこの値が大きくなる（ペナルティ）

そして全クラスに対して同じ計算を行い，クラス数で割った平均のロスの値をL_CluCLと定義する

Covariance Constrained Loss (CoCL)

各データポイントの職業ラベルの予測確率とそれに対応する個人の名前の共分散を最小化する．
// 正あるいは負の相関方面（+1 or -1）にペナルティを与える

評価

protectedな属性にアクセスせずに複数のバイアスを利用できることは本手法の強みであるが，評価をではどうするか．今回は実験のため，人種とジェンダーのみに注力する（これは見てあきらかにわかる属性なので）．まだそれぞれの属性は，white/non-white, male/femakeの２値化する．これらはあくまで本手法の評価のためであることは念押ししておく．

データセット

２つ利用．

• UCI Machine Learning Repository
  各個人の年収が$50k以上可どうかを予想する
• Online biographies
  オンラインレジュメから職種を予測する

それぞれのデータセットの”Adult"データにおいて，連続値は0-1の値に正規化し，他のカテゴリ値は0/1のバイナリ化した．
また各データで名前とのヒモ付がなかったので，人種と性別からfirst nameを生成した．

1. まずTzioumis (2018)のデータを利用し，whiteの確率が0.5以上でwhite，それいがいはnon-whiteにした．
2. Social Security Administration data about baby names (2018)を使い，先程の名前からmale/femaleを決定した．
3. 1と2から２ｘ２の対応関係表を得る（名前を与えられたときに，white/non-white, male/femaleが決められる）

次にデータセットの”Bios"データにおいて，各レジュメをサイズVのBoWベクトルとして扱う（Vは語彙サイズで，上位頻度10%の語彙と20回以下の頻度の単語は捨てられている）．
またAdultデータセットとは異なり，Biosデータは名前と関連付けられているのでおそらく名前は抽出できる．
人種についてもfirst/last nameから推測すする．
BiosにはDe-Artega (2019)と同様に２つのバージョンを用意する．１つはfirst nameと代名詞（he, sheとか)が利用できるものと，２つ目はそれらが取り除かれたもの．

評価においてCommon Crawl dataで事前学習されたfastTextの単号埋め込みを利用する

分類と損失関数

本手法はRNNだろうがCNNだろうが利用できるが，今回の実験の目標は分類精度を最大化することではなく，バイアスを取り除くことなので，モデルとして１レイヤーのAffineを利用．
またAdult/Biosデータには強い不均衡があるので，cross-entropy lossにはKing and Zengの手法に則り，各クラスへの重みが異なっている

Biasの定量化

De-Artega (2019)の手法を利用．この手法では，人種間及びジェンダー間の，それぞれにおいてTrue Positive Rate (TPR)のギャップを計算する．

職種cに対するTPR人種ギャップは下記のように定義される．人種r, 職種ラベルcが与えられた際に，職種cと予測する確率をTPR_{r, c}と定義．これを人種r~でも同様の計算を行い，その引き算をギャップと定義．
// つまり，人種は職種と無関係であれば，確率的に独立になるので，このギャップは0になるはずである．

これを各職種クラスに対して行い，二乗平均平方根（RMS）を計算することでスコアを得る．ジェンダーに対しても同様に計算を行い（ラベルg, g~），同様のスコアを計算．

またワーストケースの分析を行うために，上記のTPRギャップを最大化したものも計算する．

結果

プロキシとしての名前の単語埋め込み

まず名前埋め込みのクラスタリング結果をFig 1に共有する．k=12でクラスタリング．各クラスは人種及びジェンダーの計４カテゴリのいずれかに属するものがわかった．（各データはマニュアルインスペクションされている）

Adultデータセット

Adultデータ・セットを利用した結果をTable 1に．このタスクでは個人が$50k以上の年収があるかを予測する問題．このタスクでは強い不均衡があるので，まず各クラスでTPRを計算し，それをクラス間で平均化した（Balanced TPR）．

• λ=0では，強いジェンダーバイアスを確認．最悪時は0.303であり，これは女性より男性が3割ほどTPRが高いことを意味する．
• CluCLを利用すると，人種ギャップは0.12 -> 0.085，ジェンダーギャップは0.299 -> 0.25に減らせた
• CluCLのBalanced TPR（正解率）は，79.5% -> 79.3%なので性能低減は0.2%で済んだ
• CoCLでは更に人種・ジェンダーバイアスを低下させることができ，人種ギャップは0.08に，ジェンダーギャップは0.163になった．性能低減は0.5%で済んでいる

次にλを0から10に変更させて，CoCLの結果の違いをFig 2で見てみる．ドットのサイズがλの大きさを表す．λを大きくするほどBalanced TPRは低下していくのがわかる．// トレードオフ

Biosデータセット

次のタスクは，オンラインレジュメから職種を予想するタスクである．名前と代名詞が利用できる（orgigin)，できない(scrubbed)，の２バージョンの結果をTable 2, 3に示す．

• originでもギャップは減らせているが，scrubbedバージョンでも減らせている．
• scrubbedバージョンでも達成できているのは，名前と代名詞が使えないので，人種とジェンダー情報がないためと考えられる
• Adultデータセットよりも，低減化は大きくない．これはAdultデータセットではBiosよりも少ない属性値とクラスを利用しており，Adultでは明らかに人種やジェンダー情報を含んでいると推測する
• またVは11,000と大きいので，over-fittingの影響がありそう（CluCLではλ＝２の方が１のときよりもギャップが大きくなってしまった）

手法の理解

今回はシンプルな１レイヤのアフィンなので，隠れ層の学習重みのWを分析．Fig 3aに，λ＝０のときとλ＝２（CoCL）のAdultデータを見てみる．女性属性は大きなネガティブ値，男性属性はポジティブ値となっており，これは男性の方が年収を$50k以上稼ぐ，と予測しやすいことを意味する．CoCLによってこれらの値は大きく軽減できている．また年齢属性に関しても減らせている．// 今回は人種と性別のみを行ったので，評価できないが，年齢属性で評価したとしてもギャップを軽減できそう．人種と性別を選んだのは，あくまで今回の手法を評価するためだけであると再度述べておく．

次にFig 3bでは，外科医の職種を持つ際の重みを見てみる．λ＝０のときはsheやherには大きな負の値になっているが，heに対しては大きな正の値がついている．CoCLによってこのギャップを軽減させることができているが，Adultほど大きく低減できていない

結論

本手法ではprotectedな属性値にアクセスすることなく，複数のバイアスを軽減させることができた．本手法では名前の単語埋め込みにエンコードされたソーシャルバイアスを活用した．２つの損失関数を試し，どちらの手法においても分類性能をほとんど落とすことなく，人種，ジェンダーのバイアスを軽減させることができた．
Future workとして英語以外もやってみたい．

コメント

• 単語埋め込みにはバイアスが含まれている前提なのが面白い．我々の利用するデータにはバイアスがたくさんあるということを自覚すべし．
• 実際にバイアスのみに頼らざるおえないデータがある場合，どのようにするのが倫理的に良いんだろう

[jojonki]

Podcastでも紹介しました．https://anchor.fm/lnlp-ninja/episodes/ep29-Whats-in-a-Name--Reducing-Bias-in-Bios-without-Access-to-Protected-Attributes-e3qk5m