演習III 論文紹介 内容に問題や不備がある場合は、お手数ですが hellorusk1998 [at] gmail.com までご連絡お願いいたします。
Man is to computer programmer aswoman is to homemaker?debiasing word embeddings.演習 III 論文紹介杉本 海人2020/05/221 / 14
View Slide
分散表現（単語埋め込み）• 単語を実ベクトルにする: w ∈ Rd• ある単語の意味は, その周囲の文脈によって決まる（分布仮説）• 手法1カウントベース周囲の単語をカウントした共起行列を作り, SVD(特異値分解) などで次元を削減する2推論ベースWord2Vec(2013).周囲の単語から元の単語を推論する問題 (CBOW) や元の単語から周囲の単語を推論する問題 (skip-gram) を解く• 両者は別物ではなくある面では同じだったりする• 両者のハイブリッド: GloVe(2014).2 / 14
分散表現のメリット1ベクトルの方向の近さ ≒ 意味の近さ• cos(−−→dog,−→cat) > cos(−−→dog,−−−−−−−−−−−→programming)2analogy 問題が解ける•−−→king − −−−→man + −−−−−→woman ≈ −−−−→queen•−−−−−→France −−−−→Paris +−−−−→Tokyo ≈−−−−→Japan3 / 14
分散表現は性差別主義者？•−−−−−−−−−−→homemaker(家政担当者),−−−−→nurse(看護師),−−−−−−−−−−→receptionist(受付),−−−−−−→librarian(司書) などが−→he よりも−−→she に近い•−−−−−−→maestro(音楽家),−−−−−−→skipper(船長),−−−−−−→protege(弟子),−−−−−−−−−−→philosopher(哲学者)などが−−→she よりも−→he に近い•−−−−−−−−−−−−−−−−−−−−→computer programmer − −−−→man + −−−−−→woman ≈−−−−−−−−−−→homemaker•−−−−−−−−→carpentry (大工) −−−−→man + −−−−−→woman ≈−−−−−→sewing (裁縫)•−−−−−−−−−−−→conservatism − −−−→man + −−−−−→woman ≈−−−−−−−→feminism4 / 14
分散表現は性差別主義者？• Indirect bias:−−−−−−−−−−→bookkeeper(簿記) や−−−−−−−−−−→receptionist(受付) は−−−−−→football よりも−−−−−→softball に近い⇒ 本来 gender-netural であるべき単語の"意味"がゆがめられている（Google News であっても）⇒ そのような分散表現を使った人工知能が普及することで, 暗黙的な差別が助長する可能性がある5 / 14
論文の流れ• 分散表現はジェンダーバイアスを含有する• クラウドソーシングを使って, "不当に女性/男性に結び付けられる言葉"などの偏見を実際に調査し,分散表現が持つバイアスと傾向が一致することを確認• 分散表現が含むジェンダーバイアスを定量的に評価する方法を提案（後述）• ジェンダーバイアスを除去するアルゴリズム (debiasingalgorithm) を提案し,それを使っても分散表現としての有用性が失われていないことを確認（後述）6 / 14
Gender direction分散表現のうち性別に関する情報が詰まっている方向 g ∈ Rd論文では, 以下の 10 個の gender-specific な単語ベクトルの差を主成分分析したところ, 第 1 主成分方向の寄与率が支配的だったので, その方向を g とした.7 / 14
Direct bias の評価DirectBiasc=1|N|∑w∈N|cos( ìw, g)|cN は gender-neutral な（であるべき）単語の集合327 種類の職業の単語を N としたところ DirectBias1= 0.088 / 14
Indirect bias の評価Q.−−−−−−−−−−→receptionist(受付) が−−−−−→football よりも−−−−−→softball に近いのは, どれほどジェンダーバイアスによるものなのか？ある単語ベクトル w(||w|| = 1), その g への正射影を wg, g と直交する方向 w⊥ = w − wgとして,(w, v) =w · v − w⊥·v⊥||w⊥||||v⊥||w · vつまり, g 方向成分を取り除くことで 2 つの単語ベクトルの内積がどの程度減るか？ を表す(−−−−−−−−−−→receptionist,−−−−−→softball) = 67%9 / 14
DebiasingStep1: Identify gender subspace先ほど gender direction を求めたように主成分分析を行い, バイアス方向の部分空間 B を計算する Step2a: Hard debiasinggender-neutral な単語について, B への射影が 0 になるようにする(neutralize)gender-neutral な単語から等距離であるべき単語のペア（(grandmother,grandfather) など）について, 等距離になるようにする (equalize)10 / 14
Debiasing11FAT* 2018 tutorial slides11 / 14
DebiasingStep2b: Soft debiasing分散表現を格納した行列 W を T をかけて線形変換して, TW がdebiased になってほしい.T を求めるために, 以下のように考える線形変換後も各単語の分散表現間の内積をできるだけそのままにしつつ,gender-neutral な単語についてはバイアス方向の射影をできるだけ小さくするこれは罰則項付き最適化問題のような形で立式できる12 / 14
Results13 / 14
ResultsQ. Indirect bias については？−−−−−→softball-−−−−−→football 方向の analogy は,−−−−−−−−−−→receptionist のような職業に関するものが候補に出てこなくなった（−−−−−→softball であれば−−−−−→pitcher など,−−−−−→football であれば−−−−−−−−→midfielder など, 語義に関連性のあるものが代わりに出てくるようになった）14 / 14
hellorusk
morishtr
tatsuropianooo
kirrane
kentaitakura
hpprc
sms_tech
speed1313
yosukefk
matsui_528
kinakomoti321
masakat0
shotasasaki
jacobian
jennybc
aki_iinuma
hatefulcrawdad
paulrobertlloyd
zakiyama
smashingmag
thoeni
jponch
brettharned
keavy
danielanewman