論文読み会 AMAI | Personalized choice prediction with less user information

論文読み会の資料です．

(A slide for the paper-reading activity at my company, written in Japanese.)

Transcript

1. 2024-12-03 Personalized choice prediction with less user information (AMAI: Annals. of Math. and AI) ಡΉਓ: @cocomoff
3. Choice Prediction 現代だとNNでも sigmoid(-) を 使うので イメージしやすい •例: Gambling dataset Task input: (themselves, $8, 10$, 33% 25%) Choice: 1 or 2 winning for themselves $8 with 33% chance or $10 with a 25% chance winning for someone else $13 with 80% chance or $10 with a 100% chance Task input: (someone else, $13, $10, 80% 100%) Choice: 1 or 2 ※2つの選択肢、儲かる金額、確率のデータセット •「選択肢集合の中からどれを選択するか」を予測するタスク
4. 概要 •選択モデルはいろいろなところで使われている • e.g., 効用を使った線形モデル •「選択」の個人差を扱うことも重要 • e.g., 人口統計学的背景 (demographic information)、性格特性、etc. • アンケート調査するので集めるのも大変 • 「選択モデル」×「少量の個人情報」 •提案モデル • 被験者固有の情報 × タスク条件 → 自己注意機構・交差注意機構を 　　使ったモデル •実験 • ギャンブルデータと PHEVデータで 予測精度を確認 学習時に工夫して 相互の関係性を掴む テスト時は少量だけ使って予測する u1 u2 uN exp(ui ) ∑ exp(uk ) u1 ∼ ∑ i wi xi + ε ͍Ζ͍Ζ3FMBUFE
   8PSL͕
   ࡌ͍ͬͯΔʢলུʣ
5. Personalized Choice Prediction 前ページと同じ アンケート紙の 埋め込み 4つ全部答えるのが大変なので 「一部だけ答えた人も扱える」ように、 情報復元する (AEのノリ) タスクの情報と正確特徴の情報を アテンションで関連付けて埋め込む 性格特徴を入れると性能が上がる 回答の 埋め込み
6. 目次 •手法 • パート1 • パート2 • 学習&推論 •実験 •結果 パート1 パート2
7. 手法 | パート1 •提案: 埋め込みしてから予測するモデル •質問票 •回答 •埋め込みのため、適当な辞書が作られていると考える •e.g., BigFiveは10問を7段階のリッカート尺度で聞く → 次元に埋め込む ( 次元はパラメータ) •実際はそれぞれ、7次元、10次元、4次元、10次元 •個人の特徴の表現は 次元のデータ •回答 が 「4つの回答票のどれか」を 表す埋め込みも一緒につける •後ろ段階はただのMHA Q = {q1 , q2 , q3 , q4 } {x1 , x2 , x3 , x4 } 7 × 32 32 31 × 32 xi の回答 q1 x1 ˜ X Zsa := MHA(fQ ( ˜ X), fK ( ˜ X), fV (˜ (X)) Zsa
8. 手法 | パート2 •提案: 埋め込みしてから予測するモデル •前半の埋め込み •学習データがどういうタスクで回答しているか? を タスクIDの埋め込みでいれる •2つ (IDと回答の埋込) の関係性を見るために クロスアテンション •得られた埋め込みベクトルをMLPにいれる •上側: 選択の予測 •下側: アンケート回答の予測 • はバッチサイズ •どちらも二乗誤差 Zsa M Zca := MHA(fQ (t), fK (Zsa ), fV (Zsa )) Zsa lpred := 1 M ∑ i (yi − ̂ yi )2 ldec = 1 M ∑ i (qi − ̂ qi )2 [35] 高度にノイズ化されたデータセット を扱う場合、期待損失は理論的にも経験 的にも最良の選択であると思われる 
   +BOPDIB
   ,
   $[BSOFDLJ
   8.
   0O
   MPTT
   GVODUJPOT
   GPS
   EFFQ
   OFVSBM
   OFUXPSLT
   JO
   DMBTTJ fi DBUJPO
    
   BS9JW
9. 学習&推論 •回転訓練 (右図) ※入力回転スキーム •全体のロス関数は和 ※回答がない場合にはゼロパディング •推論時の扱い方 ※欠落しているところはゼロパディング
10. 目次 •手法 • パート1 • パート2 • 学習&推論 •実験 •結果
11. 実験: データ •1つ目は Gambling データセット •2つ目は PHEV データセット (PHEV vs ICEV) •データ かなり大変そう
12. 実験: 比較手法 •個人特徴をいれない場合 •3-layer MLP •個人特徴をいれる場合 •Linear, XGB, TabNet, PAN (提案手法) いれない いれる
13. 実験結果1: ロス関数 •MLPとPANを使って、BCEとMSEを比較した •有意な差がないことと、人の意思決定が一貫性がなくノイズが入りやすいので、MSEを使った
14. 実験結果2: 性格アンケートの違い •4つ使うと一番誤差が低い •GamblingとPHEVで若干傾向が異なる
15. 実験結果3: 予測モデルの性能比較 •提案手法PANが一番良い
16. 実験結果4: less information •テスト時に4つではなく1つだけの回答が使える (less information) 場合を調べる テストで4つ すべて使える 場合 (上限) Joint (4つ使ってトレーニング) VS 1つ使ってトレーニング (Single) → 他のアンケートの情報をむやみに増やしてJointしてもダメ 回転学習最高!! (Joint + Rotation)
17. アテンション可視化できる