Upgrade to Pro — share decks privately, control downloads, hide ads and more …

論文読み会 AMAI | Personalized choice prediction wit...

cocomoff
February 10, 2025

論文読み会 AMAI | Personalized choice prediction with less user information

論文読み会の資料です.

(A slide for the paper-reading activity at my company, written in Japanese.)

cocomoff

February 10, 2025
Tweet

More Decks by cocomoff

Other Decks in Research

Transcript

  1. Choice Prediction 現代だとNNでも sigmoid(-) を 使うので イメージしやすい •例: Gambling dataset

    Task input: (themselves, $8, 10$, 33% 25%) Choice: 1 or 2 winning for themselves $8 with 33% chance or $10 with a 25% chance winning for someone else $13 with 80% chance or $10 with a 100% chance Task input: (someone else, $13, $10, 80% 100%) Choice: 1 or 2 ※2つの選択肢、儲かる金額、確率のデータセット •「選択肢集合の中からどれを選択するか」を予測するタスク
  2. 概要 •選択モデルはいろいろなところで使われている • e.g., 効用を使った線形モデル •「選択」の個人差を扱うことも重要 • e.g., 人口統計学的背景 (demographic

    information)、性格特性、etc. • アンケート調査するので集めるのも大変 • 「選択モデル」×「少量の個人情報」 •提案モデル • 被験者固有の情報 × タスク条件 → 自己注意機構・交差注意機構を   使ったモデル •実験 • ギャンブルデータと PHEVデータで 予測精度を確認 学習時に工夫して 相互の関係性を掴む テスト時は少量だけ使って予測する u1 u2 uN exp(ui ) ∑ exp(uk ) u1 ∼ ∑ i wi xi + ε ͍Ζ͍Ζ3FMBUFE8PSL͕ ࡌ͍ͬͯΔʢলུʣ
  3. Personalized Choice Prediction 前ページと同じ アンケート紙の 埋め込み 4つ全部答えるのが大変なので 「一部だけ答えた人も扱える」ように、 情報復元する (AEのノリ)

    タスクの情報と正確特徴の情報を アテンションで関連付けて埋め込む 性格特徴を入れると性能が上がる 回答の 埋め込み
  4. 手法 | パート1 •提案: 埋め込みしてから予測するモデル •質問票 •回答 •埋め込みのため、適当な辞書が作られていると考える •e.g., BigFiveは10問を7段階のリッカート尺度で聞く

    → 次元に埋め込む ( 次元はパラメータ) •実際はそれぞれ、7次元、10次元、4次元、10次元 •個人の特徴の表現は 次元のデータ •回答 が 「4つの回答票のどれか」を 表す埋め込みも一緒につける •後ろ段階はただのMHA Q = {q1 , q2 , q3 , q4 } {x1 , x2 , x3 , x4 } 7 × 32 32 31 × 32 xi の回答 q1 x1 ˜ X Zsa := MHA(fQ ( ˜ X), fK ( ˜ X), fV (˜ (X)) Zsa
  5. 手法 | パート2 •提案: 埋め込みしてから予測するモデル •前半の埋め込み •学習データがどういうタスクで回答しているか? を タスクIDの埋め込みでいれる •2つ

    (IDと回答の埋込) の関係性を見るために クロスアテンション •得られた埋め込みベクトルをMLPにいれる •上側: 選択の予測 •下側: アンケート回答の予測 • はバッチサイズ •どちらも二乗誤差 Zsa M Zca := MHA(fQ (t), fK (Zsa ), fV (Zsa )) Zsa lpred := 1 M ∑ i (yi − ̂ yi )2 ldec = 1 M ∑ i (qi − ̂ qi )2 [35] 高度にノイズ化されたデータセット を扱う場合、期待損失は理論的にも経験 的にも最良の選択であると思われる +BOPDIB , $[BSOFDLJ 8.0OMPTTGVODUJPOTGPSEFFQOFVSBMOFUXPSLTJODMBTTJ fi DBUJPO  BS9JW
  6. 実験結果4: less information •テスト時に4つではなく1つだけの回答が使える (less information) 場合を調べる テストで4つ すべて使える 場合

    (上限) Joint (4つ使ってトレーニング) VS 1つ使ってトレーニング (Single) → 他のアンケートの情報をむやみに増やしてJointしてもダメ 回転学習最高!! (Joint + Rotation)