説明の偏り・見せ方が推薦結果の選択にどう影響するか

IR Reading 2023春での発表資料です。
紹介する論文はMeasuring the Impact of Explanation Bias: A Study of Natural Language Justifications for Recommender Systems (CHI EA 2023)です。

https://sigir.jp/post/2023-06-10-irreading_2023spring/
https://doi.org/10.1145/3544549.3585748

Transcript

1. ACM SIGIR 東京支部 IR Reading 2023春 2023年6月10日
   説明の偏り・見せ方が
   推薦結果の選択にどう影響するか
   Measuring the Impact of Explanation Bias:
   A Study of Natural Language Justifications for Recommender Systems
   (CHI Extended Abstracts 2023)
   LINE株式会社
   栗本 真太郎（@kuri8ive）
   

   View Slide

2. 2/12
   例えば…
   l 説明があることでより推薦結果を受け入れやすくなる[17]
   l ユーザーがより透明性を認識でき満足度向上につながる[11]
   推薦結果への説明の付与は意思決定に影響を与える
   [17] Explaining Collaborative Filtering Recommendations. (CSCW, 2000)
   [11] How Should I Explain? A Comparison of Diferent Explanation Types for Recommender Systems. (International Journal of Human-Computer Studies, 2014)
   

   View Slide

3. 3/12
   過去の関連研究の大部分は
   ユーザーの受け取り方に焦点を当てており、
   ユーザーの実際の選択にどう影響するかはあまり調べられていない
   この研究では、
   説明がユーザーの意思決定にプラス／マイナス方向のどちらで影響するか、
   その度合いの定量化を試みる
   これまでの説明×推薦研究を踏まえてこの研究で調べること
   

   View Slide

4. 4/12
   1. 推薦結果に対して、説明はユーザーの選択にどの程度影響を与えるか？
   2. 説明の提示形式は、ユーザーの選択にどの程度影響するか？
   RQs
   

   View Slide

5. 5/12
   データ準備
   以下の方法で映画とその説明項目及び説明文を用意
   1. MovieLens 25Mから400本をサンプリング
   2. Reviews2MovieLensを用いて、1とAmazon Reviews 2018を紐付け
   3. クラウドソーシングでポジティブ／ネガティブな記述を項目として抽出
   4. 62BパラメーターのPaLM[9]で文章に変換
   [9] PaLM: Scaling Language Modeling with Pathways. (2022)
   

   View Slide

6. 6/12
   調査概要
   1. 映画について、観たことがあるか、
   あるならどのくらい好きか（好き、普通、嫌い）を聞く
   2. 1で未視聴の映画から3本推薦され、選択してもらう
   l 状況設定：「一人旅のトランジット中、
   推薦された映画3本のうち1本をタダで観ていい」
   l ポジティブ／ネガティブの比率、項目／文は以下の通り割り当て
   

   View Slide

7. 7/12
   映画の推薦ロジック
   1. 以下のアンサンブルでユーザーの各映画への好みを推定
   l アイテムベースkNN
   l Weighted Regularized Matrix Factorization
   l Sparse Linear Method
   2. 1の推定値で並べ、3つのバケットに分割（バケットAの1つ目が一番好きそうな映画）
   3. A, B, Cそれぞれからアイテムを提示
   （→つまり、観そう、どちらでもない、観なさそうな映画が提示される）
   

   View Slide

8. 8/12
   結果｜中立的な説明を付加した場合
   観なさそうな映画がより選ばれるようになった（B-Cの逆転には著者もびっくり）
   

   View Slide

9. 9/12
   結果｜説明の偏り別に見るとどうか
   l 最も観そうな映画の推薦にネガティブな説明を付加
   →説明が中立な場合より選択率が9%低下
   l 最も観なさそうな映画の推薦にポジティブな説明を付加
   →説明が中立な場合より選択率が19%向上
   

   View Slide

10. 10/12
    結果｜説明の見せ方別に見るとどうか
    l 説明が中立な場合、差はなし
    l 項目による説明の方が
    l より偏りに即して選ばれるようになる
    l あるバケット内でのポジティブ／ネガティブの差が大きい
    

    View Slide

11. 11/12
    1. 推薦結果に対して、説明はユーザーの選択にどの程度影響を与えるか？
    l 中立的な説明の付加により、
    あまり選ばれなさそうなアイテムが選ばれやすくなった
    l ネガティブ寄りの説明の付加による
    選ばれやすそうなアイテムの選択率低下の幅より、
    ポジティブ寄りの説明の付加による
    選ばれにくそうなアイテムの選択率上昇の幅が大きかった
    2. 説明の提示形式は、ユーザーの選択にどの程度影響するか？
    l 文章より項目別の方が、ポジティブ／ネガティブ寄りの説明の影響が大きくなった
    結論
    

    View Slide

12. 12/12
    l ネガティブ寄りの推薦項目／文は現実的な設定ではない感じがする
    l ただ今回は影響を理解することが目的なので、その設定も調べることは全然変ではない
    l 一番実践されていそうな、ポジティブ1つだけの説明付加だとどうなるんだろう
    l 個々のアイテムではなくコンポーネント（例：◯◯に基づくおすすめ）やタブに対して
    説明を付加するならスペースの制約上何個も置くのは現実的ではないため気になる（特にスマホ）
    l レビューからではなく、
    アイテム説明等から項目や文作ればコールドスタートの状況でも有用になって良さそう
    l 特に、選ばれなさそうなアイテムの選択率底上げに効きそうな結果なので
    l 作り手自身がアイテム説明にネガティブな記述はしないだろうからポジティブな側面だけにはなるかも
    l （特に項目では）主観的／客観的で影響の仕方も変わりそう
    l 今回のようなレビューベースでは主観的な記述が多そう
    l 客観的、というのも難しいかもしれないけど（◯◯賞受賞作品とかでもなければ）
    所感
    

    View Slide