推薦結果への説明付加はいつどんなものが嬉しいか

IR Reading 2023秋での論文紹介資料です。
紹介する論文は、User Needs for Explanations of Recommendations: In-depth Analyses of the Role of Item Domain and Personal Characteristics (UMAP'23)です。

Transcript

1. ACM SIGIR 東京支部 IR Reading 2023秋 2023年11月18日
   推薦結果への説明付加は
   いつどんなものが嬉しいか
   User Needs for Explanations of Recommendations:
   In-depth Analyses of the Role of Item Domain and Personal Characteristics
   (UMAP'23)
   LINEヤフー株式会社
   栗本 真太郎（@kuri8ive）
   

   View Slide

2. 2/14
   推薦結果に説明が付加されることの嬉しさ
   l コンバージョン率や満足度を高める[50]
   l 透明性を向上させ、信頼度を高める[43]
   背景｜推薦結果に説明がつくことの意義
   [50] Evaluating the effectiveness of explanations for recommender systems: Methodological issues and empirical studies on the impact of personalization
   (User Modelling and User-Adapted Interaction, 2012)
   [43] The Role of Transparency in Recommender Systems. (CHI EA, 2002)
   

   View Slide

3. 3/14
   推薦×説明性は広く研究されているが、
   説明へのユーザーのニーズはあまり調べられていない
   また、以下の側面にも着目し、説明性のニーズを深掘りする
   l アイテムドメイン
   l 聴く音楽／買う車を選ぶ、のように重要度が違うと必要な情報量が変わり得る[8]
   l 個人特性
   l 性別、文化的背景、性格、専門知識のような個人特性は、
   推薦システムとのインタラクションに影響を与える[24]
   背景｜推薦×説明性研究でまだ明らかになっていない領域
   [8] Principles of Marketing (3rd ed.) (2015)
   [24] Explaining the user experience of recommender systems (User Modeling and User-Adapted Interaction, 2012)
   

   View Slide

4. 4/14
   推薦結果への説明付加方法はいくつかあるが、どれがユーザーに最適なのか？
   l アイテムベース（IBExp↓）
   l 特徴ベース（FBExp→）
   l 知識ベース（KBExp↘）
   背景｜説明をどう生成するといいのか？
   

   View Slide

5. 5/14
   1. 推薦結果の説明はいつ必要とされるか？
   2. 説明ニーズとアイテムのドメインに相関はあるか？
   3. 説明ニーズと個人特性との間に相関はあるか？
   4. 各ドメインでユーザーが好む説明とは何か？
   RQs
   

   View Slide

6. 6/14
   データ準備（1／2）｜アイテムデータセットの合成
   既存のデータセットの制約からアイテムデータセットを合成して使用
   一般情報、推薦プロセスで使用される特徴量、特徴量のドメイン値から構成
   ドメイン
   l 外食
   l 観光
   l 長期滞在
   （留学等）
   

   View Slide

7. 7/14
   データ準備（2／2）｜ユーザーデータセットの合成
   ユーザーの全アイテムの嗜好が入った完全な行列を作成
   l 5つ星評価として、4+θを好き、2+θを嫌いに割り当て（θ = ±0.3）
   l アイテムIの特徴fに関して、f故にIが好きなユーザーをランダムでX%抽出
   l X = randbetween(30, 70)
   l 残りのY%（100-X）は特徴f故にIが好きでないとする
   例）f1
   について、randbetween(30, 70)→60となり、5人中3人が好き（4+θ）に割り当て
   

   View Slide

8. 8/14
   実験概要｜IBExp、FBExp、KBExpによる推薦への説明付加
   l 553名から回答を収集（1人1設定のみ）
   l オーストリア、ベトナム×2の大学の学生または職員
   l 先立って嗜好の収集
   l IBExp, FBExp：ランダムの提示されたアイテムリストから、好きなものを最低5つ選択
   l KBExp：好きなアイテムの要件を指定
   l 協調フィルタリングにより
   以下を5つ星で評価してもらう
   1. アイテム
   2. 説明は理解しやすかったか
   3. 説明の表示方法は気に入ったか
   4. 説明が推薦の満足度を上げたか
   

   View Slide

9. 9/14
   RQ1｜推薦結果の説明はいつ必要とされるか？
   l 説明を見るかを𝑠𝑒𝑒𝐸𝑥𝑝 = [0, 1]、アイテム評価を𝑟𝑒𝑐𝐼𝑡𝑒𝑚𝑅𝑎𝑡 = [1. . 5]として
   2変量相関検定を、説明を見た／見なかったの二元表からχ2乗検定
   →いずれも有意な相関は見られず
   l 各アイテムドメインにおいて、説明を見た参加者の割合を算出
   また、評価値を階層に分割し、推薦結果に対する参加者の評価を評価値で分析
   →長期滞在のドメインでは、推薦結果に満足していない場合、説明を見る傾向が強かった
   l 根本的な原因を知るために、説明を見なかった参加者のフィードバックを分析
   →長期滞在のドメインでは約3割が、「推薦説明に満足」故に説明を見ない
   逆に、外食・観光では、参加者が説明を見たいと思ったのは、推薦結果に満足したとき
   

   View Slide

10. 10/14
    RQ2｜説明ニーズとアイテムのドメインに相関はあるか？
    l 説明を見るかを𝑠𝑒𝑒𝐸𝑥𝑝 = [0, 1]、ドメインを𝑑𝑜𝑚としてχ2乗検定
    →有意な相関は見られず
    l 各アイテムドメインにおいて、説明を見た参加者の割合を算出
    また、評価値を階層に分割し、推薦結果に対する参加者の評価を評価値で分析
    →外食や観光ではFBExpが、長期滞在ではIBExpの注目度が高かった
    高関与ドメインの宿泊ではKBExpがNo.1！と思っていたので著者陣びっくり
    

    View Slide

11. 11/14
    RQ3｜説明ニーズと個人特性との間に相関はあるか？
    性別（男女）、国籍（ベトナム／ヨーロッパ）の違いを分析
    l 説明を見るかを𝑠𝑒𝑒𝐸𝑥𝑝 = [0, 1]、性別、国籍、性別＆国籍を𝑝𝑒𝑟𝐶ℎ𝑎𝑟としてχ2乗検定
    →説明の必要性と性別・国籍との関連を示唆する十分な証拠はなかった
    l Mann-WhitneyのU検定
    →低関与（外食）、高関与（長期滞在）ドメインで
    ベトナム人参加者がヨーロッパ人参加者に比べて推薦結果に満足する傾向
    

    View Slide

12. 12/14
    RQ4｜各ドメインでユーザーが好む説明とは何か？
    「理解しやすかったか（U）」
    「表示方法は気に入ったか（D）」
    「満足度を上げたか（S）」の3観点で分析
    説明の種類で差があるかKruskal-Wallis検定 & Mann-WhitneyのU検定
    →長期滞在では差はなし
    外食ではIBExpが満足度を上げた
    観光ではFBExpが理解しやすさで良い評価
    

    View Slide

13. 13/14
    1. 推薦結果の説明はいつ必要とされるか？
    決断が重めなドメインでは推薦結果に不満足なとき、気軽なドメインでは満足なとき
    2. 説明ニーズとアイテムのドメインに相関はあるか？
    なかった
    3. 説明ニーズと個人特性（性別&国籍）との間に相関はあるか？
    なかった
    4. 各ドメインでユーザーが好む説明とは何か？
    決断が気軽なドメインではアイテムベースが満足度の点で好まれた
    中程度なドメインでは特徴ベースが理解しやすさの点で好まれた
    まとめ
    

    View Slide

14. 14/14
    l 説明ニーズとアイテムのドメインに相関がないのは意外に感じた
    l できない事情があるのは理解したが、合成じゃないデータでの結果を見たかった
    l 今後実施予定とのことで期待
    l 決断の気軽さが求められる説明の種類に影響するという話は知見といえそう
    l ただし、得られた結果そのものは一般化できないかも
    ∵参加者の9割が18〜25歳の学生、7割がベトナム人とのことで、
    後者はともかく、前者は決断が重めなドメインでの判断に影響しそう
    （学生はお金がないし、18歳だと旅行経験が全然ない人もいそう）
    l 個人特性として他の観点も追加して見てみたい
    l 特に、「好奇心」が推薦の受容等に影響する話は色々あると思うので、説明の観点でも違いが出そう
    l ほか、例えば頻繁に旅行（観光）するかどうかで、欲する説明は異なりそう
    所感
    

    View Slide