RecSys論文読み会2019_ExplainingandExploringJobRecommendations

RecSys論文読み会2019での発表資料です。

Transcript

1. Explaining and Exploring Job Recommendations: a User-driven Approach for Interacting with Knowledge-based Job Recommender Systems 発表者：中尾悠里 (@nkwyri) 富士通研究所 nakao.yuri@fujitsu.com 1 Francisco Gutiérrez*, Sven Charleer*, Robin De Croon*, Nyi Nyi Htun*, Gerd Goetschalckx**, Katrien Verbert* *Dept. Computer Science, KU Leuven, **VDAB 2019/10/5 RecSys論文読み会2019 @Wantedly
2. Prof. Katrine Verbert  所属：ルーヴァンカトリック大学（KU Leven、所在地：ベルギー） AUGMENT HCI研究室  推薦システムのインターフェイス研究で有名。  本論文はベルギーの職業訓練施設VDABとの共同研究。  キーノート資料等がSlideShare に多数共有されている。 https://www.slideshare.net/kverbert/interactive-recommender-systems- 127891498 2
3. Introduction ・求職者をサポートする推薦システムが存在。 既存研究では求職者の現在の選好に基づいた推薦が中心。 雇用の流動性を加味し、潜在的な就職可能性の探索支援も必要。 ・求人情報の探索を行うためのインタラクティブな情報可視化も存在。 求職者などと共同デザインされていないため、実ニーズとギャップがある可能性。  今回はインタラクティブなダッシュボード「Labor Market Explorer」を設計。 求職者と職場と求職者を結ぶ仲介者との共同設計。 様々なグループを含む66人の被験者で被験者実験。  RQ1：インタラクティブ可視化技術は求人推薦の探索、理解、発見に役立つか。  RQ2：年齢、職種などの個人属性はインタラクションやシステムの認識に影響するか。 3
4. Related Work  可視化情報とのインタラクションで認知負荷の低減[4]・理解への影響[5]が見込まれる。  インタラクティブな職業推薦は存在。  ユーザーと共同デザインされたものはない。 JobStreet [2] LinkedVis [3] 4
5. インターフェースの共同デザイン 5
6. User-Centered Design Process  求職者と仲介者に対するヒヤリング・ワークショップをイテラティブに行う。 Focus Group Codesign Formative evaluation Final evaluation 既存のパラメータへの ランク付け。 9つのデザインへの フィードバック Think-aloud研究 66人の被験者を使っ た最終評価。 6
7. Focus Group  参加者：求職者９名（女性２名） 仲介者９名（女性８名）  現状の推薦システムのパラメータを、重要度、 好みの点からランク付け。  求職者・仲介者共に下記を重視。  ジョブディスクリプション  職場までの距離  その他要望  マッチングスコアの説明をしてほしい  探索可能にしてほしい Focus Group Codesign Formative evaluation Final evaluation 7
8. Co-design  参加者：求職者８名（女性３名）、仲介者７名（女性７名）  9個のUIデザインを見せる。  好きな点・嫌いな点を考え、グループで議論してもらう。  デザインプロト例：  勤務地マップ表示、必要スキル（学んだ能力）表示（a）  勤務地への距離をスライドバー表示、特に必要なスキルを★で表示す る。(b)  (a) が受け入れられる。  カテゴリの名前変更、セーブボタン等のアイディア。 Focus Group Codesign Formative evaluation Final evaluation 8
9. Formative user evaluation  各グループ2回のThink Aloud 研究。  参加者：（１回目）求職者６人（女性３人）、仲介者７人（女性３人） （２回目）求職者11人、仲介者5人（女性5人）  （a）のインターフェイスを使用。  地図や必要スキルなどの項目とよくインタラクション。  幾つかの要求。  スキル名で比較可能なように一覧化。  重視したいスキルへのチェックを入れたい。  特によく必要とされるスキル（hot item）の表示、など。  結果を踏まえて3つのデザインゴール（DG）を設定 (DG1) Exploration/Control: 求職者は推薦を操作し、情報をフィルターできるべき。 (DG2) Explanations: 推薦と得点は説明されるべき。必要に応じ詳細が示されるべき。 (DG3) Actionable insights:異なる観点から推薦を見つけるのに役立つ洞察を与えるべき。 Focus Group Codesign Formative evaluation Final evaluation 9
10. Final Prototype  a, c 勤務地、契約形態、学歴の フィルタ (DG1)  b 探索結果のセーブ機能。  e 推薦された求人表。  f 推薦の説明 (DG2)  青丸: 持っているスキル  中抜き：未修了のスキル  必要に応じ求人表の詳細を表示。 (DG1) Exploration/Control: 求職者は推薦を操作し、情報をフィルターできるべき。 (DG2) Explanations: 推薦と得点は説明されるべき。必要に応じ詳細が示されるべき。 (DG3) Actionable insights: 異なる観点から推薦を見つけるのに役立つ洞察を与えるべき。 10
11. Final Prototype 求人表の詳細  h 各スキルの寄与度を表示 (DG3)  i 重視したいスキルでソート。 (DG1) (DG1) Exploration/Control: 求職者は推薦を操作し、情報をフィルターできるべき。 (DG2) Explanations: 推薦と得点は説明されるべき。必要に応じ詳細が示されるべき。 (DG3) Actionable insights: 異なる観点から推薦を見つけるのに役立つ洞察を与えるべき。 11
12. 評価 12
13. Final Evaluation  VDABで訓練中の66人が参加。  謝金はなし。  様々なクラスから被験者を募る。  被験者を4グループに分ける Technical Sales Construction Non-native  システムを1時間使用してもらう。  質問紙（ResQue[7]）、仕様ログ、 自由記述で評価。 Focus Group Codesign Formative evaluation Final evaluation 13
14. ResQue[7]  推薦システムの主観評価のための質問紙。  精度、多様性、説明性などの15カテゴリ。  それぞれのカテゴリに対し1～4個の質問項目。  必要に応じカテゴリを選んで利用できる。  本論文では次の８カテゴリを質問 Perceived accuracy Perceived usefulness Perceived ease of use Use intentions Overall satisfaction Confidence and trust Novelty Explanations 14
15. User Feedback  ResQueの結果：全ての項目で中央値が4ポイント（agree）以上。  年齢別に見てもトレンドは変わらず。 ⇒被験者は全体としてシステムを効果的と判断。 ⇒年齢による差はない。 15
16. User Feedback  グループによっては低めの評価。  Non-native×主観精度  Construction×主観利便性 （これらのグループは求人自体も少なめ。）  年齢ではほぼ差が見られず。  45歳以上の人が高く評価  75%が知人にシステムを薦めたい。  元に戻すボタン、プロファイル修 正機能への要望があった。 16
17. Interaction Patterns  Technicalグループの被験者が 活発にインタラクション。 （横軸はクリック数。•は各グループの平均） 17
18. Discussion  Non-nativeとConstruction： 推薦された求人票の中でのインタ ラクションがあまりない。  Technicalグループは求人票でのイ ンタラクションも他より有意に多い。 18
19. Discussion: RQへの応答  User Empowerment (RQ1)  ダッシュボードは探索に効果的にだと認識される。(DG1)  クリック数（平均78クリック）の面からも十分にインタラクションがあった。  推薦に関する説明も必要なスキルを知るのに役立つ。（DG2）  求人がある場所や自分のスキルが足りているかを知るのに役立つ。（DG3）  Personal characteristics (RQ2)  年齢・性別による差はほぼなし。  職種に関する差が大きい。（Technicalグループの被験者が幅広くインタラクション。）  主観的な効率性は大差なし。  Non-nativeグループはあまりインタラクションせず。  インターフェイスの簡略化が必要な可能性。 19
20. Design implications & Future work  ユーザーとの共同デザインで、下記の様なデザイン項目が得られた。  推薦の説明を与える求人推薦表  勤務地の表示  気になるスキルへのチェック  人気のあるスキル  多様なフィルター（場所、契約形態、スキル）  Future work  自分の属性を任意に入力できる「シミュレーションモード」  より多くの仕事の流動性のシナリオの探求。 20
21. References 1. Francisco Gutiérrez, Sven Charleer, Robin De Croon, Nyi Nyi Htun, Gerd Goetschalckx, and Katrien Verbert. 2019. Explaining and Exploring Job Recommendations: a User-driven Approach for Interacting with Knowledge-based Job Recommender Systems. In Thirteenth ACM Conference on Recommender Systems (RecSys ’19), September 16–20, 2019, Copenhagen, Denmark. ACM, New York, NY, USA, 9 pages. https://doi.org/10.1145/3298689.3347001 2. M. Bakri, Siti Z. Z. Abidin, and Amal Shargabi. 2017. Incremental Filtering Visualization of JobStreet Malaysia ICT Jobs. In Soft Computing in Data Science, Azlinah Mohamed, Michael W. Berry, and Bee Wah Yap (Eds.). Springer Singapore, Singapore, 188–196. 3. Svetlin Bostandjiev, John O’Donovan, and Tobias Höllerer. 2013. LinkedVis: exploring social and semantic career recommendations. In Proceedings of the 2013 international conference on Intelligent user interfaces. ACM, 107–116. 4. Elena Zudilova-Seinstra, Tony Adriaansen, and Robert van Liere. 2009. Overview of Interactive Visualisation. Springer London, London, 3–15. 5. Daniel A Keim, Florian Mansmann, Jörn Schneidewind, and Hartmut Ziegler. 2006. Challenges in visual data analysis. In Information Visualization, 2006. IV 2006. Tenth International Conference on. IEEE, 9–16. 6. Pearl Pu, Li Chen, and Rong Hu. 2011. A user-centric evaluation framework for recommender systems. In Proceedings of the fifth ACM conference on Recommender systems. ACM, 157–164. 21