Session 4: Special Information Needs (CHIIR 2019)

Session 4: Special Information Needs (CHIIR 2019)

2019年3月23日
「IR Reading 2019春」における論文紹介
http://sigir.jp/post/irreading_2019spring/

B67b8e6cd4342f2e63cd22d7a54ccf31?s=128

Masao Takaku

March 23, 2019
Tweet

Transcript

  1. Session 4: Special Information Needs (CHIIR 2019) 2019年3月 高久雅生 (筑波大学図書館情報メディア系)

    masao@slis.tsukuba.ac.jp 1 IR Reading 2019春 2019年3月22日
  2. 発表セッションの概要 • HAIR: Towards Developing a Global Self-Updating Peer Support

    Group Meeting List using Human-Aided Information Retrieval  Sabirat Rubya (University of Minnesota), Xizi Wang (University of Michigan), Svetlana Yarosh (University of Minnesota) • Experimental Methods in IIR: Resolving the Tension Between Rigour and Ethics in Studies Involving Users with Dyslexia  Gerd Berget (Oslo Metropolitan University), Andrew MacFarlane (City, University of London) • NotifyMeHere: Intelligent Notification Delivery in Multi-Device Environments  Abhinav Mehrotra (University College London), Robert Hendley (University of Birmingham), Mirco Musolesi (University College London)  [Best Paper] 2
  3. 論文1: HAIR (1) • HAIR: Towards Developing a Global Self-

    Updating Peer Support Group Meeting List using Human-Aided Information Retrieval • アルコール依存症からのリハビリに使われ るピアサポートグループの会合イベントの 一覧を自動作成・更新するツールの開発 手法:情報抽出手法(機械学習) + クラウド ソーシング • 候補ページの抽出(分類)(+クラウド) + イベント項目の抽出(+クラウド) + 最終結果の判定出力(更新) 3
  4. 論文1: HAIR (2) • 情報抽出の各プロセスにク ラウドワーカによる判定作 業を追加するアプローチの 提案  月一回の更新頻度で96時間

    程度のコスト見積 • 感想:  人手同定と機械学習手法を ブレンドする手法は様々あ るものの、論文になりにく く、個別データを使った検 証には一定の価値あり  要議論:正解率の閾値設定 等に応じたアプローチの変 更可能性、どこに人手同定 処理を設けるかといったレ ベルでの手法設計の議論が あるとより有益ではないか 4 Random Forest 確信度 90%未満 抽出漏れ 誤り修正
  5. 論文2: Dyslexia (1) [Perspective Paper] 論点の提示 • Experimental Methods in

    IIR: Resolving the Tension Between Rigour and Ethics in Studies Involving Users with Dyslexia • ディスレクシア(読字障害)のユーザに対 する研究実施(ユーザ実験等)における方 法論的な困難さについて議論 統制された実験環境を保持することが難しい その原因と(一部の)対策を議論 5
  6. 論文2: Dyslexia (2) • ディスレクシア(識字障害) 文字読み取りや短期記憶などの認知処理に障害 全人口の7%程度が識字障害を持つと言われる 障害をもつユーザに対するIIR実験:ユニバーサ ルアクセスの視点からも重要になってきている •

    統制実験計画の設計における課題とは? • 課題 参加者リクルート、サンプリング、実験への同 意、データ収集、課題の提示、課題の遂行、実 験結果の記述 6
  7. 論文2: Dyslexia (3) • 検討事項と提案:  (全体)共感的で包摂的な対応  実験への同意:テキストだけでなく読み上げや、繰り返し同 意をとる等の工夫

     診断:認知テストの実施、診断を受けたことが無い被験者へ の対応等の倫理的課題、複数の異なる障害の度合い  サンプル:学内のサポートグループ等の活用、男性の方が多 い  遂行課題:長時間・多数・難易度の高い課題は避け、バラン スに配慮  課題提示:用語、フォント、スクリーンリーダ・カラース キーマ等の配慮  etc. • 感想:研究上の倫理的な課題を再考させるPerspective paperらしい「良い論文」。改めて統制実験の難しさにつ いて考えさせらる。 7
  8. 論文3: NotifyMeHere (1) • NotifyMeHere: Intelligent Notification Delivery in Multi-Device

    Environments • 目的:日常的な複数デバイスにおける通知 を扱うユーザアクションを調査した上で、 より知的な通知先選択手法の提案と評価 • 手法: ユーザ側の通知対応手段の大規模調査:26名、 21日以上 ユーザの通知を受取りやすいデバイスを選ぶ機 械学習モデルの構築と評価 8
  9. 論文3: NotifyMeHere (2) • データ収集: Androidの通知リスナサービス、活動認識、ネット ワーク接続状態の各API、GPSデータ、デバイス利用 • データセット: 2016年1月~6月:Google

    Play Storeからインストー ルしたユーザのうち、21日以上使用したユーザ26名 57,242通知イベント • + モバイル接触データ:819万件 • + コンテキストデータ:190万件 • データセットから、通知をモバイル端末で扱っ たか、他のデバイスで扱ったかの判別 9
  10. 論文3: NotifyMeHere (3) 10 予測から 除外

  11. 論文3: NotifyMeHere (4) • 通知処理デバイスに影響する要因 Time intervalを除く全要因がカイ二乗検定で有意 差あり 11

  12. 論文3: NotifyMeHere (4) • 前回のコンテキスト(activity, location, network)スイッチからの経過時間を特徴量 に加えた機械学習モデル(個人化モデル) 91%精度 (モバイル通知)

    82%精度(モバイル以外への通知) 12
  13. 論文3: NotifyMeHere (5) • 感想 データの収集がまず大変そう… さらに、「通知の処理」をうまく定義するのが 大変そう… • 大規模データ収集+通知処理推定手法の方法論とし

    て興味深い 一方で、通知処理の選好推定は、もっとユーザ 側のフィードバックデータから見たほうがよさ そうに感じた 13