論文紹介 - Towards Memorable Information Retrieval (ICTIR ‘20) 2020/10/31 IR Reading 2020秋 長瀬幸翼@筑波大学上保研究室

おことわり ● この資料は、ACM SIGIR Tokyo (https://sigir.jp/) 主催の「IR Reading 2021 春」 (https://sigir.jp/post/2021-04-24-irreading_2021spring/)という勉強 会おいて、日本語で海外論文の解説を行うために作成された資料です ● 本資料において引用されている文章および図表の著作権は、すべて元論文 の著者らに帰属します ○ Sihang Qiu, Ujwal Gadiraju, and Alessandro Bozzon. 2020. Towards Memorable Information Retrieval. In Proceedings of the 2020 ACM SIGIR on International Conference on Theory of Information Retrieval (ICTIR '20). Association for Computing Machinery, New York, NY, USA, 69–76. DOI:https://doi.org/10.1145/3409256.3409830 2

発表内容（10min.） 1. どんな研究？ 2. 研究のモチベーション 3. 被験者実験の詳細 4. 実験結果 5. 所感 3

1. どんな研究？ ● Web検索において、検索中にメモを取ったり、会話的インターフェースを 用いたりすると、検索で調べたことを理解・記憶する上でどんな効果があ るか被験者実験で調査 ● 検索中にメモを取ると、検索で調べた内容を短期的に記憶することを助け る効果があることが判明 ● 会話的インターフェースは、検索で調べたことを長期的に記憶することを 助ける効果があることが判明 4

2. 研究のモチベーション ● ユーザにとって、検索して調べたことはなるべくよく理解し、長い間覚え ておきたい ○ 発表者も、一ヶ月の間で同じことを何度も調べてしまうことが… ● メモと会話的インターフェースは、教育・心理学など他分野の先行研究か ら、人間の記憶に良い影響を与えることがわかっていた ○ 実験心理学の実験: 人間は情報を受動的に記憶するよりも、自分で作成したほうが思い出 しやすい ■ [26] Norman J Slamecka and Peter Graf. 1978. The generation effect: Delineation of a phenomenon. Journal of experimental Psychology: Human learning and Memory 4, 6 (1978), 592. ○ 教育系の実験: コンピュータとノートを併用することで、学生の記憶能力が増強された ■ [7] Dung C Bui, Joel Myerson, and Sandra Hale. 2013. Note-taking with computers: Exploring alternative strategies for improved recall. Journal of Educational Psychology 105, 2 (2013), 299. ○ Search as LearningやConversational Searchは、情報検索の分野でもホットな領域 5

3. 被験者実験の詳細 ● 検索中のメモあり/なし x 会話的インターフェースのあり/なしで4通り ● 被験者は事前テスト、事後テスト、長期記憶テストの3つに回答 6

3. 被験者実験の詳細 - 検索インターフェイス ● Web + note-takingなUI ● 一般的なサーチエンジンのUIにメモ機能 が付いている 7

3. 被験者実験の詳細 - 検索インターフェイス 8 ● Conversational + note-takingなUI ● 検索結果が表示されたら、 “Search for something else”, “See more results”, “See my previous notes”などのコマンド を選択し次のステップへ進む

3. 被験者実験の詳細 - 検索タスクとその評価 ● ユーザの検索タスクは、トピックごとのInformation Needに合った情報 を調べること ○ トピックは各被験者にランダムに割り当てられる ● 事前/事後テストでは、トピックについての10の問題に答える ○ 事後テストの点数が高いと、インセンティブが多めにもらえるようにする ■ 事前テストの点数はインセンティブに影響しない 9

3. 被験者実験の詳細 - 検索タスクとその評価 10 ● 事前テスト、事後テスト、長期記憶テストのスコアから、 “knowledge gain”, “information loss”, “information gain”を求める

4. 実験結果 - knowledge gain 11 ● knowledge gain: Web + note-takingのとき有意に（t-testから）スコア平均が高くなった

4. 実験結果 - Long-term information loss 12 ● Long-term information loss: Conversationalなインターフェイスでは、有意に記憶の損失が 少なくなった

5. 所感 13 ● 従来の一般的なサーチエンジンのUIでの調べ事は、一時的に大量の情報を 収集することには向いていても、対話的インターフェイスより比較的すぐ 調べたことを忘れてしまうということは意外だった ○ 従来のUIとnote-takingではコピペ的な行動が多くなり、生成効果が期待できない？ ● 学習支援系のアプリケーションに応用可能なように思えた ○ 検索クエリやクリックしたSERPリンクなどのログと、ノートの内容をまとめて見返すこ とが出来る ■ 何がわからなくて何がわかるようになったかがわかる

まとめ（「1. どんな研究？」の再掲） ● Web検索において、検索中にメモを取ったり、会話的インターフェースを 用いたりすると、検索で調べたことを理解・記憶する上でどんな効果があ るか被験者実験で調査 ● 検索中にメモを取ると、検索で調べた内容を短期的に記憶することを助け る効果があることが判明 ● 会話的インターフェースは、検索で調べたことを長期的に記憶することを 助ける効果があることが判明 14