Upgrade to Pro — share decks privately, control downloads, hide ads and more …

論文紹介 / [SIGIR 2020] Query Reformulation in E-Commerce Search

論文紹介 / [SIGIR 2020] Query Reformulation in E-Commerce Search

情報検索_推薦論文読み祭り#1 で発表した内容です。

開催内容: https://m3-engineer.connpass.com/event/217338/
開催動画: https://www.youtube.com/watch?v=rxLoMFft7WA

133ee2f6898a8dc5d2093f024059924a?s=128

tomoya yamazaki

July 28, 2021
Tweet

Transcript

  1. 論文紹介
 [SIGIR 2020] Query Reformulation 
 in E-Commerce Search
 @

    情報検索/推薦 各社合同 論文読み祭 #1
 2021/07/15
 株式会社ZOZOテクノロジーズ
 ZOZO研究所検索チーム 山﨑朋哉
 © ZOZO Technologies, Inc. 1
  2. © ZOZO Technologies, Inc. 2 イントロダクション Web検索 vs EC検索

  3. © ZOZO Technologies, Inc. 3 イントロ: Web検索 vs EC検索 Web検索

    EC検索 最近のEC検索系の論文の論調の一例 • 「本提案手法/本調査は、Web検索の文脈では多く研究されて いるが、EC検索に適用した例が無い」 https://www.google.com/ https://www.amazon.co.jp/
  4. © ZOZO Technologies, Inc. 4 Web検索 → EC検索の例: ランキング学習 Web検索の場合

    • Web検索の文脈ではランキング学習は数多く 研究されている ◦ [2011] Yahoo! Learning to Rank Challenge Overview など 論文の貢献 (一部) • ECサイト検索として初めてランキング学習モデル を活用する際の効果的な特徴量とRelevancyにつ いて網羅的に調査した。 [2017 SIGIR] On Application of Learning to Rank for E-Commerce Search
  5. © ZOZO Technologies, Inc. 5 Web検索 → EC検索の例: 検索行動の調査 Web検索の場合

    • Web検索でのユーザーの行動の目的 ◦ Navigational: 特定のサイトに行きたい ◦ Informational: 情報を収集したい ◦ Transactional: Webを介した行動したい (購入など) ◦ 参考: [2002 SIGIR] A taxonomy of web search 論文の貢献 (一部) • EC検索においてのユーザー行動を特定した ◦ Target Finding: 購入したい特定の商品を決めている ◦ Decision Making: 漠然とした強い購入意図を持っている ◦ Explore: 特定の商品を意識せず探索したい [2018 WSDM] User Intent, Behaviour, and Perceived Satisfaction in Product Search
  6. © ZOZO Technologies, Inc. 6 Web検索 → EC検索の例: クエリサジェスト Web検索の場合

    • 過去のクリックログを使って、入力クエリに対するサ ジェストを作成する ◦ [2006 IFIP PPAI] Automatic query recommendation using click-through 論文の貢献 (一部) • Web検索とは異なり、ECサイトでは、 検索結果の商品が売り切れ/補充の可能性がある。 • このようなECサイトならではの問題に対応した サジェスト作成方法を提案した。 [2011 WSDM] Query Suggestion for E-Commerce Sites 画像引用: https://staff.fnwi.uva.nl/m.derijke/wp-content/papercite-data/pdf/cai-survey-2016.pdf
  7. © ZOZO Technologies, Inc. 7 本日紹介する論文: 検索クエリ書き換えについて [2020 SIGIR] Query

    Reformulation in E-Commerce Search 超概要 (今までのとパターンは同じ) • 入力された検索クエリの書き換えは、 Web検索では多く研究されているが、 EC検索では深く調査されていない
  8. © ZOZO Technologies, Inc. 8 論文紹介
 Query Reformulation 
 in

    E-Commerce Search
 Sharon Hirsch , Ido Guy , Alexander Nus , Arnon Dagan , Oren Kurland
 Technion - Israel Institute of Technology, Haifa, Israel 
 eBay Research, Netanya, Israel
 
 @ SIGIR 2020
 論文リンク: https://ie.technion.ac.il/~kurland/queryReform.pdf 

  9. © ZOZO Technologies, Inc. 9 論文概要 どんなもの? • EC検索でのQuery Reformulation

    (QR)について分析した 先行研究と比べてどこがすごい? • Web検索では多く分析されていたQRについて、初めてEC検 索で深く分析したこと • ある検索クエリがReformulationされるかを予測するタスクを 初めて提案して、高精度の手法を提案したこと 技術や手法のキモはどこ? • QRの発生をJaccard係数ベースで定義して、QRの発生する セッションごとに分けて分析した点 どうやって有効だと検証した? • eBayの大規模なデータについて分析/実装した • 予測タスクについてはナイーブな手法と比較した
  10. © ZOZO Technologies, Inc. 10 Query Reformulationとは ECサイトでの ユーザーの セッション

    ※30分以内 「iPhone」 で検索 検索結果を 探索 「iPhone 10」 で検索 検索結果を 探索 ・・・ 「Tシャツ」 で検索
  11. © ZOZO Technologies, Inc. 11 Query Reformulationとは ECサイトでの ユーザーの セッション

    ※30分以内 「iPhone」 で検索 検索結果を 探索 「iPhone 10」 で検索 検索結果を 探索 ・・・ Query Reformulation Query Reformulation (QR) • ユーザーの検索意図は変わらないまま、 クエリの内容を書き換えること • QRの目的はユーザーの意図に親しい検索結果を表示するこ と 「Tシャツ」 で検索
  12. © ZOZO Technologies, Inc. 12 Reformulation Sessionとは 画像引用: https://dl.acm.org/doi/10.1145/3397271.3401065#sec-supp

  13. © ZOZO Technologies, Inc. 13 Reformulation Sessionとは 画像引用: https://dl.acm.org/doi/10.1145/3397271.3401065#sec-supp Reformulation

    Session (RS) • 前のクエリのトークンのJaccard係数が0より大きいなら Reformulation判定する ※実際に人手で訓練データを作成し、閾値・手法の調査を行っている (詳細は論文参照) Reformulation Session Reformulation Session
  14. © ZOZO Technologies, Inc. 14 Reformulation Sessionとは 画像引用: https://dl.acm.org/doi/10.1145/3397271.3401065#sec-supp Firstクエリ:

    各セッション全体の最初のクエリ Freshクエリ: 各RSの最初のクエリ
  15. © ZOZO Technologies, Inc. 15 調査対象のデータセット • eBayのクエリログ ◦ 2019/1,

    2019/5 の2つの同様のデータセット ◦ eBay session: 40万 (全体の0.37%に相当) ◦ ユーザー数: 約37.5万人
  16. © ZOZO Technologies, Inc. 16 Reformulation Typeの分析 画像引用: https://dl.acm.org/doi/10.1145/3397271.3401065#sec-supp •

    Reformulation Type ◦ Add: 詳しい情報が欲しい ◦ Remove: 広い情報が欲しい • 全体の分析結果 ◦ Add > Remove Type 変換前 変換後 Add iphone iphone 10 Replace iphone ケース iphone カバー Remove iphone 10 iphone
  17. © ZOZO Technologies, Inc. 17 Reformulation Typeの分析 • Reformulation Type

    ◦ Add: 詳しい情報が欲しい ◦ Remove: 広い情報が欲しい • RSの分析結果 ◦ Addは徐々に減っていく ◦ セッションの最初では、特にAddが多い Type 変換前 変換後 Add iphone iphone 10 Replace iphone ケース iphone カバー Remove iphone 10 iphone
  18. © ZOZO Technologies, Inc. 18 検索結果の変遷についての分析結果 • RS中の検索結果の重複を各ポジション別に分析 ◦ overlap@k:

    Top kの重複の割合 ◦ Item: 商品自体の重複 ◦ LC: Leaf category (詳細のカテゴリ) の重複 ◦ MC: Meta category (大分類、全43種) の重複 → アイテムの重複はほぼ無いが、カテゴリは安定していく overlap@10 overlap@50
  19. © ZOZO Technologies, Inc. 19 ユーザーのアクションについての分析結果 • クリック率・購入率の調査 高 微高

    高 高 高
  20. © ZOZO Technologies, Inc. 20 ユーザーのアクションについての分析結果 • クリック率・購入率の調査 ◦ Reformulation

    vs Non-reformulationのCTRの比較結果は Web検索の結果に類似 高 微高 高 高 高
  21. © ZOZO Technologies, Inc. 21 ユーザーのアクションについての分析結果 • 各セッションごとのクリック率・購入率の調査 ◦ セッション最後CTR,

    購入率が高い R: reformulation session S: eBay Session
  22. © ZOZO Technologies, Inc. 22 RSの分析結果まとめ • Reformulation Typeの分析 ◦

    Add > Remove ◦ 特にセッションの初期はAddが多い • 検索結果の変遷の分析 ◦ アイテムの重複はほぼ無いが、カテゴリは安定していく ◦ 「アイテムの重複がない」がWeb検索と異なる点 • クリック率・購入率の分析 ◦ Reformulationされるクエリはクリック率・購入率が低い ◦ 各セッションの最後のクエリが最も高い ◦ Reformulation vs non-ReformulationのCTRの比較は   Web検索の結果と類似
  23. © ZOZO Technologies, Inc. 23 Reformulationの予測問題への取り組み タスク設定 ◦ 入力されたクエリがReformulationされるかを予測 ◦

    AUC, F1で評価 タスクの目的 ◦ Reformulationされないクエリは「特定の商品を求めてい る」意図が強いクエリとして扱える ◦ Reformulationの予測結果に応じて異なるランキングモデ ルを適用するなどの応用が考えられる 対象のクエリ 画像引用: https://dl.acm.org/doi/10.1145/3397271.3401065#sec-supp
  24. © ZOZO Technologies, Inc. 24 Reformulationの予測問題への取り組み モデル: Random Forest, GBDT,

    SVM, NN 特徴量: ◦ Pre-retrieval: 過去ログや統計値など、検索前の特徴量 ◦ Post-retrieval: 検索結果TopN件の情報など、検索後の特徴量 特徴量 Pre-retrieval Post-Retrieval カテゴリー ✔ ✔ クエリの属性 (例: あるクエリに対して、あるカテゴリが何回表 示されたか?) ✔ ✔ 既存研究でのQPPの特徴量 ✔ ✔ QPPの追加特徴量 ✔ User History ✔ Query History ✔ QPP: Query Performance Predictors
  25. © ZOZO Technologies, Inc. 25 Reformulationの予測問題への取り組み 画像引用: https://dl.acm.org/doi/10.1145/3397271.3401065#sec-supp GBDTが最も良い

  26. © ZOZO Technologies, Inc. 26 Pre-retrieval vs Post-retrievalの特徴量の比較 画像引用: https://dl.acm.org/doi/10.1145/3397271.3401065#sec-supp

    GBDTを用いて比較すると、Post-retrievalが良く効いている
  27. © ZOZO Technologies, Inc. 27 論文まとめ (再掲) どんなもの? • EC検索でのQuery

    Reformulation (QR)について分析した 先行研究と比べてどこがすごい? • Web検索では多く分析されていたQRについて、初めてEC検 索で深く分析したこと • ある検索クエリがReformulationされるかを予測するタスクを 初めて提案して、高精度の手法を提案したこと 技術や手法のキモはどこ? • QRの発生をJaccard係数ベースで定義して、QRの発生する セッションごとに分けて分析した点 どうやって有効だと検証した? • eBayの大規模なデータについて分析/実装した • 予測タスクについてはナイーブな手法と比較した
  28. None