UI/UXが無意識に検索行動に与える影響について

検索技術勉強会「Search Engineering Tech Talk #1」でお話した内容です。

株式会社メルカリ
Tairo Moriyama（森山 大朗）
https://twitter.com/tairo

Transcript

1. Search Engineering Tech Talk #1 UI/UXが無意識に検索行動に 与える影響について Director of Search Engineering Tairo Moriyama (twitter : @tairo)
2. メルカリについて
3. メルペイ出ました！ぜひ使ってみてください。
4. 自己紹介 Tairo Moriyama（@tairo） ・メルカリ検索チームの責任者 ・前職では求人検索アプリをゼロから立ち上げ ・検索エンジニアとして検索精度の改善に熱中 ・NLPやMLを活用した新機能の開発が得意 ・データの力を使ってお客さまに喜んでもらえるのが快感
5. 絶賛ダイエット中 2018年10月 体重73.8% 体脂肪率23.5% 2019年2月 体重65.3% 体脂肪率17.3%
6. 本日お伝えしたいこと ① メルカリの検索チームが面白くなってきてます ② Sold商品を検索結果に表示するのは理由があります ③ 情報検索(Google等)とメルカリ検索は検索改善の 考え方がちょっと違うかもしれません
7. ①メルカリの検索チームが面白くなってきてます
8. メルカリのSearch Engineering Team
9. メルカリのSearch Engineering Team 「Apache Solr入門」の共著者 6名のうち半数がチームに参画
10. メルカリのSearch Engineering Team Search Algorithm Engineer : - Akira Ishino 石野 明 from Google - Kenji Sugiki 杉木 健二 from 楽天 - Ypeng Lyn from monotaro and 楽天 - Riku Togashi 富樫 陸 from Yahoo - Kei Yagi from 八木 圭Yahoo - Hiroaki Shiino 椎野 弘章 from Yahoo - Yusuke Wada 和田 悠介from Yahoo Search Platform Engineer： - Minoru Osuka 大須賀 稔 from Yahoo - Junpei Nishimoto 西本 純平 from Recruit Technologies - Marne Prasad from 楽天 - Aman Jain, Jithin Sukumar, yuma kanai Engineering Manager： - Reggie Lai from 楽天 Director： - Tairo Moriyama 森山大朗 from Bizreach / Recruit
14. ②Sold商品を検索結果に表示するのは理由があります
15. Sold商品を検索結果に表示しないとどうなるか（USでもJPでも同様） 出品転換率 (↓) 購買転換率 (↓) 取引総数 (↓) （T□T ） えええええええ
16. なんで？
17. 検索しているのは、買いたい人だけじゃないらしい 買いたいと思ってる人の目線 売りたいと思ってる人の目線 「nintendo switch」 + カテゴリー絞り込み
18. 現時点でのこの問題の解決策とtwitterでの反応
19. ③情報検索(Google等)とメルカリ検索は検索改善の 　考え方がちょっと違うかもしれません
20. 検索アルゴリズムで関連性を高めた結果 CTR : 4.5倍 (当然ですが) 割と荒れてた 検索結果
21. 検索アルゴリズムで関連性を高めた結果 CTR : 1/10 なぜ。。。 （T◇T） 別に荒れてない 検索結果
22. なぜなら・・・ 昨年11月のCMで草薙くんが 「3秒に一着出品されています」
23. 新着性が超重要
24. 情報検索と商品検索（メルカリ）の検索UIの違い 情報検索（Google, Yahoo）のUI 商品検索（メルカリ）のUI 上位10個がデフォルトで更 に1~3位に注目している 下の方までかなりスクロールして 「広く眺めている」
25. え？だとすると。。。
26. NDCGでメルカリ検索結果の良し悪しを決めると順位でスコアをDiscountし過ぎてしまう NDCGの事例 GoogleにおけるNDCGのDiscount例 参照元 http://www.seo-scientist.com/ Googleだと3位ですでに1位の3 分の1以下 nDCG = Normalized Discounted Cumulative Gain
27. 一定の関連性を保ちつつ新着性を確保する必要あり
28. F Freshness [新着性] R P Recall [再現率] Precision [適合率] 検索結果に出ている Documentが、どれだけ新しいか 検索クエリに対して必要かつ十分な Documentを、どれだけ多く検索結果に表示できているか 検索結果に表示されたもののうち、ニーズに適合する Documentがどれだけ含まれているか 目立つポジションに、適合する Documentをどれだけ表示できているか メルカリの検索結果を構成する要素と優先順位
29. F Freshness [新着性] R P Recall [再現率] Precision [適合率] 情報検索と商品検索（メルカリ）の検索品質における優先度の違い（相対比較） 優先度No.3 - 多少古くても関連性が高いこと方がまず大事 - stackoverflowやqiitaなどが良い例 優先度No.1 - 多くの商品カテゴリーが高頻度で出品される - 欲しいものがなくても、しばらくすると出品されて検索 結果が変わる可能性がある 優先度No.1 - クローリングのカバー範囲を最大化 - 超大規模なindexをどう分割して分散するか - Tokenizerなどをどう工夫するか 優先度No.2 - メルカリではクローリングの必要はない - ただし商品の「ついで買い」など、セレンディピティ的 にも考慮が必要であり、どこまでが必要十分な検索結 果なのかRecall判定が難しい - 大規模な同義語のクエリ拡張は大事 優先度No.2 - 1位〜5位に関連性が高いものを出す必要がある - UI的に上位に適合する Documentがなければクリッ クせず、従ってADもクリックされない 優先度No.3 - EC、特にメルカリのような CtoCでかつスマホUIの場 合は、かなり下まで気軽にスクロールしており並べ替 えのインパクトは相対的に小さい - 買い物はそもそも「比較検討」行為である 情報検索（Google, Yahoo） 商品検索（メルカリ）
30. さいごに ① メルカリの検索チームに興味ある方はぜひご応募を ② Sold商品はすみません！わざと表示しています ③ メルカリらしい検索改善と検索評価手法を開発中です