メルカリ商品検索のUI/UXと新たな挑戦

Cookpad主催「Product Kitchen #4 ユーザー体験を支える検索・マッチング技術」でお話した内容です。

株式会社メルカリ
Tairo Moriyama（森山 大朗）
https://twitter.com/tairo

Transcript

1. 1 Confidential - Do Not Share Cookpad Product Kitchen #4 ユーザー体験を支える検索・マッチング技術 
 メルカリ商品検索のUI/UXと新たな挑戦
 Tairo Moriyama (twitter : @tairo) 

2. 自己紹介
 Tairo Moriyama（twitter: @tairo） ・メルカリで検索やAI活用などTech系Product Manager ・前職では求人検索アプリをゼロから立ち上げ ・検索エンジニアとして検索精度の改善に熱中 ・最近Recommendationチームを発足し、鋭意開発中 ・技術でお客さまの不満解消/喜んでもらえる事が快感
3. 最近のメルカリについて

4. メルカリについて [FY2019.6 通期サマリー] 

5. メルペイ x メルカリで実現したいこと 

6. 鹿島アントラーズ共々、一緒に頑張っていきます！ 

7. 昨日の社内イベント「#BoldChallenge」 

8. オープンに、赤裸々に。。。

10. スタンプ
12. 前回私がお話した検索関連の講演

13. Search Engineering Tech Talk #1 

14. 前回「Search Engineering Tech Talk #1」でお伝えしたこと 
 ① メルカリの検索チームが面白くなってきてます
 ② Sold商品を検索結果に表示するのは理由があります
 ③ 情報検索(Google等)とメルカリ検索は検索改善の
 考え方がちょっと違うかもしれません

15. 本日はその「後日談」をやります。 
 ① メルカリ検索チームのその後の検索改善の成果
 ② 検索UIを一部カテゴリで変更したのは理由があります
 ③ メルカリ検索技術の新たな挑戦

16. ①メルカリ検索チームのその後の検索改善の成果

17. メルカリのSearch Engineering Team 

18. メルカリのSearch Engineering Team 
 「Apache Solr入門」の共著者 6名のうち半数がチームに参画
19. メルカリのSearch Engineering Team 
 Search Algorithm Engineer : - Akira Ishino 石野 明 from Google - Ypeng Lyn from monotaro and 楽天 - Kazuaki Hiraga from 楽天 - Takuya Asano from Hatena - Riku Togashi 富樫 陸 from Yahoo - Kei Yagi from 八木 圭 from Yahoo Search Platform Engineer： - Minoru Osuka 大須賀 稔 from Yahoo - Junpei Nishimoto 西本 純平 from Recruit Technologies - Marne Prasad from 楽天 - Aman Jain [IIT New Grads] - Jithin Sukumar [IIT New Grads] Engineering Manager： - Reggie Lai from 楽天 Director/Product Manager： - Tairo Moriyama 森山大朗 from Bizreach / Recruit
20. その後どうなったの？

21. メルカリのSearch Engineering Teamの成果（2019年9月19日時点） 
 見事に検索改善しました!
 ・購買転換率 (↑)
 ・商品閲覧率 (↑)
 ・ゼロマッチ経験率（↑）
 ・出品転換率 (↑)

22. 検索を改善すると購入だけじゃなくて出品も伸びるの？

23. [再掲] 検索しているのは買いたい人だけじゃないらしい 
 買いたいと思ってる人の目線 売りたいと思ってる人の目線 「nintendo switch」
 の検索結果

24. 事業KPIに対するインパクト
 総取引額
 GMV
 訪問人数
 購入転換率
 104%
 平均単価
 ☓
 ☓
 =
 出品転換率
 102%
 仮にGMVが500億円/月として手数料は10%なので ・GMV向上のインパクトは約20億円/月 ・売上へのインパクトは2億円/月 ・出品転換からのGMVインパクトはまだ未計算
25. 具体的な精度改善アプローチ

26. 検索基盤で利用しているOSS

27. クエリーリライトのプロセス
 ノースフェース Analyzer ノース フェース Query Expander "ノース フェース" OR syn:"north face" Search Engine Items Items Items Items Items Reranker features features features Items Items Items Items Query Parser (Query generator for Search Engine) Analyzer GTXプロジャケット NP61711/ ザ・ノース・フェイス 辞書：unidic フレーズ化すべき Termはフレーズに カテゴリー ブースト
28. とはいえクエリとの関連性向上だけでは逆にKPIが悪化する

29. [再掲] 検索アルゴリズムで関連性を高めた結果 
 CTR : 4.5倍 (当然ですが) 割と荒れてた 検索結果
30. [再掲] 検索アルゴリズムで関連性を高めた結果 
 CTR : 1/10 なぜ。。。
 （T◇T）
 別に荒れてない 検索結果
31. 新着性の確保が超重要だから

32. さらにUIも情報検索とは異なる点に注意

33. 情報検索と商品検索（メルカリ）の検索UIの違い 
 情報検索（Google, Yahoo）のUI 商品検索（メルカリ）のUI 上位10個がデフォルトで更 に1~3位に注目している 下の方までかなりスクロールして 「広く眺めている」
34. NDCGでメルカリ検索の良し悪しを決めるとスコアをDiscountし過ぎてしまうのでNG 
 GoogleにおけるNDCGのDiscount例 参照元 http://www.seo-scientist.com/ Googleだと3位ですでに1位の3 分の1以下 nDCG = Normalized Discounted Cumulative Gain メルカリにおけるNDCGのDiscount例
35. F Freshness [新着性] R P Recall [再現率] Precision [適合率] 検索結果に出ている Documentが、どれだけ新しいか 検索クエリに対して必要かつ十分な Documentを、どれだけ多く検索結果に含めているか 検索結果に表示されたもののうち、ニーズに適合する Documentがどれだけ目立つポジション（多くの 場合は画面上位）に表示できているか メルカリの検索結果を構成する要素と優先順位 
 Speed [検索速度] 検索結果をどれだけ速く表示できているか S
36. 検索Query全体のHead-Torso-Tail分析 
 torso Head tail 1400回検索/週 70回/週 [改善済み] Long Tailワードは新検索基盤の 方が検索後の購入転換が遥かに多い。 BCRfromSearchで幅広く勝利している。出 品転換率も改善している。 [改善見込] Head（検索回数が多い）は新検索 基盤がBCRfromSearchで局所的に負けて いるので今後対処していく 10^4 10^3 10^2 10^1 10^0 [引き分け] Torso（中間）は新検索基盤と旧基 盤で勝ち負けが混在している状態
37. 実はGoogleも2019年8月からSnipetで新着性を重視するアルゴリズムにアップデート 
 引用：「Finding fresh, helpful information through featured snippets」
38. ②検索UIを一部カテゴリで変更したのは理由があります

39. この３つの検索結果を見比べてみて下さい 

40. それぞれ検討中に頭の中で何を思い浮かべましたか？

41. 自動車本体カテゴリーの絞り込み条件が入った時の検索UIを変更しました 
 CTR高い CTR低い
42. 自動車本体カテゴリーの絞り込み条件が入った時の検索UIを変更 
 ・軽トラの見た目が大事ならまだし も、スペックを比較したいのに写真だ けが並んでても意味がない 
 ・左の場合、逆に商品閲覧率＝CTR は高い状態になる
 ・CTRが高いからといって良い検索結 果というわけではない 
 ・右にして閲覧は減ったが購入転換 率は変わらない
 ・主な要素の比較がスクロールだけ で可能になる

43. 自動車パーツカテゴリーにも同じ問題があります 

44. ③メルカリ検索技術の新たな挑戦

45. 類似度検索の技術的応用事例

46. AI出品や写真検索を支えるBackendテクノロジー
 46 ➊ 認識対象画像 ➌ 類似数値表現を探索 ➍ 類似商品群 Title: ナイキ キャップ Category: メンズ > 帽子 > キャップ Brand: ナイキ Color: 黒 ➎ 類似商品の情報を多数決で要約 k-近傍法 ➋ Deep Learning
47. AIの力で出品を極限まで簡単にする
 47 写真から出品 バーコード出品 ▪商品名 お金2.0 ▪商品説明 ▪カテゴリー 本・音楽・ゲーム ▪金額 本、ゲーム、CD、漫画、DVD、コスメに対応
48. デモ：AI出品＝出品時に画像特徴量で検索している
 48
49. Image Search
 49
50. 市場のダイナミックな変化を伝えて興味を持ってもらいたい

51. メルカリが進めてきた検索技術とその応用 
 インストール/ 会員登録 する 売りたくなる 調査する [値付けなど] 買いたくなる 検索/比較する 出品作業する 交渉/購入する Attention Search/ Compare Interest Action 配送作業する 受取評価する Ship/ Evaluate ・AI出品/サジェスト ・配送サジェスト ・価格サジェスト ・検索アルゴリズム ・同義語拡張 ・写真検索機能 ・違反出品検知 ・異常行動検知
52. これからのチャレンジ
 インストール/ 会員登録 する 売りたくなる 調査する [値付けなど] 買いたくなる 検索/比較する 出品作業する 交渉/購入する Attention Search/ Compare Interest Action 配送作業する 受取評価する Ship/ Evaluate
53. メルカリの市場変化をマクロかつリアルタイムに見てみる① 

54. メルカリの市場変化をマクロかつリアルタイムに見てみる② 
 下記は単位時間ごとにメルカリにおいて全お客様の総閲覧時間の推移。突発的なトレンドや取引の熱量可視 化し、タイムリーにお客さまにお知らせしたい。
55. さいごに
 ① メルカリはBackend Engineerが全然足りません
 ② 検索UIもカスタマイズをどんどん実験していきます
 ③ 検索技術は様々な顧客体験に応用できる幅が広いです