メルカリ商品検索のUI/UXと新たな挑戦

Slide 1

Slide 1 text

1 Conﬁdential - Do Not Share Cookpad Product Kitchen #4 ユーザー体験を支える検索・マッチング技術   メルカリ商品検索のUI/UXと新たな挑戦  Tairo Moriyama (twitter : @tairo)  

Slide 2

Slide 2 text

自己紹介  Tairo Moriyama（twitter: @tairo）・メルカリで検索やAI活用などTech系Product Manager ・前職では求人検索アプリをゼロから立ち上げ・検索エンジニアとして検索精度の改善に熱中・最近Recommendationチームを発足し、鋭意開発中・技術でお客さまの不満解消/喜んでもらえる事が快感

Slide 3

Slide 3 text

最近のメルカリについて 

Slide 4

Slide 4 text

メルカリについて [FY2019.6 通期サマリー]  

Slide 5

Slide 5 text

メルペイ x メルカリで実現したいこと  

Slide 6

Slide 6 text

鹿島アントラーズ共々、一緒に頑張っていきます！  

Slide 7

Slide 7 text

昨日の社内イベント「#BoldChallenge」  

Slide 8

Slide 8 text

オープンに、赤裸々に。。。 

Slide 9

Slide 9 text

No content

Slide 10

Slide 10 text

スタンプ

Slide 11

Slide 11 text

No content

Slide 12

Slide 12 text

前回私がお話した検索関連の講演 

Slide 13

Slide 13 text

Search Engineering Tech Talk #1  

Slide 14

Slide 14 text

前回「Search Engineering Tech Talk #1」でお伝えしたこと   ① メルカリの検索チームが面白くなってきてます  ② Sold商品を検索結果に表示するのは理由があります  ③ 情報検索(Google等)とメルカリ検索は検索改善の  考え方がちょっと違うかもしれません 

Slide 15

Slide 15 text

本日はその「後日談」をやります。   ① メルカリ検索チームのその後の検索改善の成果  ② 検索UIを一部カテゴリで変更したのは理由があります  ③ メルカリ検索技術の新たな挑戦 

Slide 16

Slide 16 text

①メルカリ検索チームのその後の検索改善の成果 

Slide 17

Slide 17 text

メルカリのSearch Engineering Team  

Slide 18

Slide 18 text

メルカリのSearch Engineering Team   「Apache Solr入門」の共著者 6名のうち半数がチームに参画

Slide 19

Slide 19 text

メルカリのSearch Engineering Team   Search Algorithm Engineer : - Akira Ishino 石野明 from Google - Ypeng Lyn from monotaro and 楽天 - Kazuaki Hiraga from 楽天 - Takuya Asano from Hatena - Riku Togashi 富樫陸 from Yahoo - Kei Yagi from 八木圭 from Yahoo Search Platform Engineer： - Minoru Osuka 大須賀稔 from Yahoo - Junpei Nishimoto 西本純平 from Recruit Technologies - Marne Prasad from 楽天 - Aman Jain [IIT New Grads] - Jithin Sukumar [IIT New Grads] Engineering Manager： - Reggie Lai from 楽天 Director/Product Manager： - Tairo Moriyama 森山大朗 from Bizreach / Recruit

Slide 20

Slide 20 text

その後どうなったの？ 

Slide 21

Slide 21 text

メルカリのSearch Engineering Teamの成果（2019年9月19日時点）   見事に検索改善しました!  ・購買転換率 (↑)  ・商品閲覧率 (↑)  ・ゼロマッチ経験率（↑）  ・出品転換率 (↑) 

Slide 22

Slide 22 text

検索を改善すると購入だけじゃなくて出品も伸びるの？ 

Slide 23

Slide 23 text

[再掲] 検索しているのは買いたい人だけじゃないらしい   買いたいと思ってる人の目線売りたいと思ってる人の目線「nintendo switch」  の検索結果 

Slide 24

Slide 24 text

事業KPIに対するインパクト  総取引額  GMV  訪問人数  購入転換率  104%  平均単価  ☓  ☓  =  出品転換率  102%  仮にGMVが500億円/月として手数料は10%なので・GMV向上のインパクトは約20億円/月・売上へのインパクトは2億円/月・出品転換からのGMVインパクトはまだ未計算

Slide 25

Slide 25 text

具体的な精度改善アプローチ 

Slide 26

Slide 26 text

検索基盤で利用しているOSS 

Slide 27

Slide 27 text

クエリーリライトのプロセス  ノースフェース Analyzer ノースフェース Query Expander "ノースフェース" OR syn:"north face" Search Engine Items Items Items Items Items Reranker features features features Items Items Items Items Query Parser (Query generator for Search Engine) Analyzer GTXプロジャケット NP61711/ ザ・ノース・フェイス辞書：unidic フレーズ化すべき Termはフレーズにカテゴリーブースト

Slide 28

Slide 28 text

とはいえクエリとの関連性向上だけでは逆にKPIが悪化する 

Slide 29

Slide 29 text

[再掲] 検索アルゴリズムで関連性を高めた結果   CTR : 4.5倍 (当然ですが) 割と荒れてた検索結果

Slide 30

Slide 30 text

[再掲] 検索アルゴリズムで関連性を高めた結果   CTR : 1/10 なぜ。。。  （T◇T）  別に荒れてない検索結果

Slide 31

Slide 31 text

新着性の確保が超重要だから 

Slide 32

Slide 32 text

さらにUIも情報検索とは異なる点に注意 

Slide 33

Slide 33 text

情報検索と商品検索（メルカリ）の検索UIの違い   情報検索（Google, Yahoo）のUI 商品検索（メルカリ）のUI 上位10個がデフォルトで更に1~3位に注目している下の方までかなりスクロールして「広く眺めている」

Slide 34

Slide 34 text

NDCGでメルカリ検索の良し悪しを決めるとスコアをDiscountし過ぎてしまうのでNG   GoogleにおけるNDCGのDiscount例参照元 http://www.seo-scientist.com/ Googleだと3位ですでに1位の3 分の1以下 nDCG = Normalized Discounted Cumulative Gain メルカリにおけるNDCGのDiscount例

Slide 35

Slide 35 text

F Freshness [新着性] R P Recall [再現率] Precision [適合率] 検索結果に出ている Documentが、どれだけ新しいか検索クエリに対して必要かつ十分な Documentを、どれだけ多く検索結果に含めているか検索結果に表示されたもののうち、ニーズに適合する Documentがどれだけ目立つポジション（多くの場合は画面上位）に表示できているかメルカリの検索結果を構成する要素と優先順位   Speed [検索速度] 検索結果をどれだけ速く表示できているか S

Slide 36

Slide 36 text

検索Query全体のHead-Torso-Tail分析   torso Head tail 1400回検索/週 70回/週 [改善済み] Long Tailワードは新検索基盤の方が検索後の購入転換が遥かに多い。 BCRfromSearchで幅広く勝利している。出品転換率も改善している。 [改善見込] Head（検索回数が多い）は新検索基盤がBCRfromSearchで局所的に負けているので今後対処していく 10^4 10^3 10^2 10^1 10^0 [引き分け] Torso（中間）は新検索基盤と旧基盤で勝ち負けが混在している状態

Slide 37

Slide 37 text

実はGoogleも2019年8月からSnipetで新着性を重視するアルゴリズムにアップデート   引用：「Finding fresh, helpful information through featured snippets」

Slide 38

Slide 38 text

②検索UIを一部カテゴリで変更したのは理由があります 

Slide 39

Slide 39 text

この３つの検索結果を見比べてみて下さい  

Slide 40

Slide 40 text

それぞれ検討中に頭の中で何を思い浮かべましたか？ 

Slide 41

Slide 41 text

自動車本体カテゴリーの絞り込み条件が入った時の検索UIを変更しました   CTR高い CTR低い

Slide 42

Slide 42 text

自動車本体カテゴリーの絞り込み条件が入った時の検索UIを変更   ・軽トラの見た目が大事ならまだしも、スペックを比較したいのに写真だけが並んでても意味がない   ・左の場合、逆に商品閲覧率＝CTR は高い状態になる  ・CTRが高いからといって良い検索結果というわけではない   ・右にして閲覧は減ったが購入転換率は変わらない  ・主な要素の比較がスクロールだけで可能になる 

Slide 43

Slide 43 text

自動車パーツカテゴリーにも同じ問題があります  

Slide 44

Slide 44 text

③メルカリ検索技術の新たな挑戦 

Slide 45

Slide 45 text

類似度検索の技術的応用事例 

Slide 46

Slide 46 text

AI出品や写真検索を支えるBackendテクノロジー  46 ➊ 認識対象画像 ➌ 類似数値表現を探索 ➍ 類似商品群 Title: ナイキキャップ Category: メンズ > 帽子 > キャップ Brand: ナイキ Color: 黒 ➎ 類似商品の情報を多数決で要約 k-近傍法 ➋ Deep Learning

Slide 47

Slide 47 text

AIの力で出品を極限まで簡単にする  47 写真から出品バーコード出品 ■商品名お金2.0 ■商品説明 ■カテゴリー本・音楽・ゲーム ■金額本、ゲーム、CD、漫画、DVD、コスメに対応

Slide 48

Slide 48 text

デモ：AI出品＝出品時に画像特徴量で検索している  48

Slide 49

Slide 49 text

Image Search  49

Slide 50

Slide 50 text

市場のダイナミックな変化を伝えて興味を持ってもらいたい 

Slide 51

Slide 51 text

メルカリが進めてきた検索技術とその応用   インストール/ 会員登録する売りたくなる調査する [値付けなど] 買いたくなる検索/比較する出品作業する交渉/購入する Attention Search/ Compare Interest Action 配送作業する受取評価する Ship/ Evaluate ・AI出品/サジェスト・配送サジェスト・価格サジェスト・検索アルゴリズム・同義語拡張・写真検索機能・違反出品検知・異常行動検知

Slide 52

Slide 52 text

これからのチャレンジ  インストール/ 会員登録する売りたくなる調査する [値付けなど] 買いたくなる検索/比較する出品作業する交渉/購入する Attention Search/ Compare Interest Action 配送作業する受取評価する Ship/ Evaluate

Slide 53

Slide 53 text

メルカリの市場変化をマクロかつリアルタイムに見てみる①  

Slide 54

Slide 54 text

メルカリの市場変化をマクロかつリアルタイムに見てみる②   下記は単位時間ごとにメルカリにおいて全お客様の総閲覧時間の推移。突発的なトレンドや取引の熱量可視化し、タイムリーにお客さまにお知らせしたい。

Slide 55

Slide 55 text

さいごに  ① メルカリはBackend Engineerが全然足りません  ② 検索UIもカスタマイズをどんどん実験していきます  ③ 検索技術は様々な顧客体験に応用できる幅が広いです 