Cookpad主催「Product Kitchen #4 ユーザー体験を支える検索・マッチング技術」でお話した内容です。
株式会社メルカリ Tairo Moriyama（森山 大朗） https://twitter.com/tairo
1Confidential - Do Not ShareCookpad Product Kitchen #4 ユーザー体験を支える検索・マッチング技術 メルカリ商品検索のUI/UXと新たな挑戦 Tairo Moriyama (twitter : @tairo)
View Slide
自己紹介 Tairo Moriyama（twitter: @tairo）・メルカリで検索やAI活用などTech系Product Manager・前職では求人検索アプリをゼロから立ち上げ・検索エンジニアとして検索精度の改善に熱中・最近Recommendationチームを発足し、鋭意開発中・技術でお客さまの不満解消/喜んでもらえる事が快感
最近のメルカリについて
メルカリについて [FY2019.6 通期サマリー]
メルペイ x メルカリで実現したいこと
鹿島アントラーズ共々、一緒に頑張っていきます！
昨日の社内イベント「#BoldChallenge」
オープンに、赤裸々に。。。
スタンプ
前回私がお話した検索関連の講演
Search Engineering Tech Talk #1
前回「Search Engineering Tech Talk #1」でお伝えしたこと ① メルカリの検索チームが面白くなってきてます ② Sold商品を検索結果に表示するのは理由があります ③ 情報検索(Google等)とメルカリ検索は検索改善の 考え方がちょっと違うかもしれません
本日はその「後日談」をやります。 ① メルカリ検索チームのその後の検索改善の成果 ② 検索UIを一部カテゴリで変更したのは理由があります ③ メルカリ検索技術の新たな挑戦
①メルカリ検索チームのその後の検索改善の成果
メルカリのSearch Engineering Team
メルカリのSearch Engineering Team 「Apache Solr入門」の共著者6名のうち半数がチームに参画
メルカリのSearch Engineering Team Search Algorithm Engineer :- Akira Ishino 石野 明 from Google- Ypeng Lyn from monotaro and 楽天- Kazuaki Hiraga from 楽天- Takuya Asano from Hatena- Riku Togashi 富樫 陸 from Yahoo- Kei Yagi from 八木 圭 from YahooSearch Platform Engineer：- Minoru Osuka 大須賀 稔 from Yahoo- Junpei Nishimoto 西本 純平 from Recruit Technologies- Marne Prasad from 楽天- Aman Jain [IIT New Grads]- Jithin Sukumar [IIT New Grads]Engineering Manager：- Reggie Lai from 楽天Director/Product Manager：- Tairo Moriyama 森山大朗 from Bizreach / Recruit
その後どうなったの？
メルカリのSearch Engineering Teamの成果（2019年9月19日時点） 見事に検索改善しました! ・購買転換率 (↑) ・商品閲覧率 (↑) ・ゼロマッチ経験率（↑） ・出品転換率 (↑)
検索を改善すると購入だけじゃなくて出品も伸びるの？
[再掲] 検索しているのは買いたい人だけじゃないらしい 買いたいと思ってる人の目線 売りたいと思ってる人の目線「nintendo switch」 の検索結果
事業KPIに対するインパクト 総取引額 GMV 訪問人数 購入転換率 104% 平均単価 ☓ ☓ = 出品転換率 102% 仮にGMVが500億円/月として手数料は10%なので・GMV向上のインパクトは約20億円/月・売上へのインパクトは2億円/月・出品転換からのGMVインパクトはまだ未計算
具体的な精度改善アプローチ
検索基盤で利用しているOSS
クエリーリライトのプロセス ノースフェースAnalyzerノース フェースQueryExpander"ノース フェース" ORsyn:"north face"SearchEngineItemsItemsItemsItemsItemsRerankerfeaturesfeaturesfeaturesItemsItemsItemsItemsQuery Parser(Query generator for Search Engine)Analyzer GTXプロジャケット NP61711/ザ・ノース・フェイス辞書：unidicフレーズ化すべきTermはフレーズにカテゴリーブースト
とはいえクエリとの関連性向上だけでは逆にKPIが悪化する
[再掲] 検索アルゴリズムで関連性を高めた結果 CTR : 4.5倍(当然ですが)割と荒れてた検索結果
[再掲] 検索アルゴリズムで関連性を高めた結果 CTR : 1/10なぜ。。。 （T◇T） 別に荒れてない検索結果
新着性の確保が超重要だから
さらにUIも情報検索とは異なる点に注意
情報検索と商品検索（メルカリ）の検索UIの違い 情報検索（Google, Yahoo）のUI 商品検索（メルカリ）のUI上位10個がデフォルトで更に1~3位に注目している下の方までかなりスクロールして「広く眺めている」
NDCGでメルカリ検索の良し悪しを決めるとスコアをDiscountし過ぎてしまうのでNG GoogleにおけるNDCGのDiscount例参照元 http://www.seo-scientist.com/Googleだと3位ですでに1位の3分の1以下nDCG = Normalized Discounted Cumulative GainメルカリにおけるNDCGのDiscount例
F Freshness [新着性]RPRecall [再現率]Precision [適合率]検索結果に出ている Documentが、どれだけ新しいか検索クエリに対して必要かつ十分な Documentを、どれだけ多く検索結果に含めているか検索結果に表示されたもののうち、ニーズに適合する Documentがどれだけ目立つポジション（多くの場合は画面上位）に表示できているかメルカリの検索結果を構成する要素と優先順位 Speed [検索速度]検索結果をどれだけ速く表示できているかS
検索Query全体のHead-Torso-Tail分析 torsoHeadtail1400回検索/週 70回/週[改善済み] Long Tailワードは新検索基盤の方が検索後の購入転換が遥かに多い。BCRfromSearchで幅広く勝利している。出品転換率も改善している。[改善見込] Head（検索回数が多い）は新検索基盤がBCRfromSearchで局所的に負けているので今後対処していく10^410^310^210^110^0[引き分け] Torso（中間）は新検索基盤と旧基盤で勝ち負けが混在している状態
実はGoogleも2019年8月からSnipetで新着性を重視するアルゴリズムにアップデート 引用：「Finding fresh, helpful information through featured snippets」
②検索UIを一部カテゴリで変更したのは理由があります
この３つの検索結果を見比べてみて下さい
それぞれ検討中に頭の中で何を思い浮かべましたか？
自動車本体カテゴリーの絞り込み条件が入った時の検索UIを変更しました CTR高い CTR低い
自動車本体カテゴリーの絞り込み条件が入った時の検索UIを変更 ・軽トラの見た目が大事ならまだしも、スペックを比較したいのに写真だけが並んでても意味がない ・左の場合、逆に商品閲覧率＝CTRは高い状態になる ・CTRが高いからといって良い検索結果というわけではない ・右にして閲覧は減ったが購入転換率は変わらない ・主な要素の比較がスクロールだけで可能になる
自動車パーツカテゴリーにも同じ問題があります
③メルカリ検索技術の新たな挑戦
類似度検索の技術的応用事例
AI出品や写真検索を支えるBackendテクノロジー 46➊ 認識対象画像➌ 類似数値表現を探索➍ 類似商品群Title:ナイキ キャップCategory:メンズ > 帽子 > キャップBrand:ナイキColor:黒➎ 類似商品の情報を多数決で要約k-近傍法➋ Deep Learning
AIの力で出品を極限まで簡単にする 47写真から出品 バーコード出品■商品名お金2.0■商品説明■カテゴリー本・音楽・ゲーム■金額本、ゲーム、CD、漫画、DVD、コスメに対応
デモ：AI出品＝出品時に画像特徴量で検索している 48
Image Search 49
市場のダイナミックな変化を伝えて興味を持ってもらいたい
メルカリが進めてきた検索技術とその応用 インストール/会員登録する売りたくなる調査する[値付けなど]買いたくなる 検索/比較する出品作業する交渉/購入するAttentionSearch/CompareInterest Action配送作業する受取評価するShip/Evaluate・AI出品/サジェスト・配送サジェスト・価格サジェスト・検索アルゴリズム・同義語拡張・写真検索機能・違反出品検知・異常行動検知
これからのチャレンジ インストール/会員登録する売りたくなる調査する[値付けなど]買いたくなる 検索/比較する出品作業する交渉/購入するAttentionSearch/CompareInterest Action配送作業する受取評価するShip/Evaluate
メルカリの市場変化をマクロかつリアルタイムに見てみる①
メルカリの市場変化をマクロかつリアルタイムに見てみる② 下記は単位時間ごとにメルカリにおいて全お客様の総閲覧時間の推移。突発的なトレンドや取引の熱量可視化し、タイムリーにお客さまにお知らせしたい。
さいごに ① メルカリはBackend Engineerが全然足りません ② 検索UIもカスタマイズをどんどん実験していきます ③ 検索技術は様々な顧客体験に応用できる幅が広いです
tairosan
you
trycycle
ryohatanmonolog
startree
nyankotaro
satoshirobatofujimoto
kawaguti
doradora09
moritamasami
kumamatsu
takaking22
kneath
chriscoyier
addyosmani
holman
hannesfritz
smashingmag
jponch
jacobian
sferik
keathley
jnunemaker