MTC2018 - メルカリにおける検索サービスの現在と未来

Speaker: 杉木 健二, 藺 彦鵬

検索チームでは、昨年からサジェスト・関連ワード・おすすめタブなど、検索機能を開発・改善してきました。世界を目指すチームの紹介と具体的な各機能の開発についてご紹介します。

Transcript

1. メルカリにおける検索サービスの現在と未来 杉木 健二 Software Engineer (Search) 藺 彦鵬 Software Engineer (Search)
2. メルカリにおける検索サービスの現在と未来
3. Software Engineer Search Kenji Sugiki
4. メルカリの現在の検索
5. 日本最大規模の商品数
6. アクティブなトラフィックが多い（出品→購入）
7. メルカリのユニークさ＝C2C ・商品のライフサイクルが速い 　・1点もの（一人のお客さまのみが購入可能） ・出品や更新の頻度が高い 　・高いMAU, 流通総額 　・値下げ交渉や再編集などが頻繁に起こる ・マスタ・カタログがほぼ存在しない 検索の機能や品質が非常に大切
8. メルカリを支える検索 タイムライン 商品検索 新規商品通知 関連商品 キーワード サジェスト 関連 キーワード おすすめ タイムライン ここ１年で追加・改善した機能
9. 現在のサーチ基盤 モノリス環境 　　　 　　　 mercari-api 　　　 　　　 ・・・ 　　　 ・・・ マスタ・スレーブ構成 各サービスに合わせて データ分割 プロキシ 内部で煩雑さを吸収
10. サーチ内部API ベーシックな設計 QueryBuilder Reranking SolrFetcher PostItemFilter Search Service QueryRewriter 　　　 パラメータから Solr用のクエリ生成 ロジックABテスト 動的クエリ調整 特定アイテムを 調整・除外 検索フィールド 同義語 トークンフィルタ internal service タイムライン 関連商品など ResultBuilder controller 整形・DBから情報付与 検索パイプライン
11. サーチチームの現在の取り組み ・機能追加・ロジック修正・ABテスト ・Solr運用（同義語、スキーマ変更） ・次世代検索基盤の構築 ・AIによる検索最適化 検索システム・品質改善 ・キーワードサジェスト ・関連キーワード ・レコメンド・パーソナライズ 　・おすすめタイムライン 検索機能・UI/UX改善 商品を探す機能全般を幅広く担当
12. サーチの開発事例紹介
13. おすすめタイムラインタブ 昨年末に公式リリース シンプルな設計で大きな効果
14. mercari-api 閲覧履歴 API 閲覧したアイテムの頻出カテゴリ・ブランドを 取得 user_id Solrフィルタクエリに変換＆キャッシュ データ取得 新着の通知 データ問合せ ポーリング おすすめタイムラインのアーキテクチャ 　　　
15. 関連キーワードサービス
16. 関連キーワードサービス カテゴリごとの人気ワード ブランドごとの人気ワード キーワードに対する関連ワード カテゴリ・ブランドのみ にも対応 ※現在はiOSのみ公式リリース
17. mercari-api 関連ワード 計算バッチ 全データを キャッシュ キーワード カテゴリ、ブランド 関連キーワード 関連キーワードのアーキテクチャ（API側） 名寄せデータ：キーワード→キーワード 関連キーワード：キーワード→関連ワード、・・・ Kubernetes Engine 保存
18. batch pipeline (cron likeに日次実行) Kubernetes Engine 関連キーワード 生成 mercari API 取り込み キーワード 差分削除 関連キーワードのアーキテクチャ（バッチ側; CI/CD） 開発 git push 自動イメージビルド＆デプ ロイ slackでバッチ成否通知
19. ユーザ 検索キーワード アイテム 検索キーワード N x M K x M BigQuery ①キーワード検索→アイテムタップのログ取得 ②キーワード正規化 ・NFKC + 小文字化 ・同義語・NGワード・スペースありなし ・タップ回数が一番多い表記に寄せる ③キーワードごとのカテゴリ・ブランド判定 ・タップしたアイテムから情報取得 ・独自UDFで分布歪みを計算 ・検索絞り込みに対応 ⑤２つのモデルを結合 関連ワードが包含関係なら重複排除 ④ スパース行列に変換し、類似度計算 - キーワード, user_id - キーワード, item_id 関連キーワードの生成
20. Search: The Inner Face of Query Autocomplete
21. Software Engineer Search Yanpeng Lin
22. より安全・安心なマーケットプレイスへ
23. Query Autocomplete (QAC) メルカリ メルカリストア メルカリ本 メルカリ資材 メルカドバッグ Release on Demand Keyword Quality Control
24. QAC built upon microservice platform client API gateway Mercari API Sakura GCP QAC QAC K8S Continuous Testing Continuous Building Continuous Delivery QAC quality control service
25. Release on Demand Pull Request Tagging Continuous Delivery Continuous Testing Continuous Building Continuous Delivery
26. Keyword Quality Control filter function 1 filter function 2 filter function ... filter function ... filter function N recall strategy 1 recall strategy 2 recall strategy ... recall strategy ... recall strategy N QAC (quality control service) matching function
27. Keyword Quality Control (text matching) filter function 1 filter function 2 filter function ... filter function ... filter function N recall strategy 1 recall strategy 2 recall strategy ... recall strategy ... recall strategy N バッグ シャインマスカット エロ XXX バッグ シャインマスカット
28. Keyword Quality Control (semantic matching) matching function keyword item heterogeneous network embedding super-bit hashing lucene angle matching
29. Keyword Quality Control (semantic matching) 子供 ハロウィン ?
30. Keyword Quality Control (semantic matching) 子ども 海賊 ティガー ブー ピーターパン ・・・ 子供 ハロウィン ウッディー
31. QAC microservice recap client API gateway Mercari API Sakura GCP QAC QAC K8S Continuous Testing Continuous Building Continuous Delivery QAC quality control service
32. メルカリの検索の未来
33. 世界基準の検索チームへ ・世界で戦えるメンバー増員中 ・モノリスからマイクロサービスへ ・よりスケーラブルで強固な検索基盤の構築 ・世界に誇れるIR・NLP・ML活用事例を作っていく 　・非構造データの構造化・エンティティ抽出 　・検索改善の高速PDCA 　　・C2C独自の検索評価 　　・自動ランクチューニング（LTR） 　・様々な国際会議へ参加・発表も
34. ７・９月に国際会議参加＆報告会を実施しました ぜひ来年一緒に行きましょう！