Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
10Xの検索を10xしたい at 【10X/M3/CADDi】検索エンジン運用勉強会
Search
Ryusuke Chiba
August 18, 2022
Programming
5
1.2k
10Xの検索を10xしたい at 【10X/M3/CADDi】検索エンジン運用勉強会
「【10X/M3/CADDi】検索エンジン運用勉強会」での発表で利用した資料です
Ryusuke Chiba
August 18, 2022
Tweet
Share
More Decks by Ryusuke Chiba
See All by Ryusuke Chiba
10Xの検索を10xしたい at 第49回Elasticsearch勉強会
metalunk
0
420
プログラマのための線形代数 おまけ
metalunk
1
120
メルカリにおける AI 活用事例 PyCon JP 2018
metalunk
8
6.5k
メルカリの機械学習基盤 これまでとこれから ML Ops Study #2
metalunk
0
740
機械学習によるマーケット健全化 Mercari ML Ops Night #1
metalunk
3
5.2k
Other Decks in Programming
See All in Programming
ドメイン・ファーストで考える問題解決に役立つモデル設計 / Domain First Model Design
suzushin54
1
1.4k
実践!RDRAを活用した既存システムの仕様変更 / Specification Changes in Existing Systems Utilizing RDRA
imamotohikaru
0
2.5k
incrementalモデルの理解を深める
ikkimiyazaki
2
640
両面どころかインフラもTSでできるよ ~ 全方位TypeScriptによるプロダクト開発 ~
myfinder
8
2.2k
Material 3で Material 2ぽい見た目にする
numeroanddev
2
250
ファイル先頭の use の意味、説明できますか? 〜PHP の namespace と autoloading の関係を正しく理解しよう〜 / namespace and autoloading in php
okashoi
2
470
ここ1~2年くらいで 使えるようになった(主要ブラウザーの最新版 がすべて対応した ) ウェブの新機能について ランダムに喋る!
myzkyy
9
6.5k
クソコード動画『カプセル化 Mk-II』 で考える 上手くカプセル化できない理由 / encapsulation2
minodriven
11
7.8k
Why 1 + 1 = 2 in Swift?
1plus4
1
240
コミュニティに参加したことで起きた変化
ohmori_yusuke
3
130
PHPerKaigi 2024〜10年以上動いているレガシーなバッチシステムを Kubernetes(Amazon EKS) に移行する取り組み〜
tshinowpub
1
220
イベントストーミングによるオブジェクトモデリング・オブジェクト指向プログラミングの適用・開発プロセスの変遷・アーキテクチャの変革 / Object modeling with Event Storming.
nrslib
12
3k
Featured
See All Featured
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
226
16k
Build The Right Thing And Hit Your Dates
maggiecrowley
23
1.9k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
67
38k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
12
1.4k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
1
1.2k
Optimizing for Happiness
mojombo
369
69k
Making Projects Easy
brettharned
106
5.4k
Rails Girls Zürich Keynote
gr2m
91
13k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
657
120k
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3k
Faster Mobile Websites
deanohume
296
30k
RailsConf 2023
tenderlove
0
510
Transcript
©10X, Inc. All Rights Reserved. 【10X/M3/CADDi】検索エンジン運用勉強会 #Search_C10Xm3 10Xの検索を10xしたい @metalunk 1
©10X, Inc. All Rights Reserved. 2 10X が提供する Stailer の説明
チェーンストアECの垂直立ち上げプラットフォーム
©10X, Inc. All Rights Reserved. チェーンストアECの垂直立ち上げプラットフォーム Stailer 3 スーパーマーケットやドラッグストアの E-commerce
アプリ制作からオペレーションまで(詳しくは次のページ) インテグレータでなくプラットフォーム https://yamotty.tokyo/post/20220605 Smart retailer
©10X, Inc. All Rights Reserved. チェーンストアECの垂直立ち上げプラットフォーム Stailer 4
©10X, Inc. All Rights Reserved. 5 半年間で実施した検索改善
©10X, Inc. All Rights Reserved. 半年間で実施した検索改善 2022年1月からの半年間で取り組んだこと • Slow
query の解決(検索速度 10x) • Hardware profile の変更(コスト 80% 削減) • 検索キーワードサジェスト • カテゴリフィルタ • bigram • シノニム辞書を Search time に展開 • イベントログからシノニムルールの生成 今日は青字の部分だけ説明します 6 詳しくは https://product.10x.co.jp/entry/serch-10x https://product.10x.co.jp/entry/search-10x-ii
©10X, Inc. All Rights Reserved. Slow query の解決(検索速度 10x) 解決したい問題
• 張り付く CPU usage • 遅いレスポンス 7 半年間で実施した検索改善 リクエスト増,データ増に伴い増えるコスト
©10X, Inc. All Rights Reserved. Slow query の解決(検索速度 10x) やったこと
• Slow query log を出し,集計 • 遅いクエリを Search Profiler で解析 • クエリを改善する手段を考え,dev で実験 • リリース という ISUCON(今年は予選突破なりませんでした) 8 半年間で実施した検索改善
©10X, Inc. All Rights Reserved. Slow query の解決(検索速度 10x) 結論:
Elasticsearch が自動 mapping してくれた field に問題があった 1. siteType (パートナーの ID) を long 型で保管していた 2. siteType はほとんど全てのクエリで絞り込み条件に使うから,これが遅いとみんな遅い 3. long 型の絞り込みは PointInSetQuery で,木構造だろうからおそらく検索時の時間計算量は O(logN) 4. ドメイン知識を使うと siteType は enum であることがわかる 5. keyword 型にして InvertedIndex を作ると検索時の時間計算量は O(1) 9
©10X, Inc. All Rights Reserved. Slow query の解決(検索速度 10x) 10
半年間で実施した検索改善
©10X, Inc. All Rights Reserved. 検索キーワードサジェスト 解決したい問題 • Zero match
検索が多い やったこと • お客さまを良いキーワードに誘導し,Zero match 検索を減らす(Recall の向上) 11 半年間で実施した検索改善
©10X, Inc. All Rights Reserved. 検索キーワードサジェスト 12 半年間で実施した検索改善
©10X, Inc. All Rights Reserved. 検索キーワードサジェスト 結果 • 12.7% のゼロマッチ検索を削減した
• 検索が使いやすくなった 13 半年間で実施した検索改善
©10X, Inc. All Rights Reserved. 14 2022年1月からの半年間で取り組んだこと • Slow
query の解決(検索速度 10x) • Hardware profile の変更(コスト 80% 削減) • 検索キーワードサジェスト • カテゴリフィルタ • bigram • シノニム辞書を Search time に展開 • イベントログからシノニムルールの生成 今日発表できなかった改善事例は 8/31 の「第49回Elasticsearch勉強会」で発表する予定です https://www.meetup.com/ja-JP/tokyo-elastic-fantastics/events/287299123/
©10X, Inc. All Rights Reserved. 15 いま取り組んでいる推薦
©10X, Inc. All Rights Reserved. いま取り組んでいる推薦 Stailer における商品の Discovery のうち,お客さまが能動的に探す検索はまあまあいい状態になっ
てきたから,次はお客さまに受動的に商品を見つけてもらいたい 16 • 初期リリースでは MLOps 部分をきっちり作り,モデルは簡単なもの(ε-greedy のバンディッ ト)を出す • MLOps を @metalunk, Data science を Growth チームの2人で担当 • 出したらまたどこかで発表します 推薦やるぞ!
©10X, Inc. All Rights Reserved. 17 10X のすゝめ
©10X, Inc. All Rights Reserved. 10X のいいところ10個あげます 1. メンバーが賢い.自律的 2.
心理的安全性が高い(Brilliant jerk がいない) 3. 経営陣が信頼できる 4. SO に夢が持てる 5. スタートアップなのにまあまあ高い給与水準 6. Stailer を作ることで世界をよくできる 7. 事業が成長している 8. 日本のどこに住んでもいい 9. フルリモート OK 10. 家族第一 18
©10X, Inc. All Rights Reserved. カジュアル面談しませんか? この通り,検索はまだ基本的なことしかやっておらず,やることはたくさんあります 検索エンジニアが入社したら活躍できる状態を作りました
どんな人に来てほしい? • Stailer の検索を 10x できる人 • 検索,推薦合わせて Discovery という大きい Issue をまるっとやるのも大歓迎 Job description はこちら: https://open.talentio.com/r/1/c/10x/pages/59532 まずはカジュアル面談お願いします!: https://meety.net/matches/VKrfjFMdjWsC 19