Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
10Xの検索を10xしたい at 第49回Elasticsearch勉強会
Search
Ryusuke Chiba
August 31, 2022
Technology
0
490
10Xの検索を10xしたい at 第49回Elasticsearch勉強会
Ryusuke Chiba
August 31, 2022
Tweet
Share
More Decks by Ryusuke Chiba
See All by Ryusuke Chiba
10Xの検索を10xしたい at 【10X/M3/CADDi】検索エンジン運用勉強会
metalunk
5
1.3k
プログラマのための線形代数 おまけ
metalunk
1
150
メルカリにおける AI 活用事例 PyCon JP 2018
metalunk
8
6.8k
メルカリの機械学習基盤 これまでとこれから ML Ops Study #2
metalunk
0
840
機械学習によるマーケット健全化 Mercari ML Ops Night #1
metalunk
3
5.4k
Other Decks in Technology
See All in Technology
手を動かしてレベルアップしよう!
maruto
0
240
IAMポリシーのAllow/Denyについて、改めて理解する
smt7174
2
210
日経のデータベース事業とElasticsearch
hinatades
PRO
0
260
JavaにおけるNull非許容性
skrb
2
2.7k
Oracle Database Technology Night #87-1 : Exadata Database Service on Exascale Infrastructure(ExaDB-XS)サービス詳細
oracle4engineer
PRO
1
210
開発者のための FinOps/FinOps for Engineers
oracle4engineer
PRO
2
200
"TEAM"を導入したら最高のエンジニア"Team"を実現できた / Deploying "TEAM" and Building the Best Engineering "Team"
yuj1osm
1
230
プルリクエストレビューを終わらせるためのチーム体制 / The Team for Completing Pull Request Reviews
nekonenene
1
200
AWSではじめる Web APIテスト実践ガイド / A practical guide to testing Web APIs on AWS
yokawasa
8
750
わたしがEMとして入社した「最初の100日」の過ごし方 / EMConfJp2025
daiksy
14
5.3k
いまからでも遅くない!コンテナでWebアプリを動かしてみよう!コンテナハンズオン編
nomu
0
170
LINE NEWSにおけるバックエンド開発
lycorptech_jp
PRO
0
330
Featured
See All Featured
Fashionably flexible responsive web design (full day workshop)
malarkey
406
66k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Optimising Largest Contentful Paint
csswizardry
34
3.1k
Agile that works and the tools we love
rasmusluckow
328
21k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
114
51k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
33
2.8k
Stop Working from a Prison Cell
hatefulcrawdad
268
20k
Why You Should Never Use an ORM
jnunemaker
PRO
55
9.2k
Transcript
©10X, Inc. All Rights Reserved. 第49回 Elaticsearch 勉強会 10Xの検索を10xしたい @metalunk
1
©10X, Inc. All Rights Reserved. 2 10X が提供する Stailer の説明
チェーンストアECの垂直立ち上げプラットフォーム
©10X, Inc. All Rights Reserved. チェーンストアECの垂直立ち上げプラットフォーム Stailer 3 スーパーマーケットやドラッグストアの E-commerce
アプリ制作からオペレーションまで(詳しくは次のページ) インテグレータでなくプラットフォーム https://yamotty.tokyo/post/20220605 Smart retailer
©10X, Inc. All Rights Reserved. チェーンストアECの垂直立ち上げプラットフォーム Stailer 4
©10X, Inc. All Rights Reserved. 5 半年間で実施した検索改善
©10X, Inc. All Rights Reserved. 半年間で実施した検索改善 2022年1月からの半年間で取り組んだこと • Slow
query の解決(検索速度 10x) • Hardware profile の変更(コスト 80% 削減) • 検索キーワードサジェスト • カテゴリフィルタ • bigram • シノニム辞書を Search time に展開 • イベントログからシノニムルールの生成 今日は青字の部分だけ説明します 6 詳しくは https://product.10x.co.jp/entry/serch-10x https://product.10x.co.jp/entry/search-10x-ii
©10X, Inc. All Rights Reserved. 7 コスト 80% 削減 Hardware
profile の変更
©10X, Inc. All Rights Reserved. Hardware profile の変更(コスト 80% 削減)
背景 • Slow query を解消し,CPU usage 68% 減少,Query time 87% 減少し,リソースに余裕ができた 課題 • 負荷解消によって必要なリソースのバランスが変わり,適 切な Hardware profile を利用できていない(単に scale in しただけでは解決しない) 8
©10X, Inc. All Rights Reserved. Elastic Cloud の Hardware profile
Elastic Cloud の Hardware profile を変えることで Storage, RAM, vCPU のバランスを変えることが できる 現在利用できる profile は • Storage optimized • Storage optimized (dense) • General purpose • CPU optimized 9 Hardware profile の変更(コスト 80% 削減)
©10X, Inc. All Rights Reserved. 引っ越し計画 10 Hardware profile の変更(コスト
80% 削減) もともと I/O Optimized(RAM と Storage が大盛り)を 使っていたが,Stailer は CPU heavy なアプリケーショ ンであるため,CPU Optimized が適していることがわ かった 現状と同等の vCPU をもつ profile に変更すると 85万 円/月の節約ができそう! この節約はサービスが大きくなってスケールアウトす るときにさらに効く しかし,Hardware profile は Deployment 作成時にしか 設定できないため,あたらしく Deployment を作成し, 旧 Deployment から引っ越しをする必要がある 無停止,データロスなしで
©10X, Inc. All Rights Reserved. 引っ越しの方針 1. Elasticsearch の更新をすべて PubSub
経由にする 2. 新しい Deployment を CPU optimized で作る 3. Double write 開始 4. 旧 Deployment の全 index を新 Deployment に reindex 5. 参照を切り替える 6. Double write 停止 7. 旧 Deployment を停止,削除する 11 Hardware profile の変更(コスト 80% 削減)
©10X, Inc. All Rights Reserved. Step0 12 Hardware profile の変更(コスト
80% 削減) 1. Elasticsearch の更新をすべて PubSub 経 由にする 2. 新しい Deployment を CPU optimized で作 る 3. Double write 開始 4. 旧 Deployment の全 index を新 Deployment に reindex 5. 参照を切り替える 6. Double write 停止 7. 旧 Deployment を停止,削除する
©10X, Inc. All Rights Reserved. Step1 13 Hardware profile の変更(コスト
80% 削減) 1. Elasticsearch の更新をすべて PubSub 経 由にする 2. 新しい Deployment を CPU optimized で作 る 3. Double write 開始 4. 旧 Deployment の全 index を新 Deployment に reindex 5. 参照を切り替える 6. Double write 停止 7. 旧 Deployment を停止,削除する
©10X, Inc. All Rights Reserved. Step2, 3, 4 14 Hardware
profile の変更(コスト 80% 削減) 1. Elasticsearch の更新をすべて PubSub 経 由にする 2. 新しい Deployment を CPU optimized で作 る 3. Double write 開始 4. 旧 Deployment の全 index を新 Deployment に reindex 5. 参照を切り替える 6. Double write 停止 7. 旧 Deployment を停止,削除する
©10X, Inc. All Rights Reserved. Step5 15 Hardware profile の変更(コスト
80% 削減) 1. Elasticsearch の更新をすべて PubSub 経 由にする 2. 新しい Deployment を CPU optimized で作 る 3. Double write 開始 4. 旧 Deployment の全 index を新 Deployment に reindex 5. 参照を切り替える 6. Double write 停止 7. 旧 Deployment を停止,削除する
©10X, Inc. All Rights Reserved. Step6 16 Hardware profile の変更(コスト
80% 削減) 1. Elasticsearch の更新をすべて PubSub 経 由にする 2. 新しい Deployment を CPU optimized で作 る 3. Double write 開始 4. 旧 Deployment の全 index を新 Deployment に reindex 5. 参照を切り替える 6. Double write 停止 7. 旧 Deployment を停止,削除する
©10X, Inc. All Rights Reserved. Step7 17 Hardware profile の変更(コスト
80% 削減) 1. Elasticsearch の更新をすべて PubSub 経 由にする 2. 新しい Deployment を CPU optimized で作 る 3. Double write 開始 4. 旧 Deployment の全 index を新 Deployment に reindex 5. 参照を切り替える 6. Double write 停止 7. 旧 Deployment を停止,削除する
©10X, Inc. All Rights Reserved. Restore from snapshot 機能の不具合 Elastic
Cloud が提供している Restore from snapshot 機能で新 Deployment を作ろうとしたが動か ず... サポートに問い合わせるも特別な不具合とのことで,修正には時間がかかりそう(その後個別対応し てもらい,いまは動くはず) そういうわけで,代わりに Reindex from remote 機能を使ったツールを作ることにした ツールが行うことは,新しい Deployment に index を作り,mapping 等の設定をし,稼働中の Deployment から Reindex を実行すること 18 Hardware profile の変更(コスト 80% 削減)
©10X, Inc. All Rights Reserved. 成果 • コスト 80% 削減
• 将来スケールアウトするときにも省コスト • Elasticsearch の更新をすべて Pub/Sub 経由にできた ◦ 引っ越し可能 ◦ 耐障害性向上 19 Hardware profile の変更(コスト 80% 削減)
©10X, Inc. All Rights Reserved. 20 2022年1月からの半年間で取り組んだこと • Slow
query の解決(検索速度 10x) • Hardware profile の変更(コスト 80% 削減) • 検索キーワードサジェスト • カテゴリフィルタ • bigram • シノニム辞書を Search time に展開 • イベントログからシノニムルールの生成 今日説明できなかった改善事例はブログをご覧ください https://product.10x.co.jp/entry/serch-10x https://product.10x.co.jp/entry/search-10x-ii
©10X, Inc. All Rights Reserved. 21 いま取り組んでいる推薦
©10X, Inc. All Rights Reserved. いま取り組んでいる推薦 Stailer における商品の Discovery のうち,お客さまが能動的に探す検索はまあまあいい状態になっ
てきたから,次はお客さまに受動的に商品を見つけてもらいたい 22 • 初期リリースでは MLOps 部分をきっちり作り,モデルは簡単なもの(ε-greedy のバンディッ ト)を出す • MLOps を @metalunk, Data science を Growth チームの2人で担当 • 出したらまたどこかで発表します 推薦やるぞ!
©10X, Inc. All Rights Reserved. 23 10X のすゝめ
©10X, Inc. All Rights Reserved. 10X のいいところ10個あげます 1. メンバーが賢い.自律的 2.
心理的安全性が高い(Brilliant jerk がいない) 3. 経営陣が信頼できる 4. SO に夢が持てる 5. スタートアップなのにまあまあ高い給与水準 6. Stailer を作ることで世界をよくできる 7. 事業が成長している 8. 日本のどこに住んでもいい 9. フルリモート OK 10. 家族第一 24
©10X, Inc. All Rights Reserved. カジュアル面談しませんか? この通り,検索はまだ基本的なことしかやっておらず,やることはたくさんあります 検索エンジニアが入社したら活躍できる状態を作りました
どんな人に来てほしい? • Stailer の検索を 10x できる人 • 検索,推薦合わせて Discovery という大きい Issue をまるっとやるのも大歓迎 Job description はこちら: https://open.talentio.com/r/1/c/10x/pages/59532 まずはカジュアル面談お願いします!: https://meety.net/matches/VKrfjFMdjWsC 25