ZOZOTOWNの商品検索におけるElasticsearch活用事例 / Elasticsearch Case Study in ZOZOTOWN Goods Search

by banatt

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

© ZOZO, Inc. https://zozo.jp/  ● ファッションEC  ● 1,500以上のショップ、8,400以上のブランドの取り扱い  ● 常時90万点以上の商品アイテム数と毎日平均2,600点以上の新着商品を掲載（2022年9月末時点）  ● ブランド古着のファッションゾーン「ZOZOUSED」や  コスメ専門モール「ZOZOCOSME」、靴の専門モール  「ZOZOSHOES」、ラグジュアリー＆デザイナーズゾーン  「ZOZOVILLA」を展開  ● 即日配送サービス  ● ギフトラッピングサービス  ● ツケ払いなど  3

Slide 4

Slide 4 text

Slide 5

Slide 5 text

© ZOZO, Inc. 5 第1部  1. ZOZOTOWNとElasticsearchのこれまでの歩み  2. ZOZOTOWNにおけるElasticsearchの活用方法  3. ZOZOTOWNの検索システムの構成    第2部  1. Elasticsearch周りのアーキテクチャ  2. プロダクションレディとは？  3. プロダクションレディにするために取り組んでいること  4. 今後の展望  アジェンダ

Slide 6

Slide 6 text

© ZOZO, Inc. 6 第1部  1. ZOZOTOWNとElasticsearchのこれまでの歩み  2. ZOZOTOWNにおけるElasticsearchの活用方法  3. ZOZOTOWNの検索システムの構成    第2部  1. Elasticsearch周りのアーキテクチャ  2. プロダクションレディとは？  3. プロダクションレディにするために取り組んでいること  4. 今後の展望  アジェンダ

Slide 7

Slide 7 text

© ZOZO, Inc. ZOZOTOWNとElasticsearchのこれまでの歩み  7 GSAサービス終了に伴う乗り換え Elasticsearchへ全面移行 ➡　2020年4月より、ZOZOTOWNの商品検索はElasticsearchへと全面移行しました。  2017 2018 2019 2020 2021 2022 ✓ ZOZOTOWN商品検索におけるElasticsearch移行までの歴史  Google Search Appliance

Slide 8

Slide 8 text

© ZOZO, Inc. 8 第1部  1. ZOZOTOWNとElasticsearchのこれまでの歩み  2. ZOZOTOWNにおけるElasticsearchの活用方法  3. ZOZOTOWNの検索システムの構成    第2部  1. Elasticsearch周りのアーキテクチャ  2. プロダクションレディとは？  3. プロダクションレディにするために取り組んでいること  4. 今後の展望  アジェンダ

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

© ZOZO, Inc. ZOZOTOWNにおけるElasticsearchの活用方法    ✓ ユーザーの行動履歴や属性を元に検索結果を並べる「あなたにおすすめ順」を実現するために、  Elasticsearch Learning to Rank（LTR）プラグインを利用している。  11 おすすめ順を指定機械学習モデルの再学習を繰り返し改善商品特徴量ログを出力機械学習モデルを使い、ユーザーの嗜好に合わせた並び順へ並べ替えるプロフィール・30代男・過去に購入した商品・…

Slide 12

Slide 12 text

© ZOZO, Inc. 12 第1部  1. ZOZOTOWNとElasticsearchのこれまでの歩み  2. ZOZOTOWNにおけるElasticsearchの活用方法  3. ZOZOTOWNの検索システムの構成  第2部  1. Elasticsearch周りのアーキテクチャ  2. プロダクションレディとは？  3. プロダクションレディにするために取り組んでいること  4. 今後の展望  アジェンダ

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

© ZOZO, Inc. 18 第1部  1. ZOZOTOWNとElasticsearchのこれまでの歩み  2. ZOZOTOWNにおけるElasticsearchの活用方法  3. ZOZOTOWNの検索システムの構成    第2部  1. Elasticsearch周りのアーキテクチャ  2. プロダクションレディとは？  3. プロダクションレディにするために取り組んでいること  4. 今後の展望  アジェンダ

Slide 19

Slide 19 text

Slide 20

Slide 20 text

© ZOZO, Inc. 20 第1部  1. ZOZOTOWNとElasticsearchのこれまでの歩み  2. ZOZOTOWNにおけるElasticsearchの活用方法  3. ZOZOTOWNの検索システムの構成    第2部  1. Elasticsearch周りのアーキテクチャ  2. プロダクションレディとは？  3. プロダクションレディにするために取り組んでいること  4. 今後の展望  アジェンダ

Slide 21

Slide 21 text

© ZOZO, Inc. プロダクションレディとは？サービスが本番トラフィックを捌けるほど信頼のある状態のこと ZOZOTOWNではProduction Readiness Checklist*1 をベースとして、SREがサービス本番リリース前に何を準備したら良いのか、より実践しやすいように規定している 21 Production Readiness Checklist *1 プロダクションレディマイクロサービス [オライリージャパン] 付録A 本番対応のチェックリストより引用 ref. ZOZOTOWNのProduction Readiness Checklistと信頼性向上の取り組み ZOZOTOWN Microservice Production Readiness Checklist 1. 安定性、信頼性を備えている 2. スケーラブルでパフォーマンスが高い 3. 耐障害性があり大惨事対応力がある 4. 適切に監視されている 5. ドキュメントが整備され、組織的に理解されている 1. CI/CD と Release Engineering 2. Performance Testing / Capacity Planning 3. Failure Testing 4. Monitoring 5. Documentation

Slide 22

Slide 22 text

© ZOZO, Inc. 22 第1部  1. ZOZOTOWNとElasticsearchのこれまでの歩み  2. ZOZOTOWNにおけるElasticsearchの活用方法  3. ZOZOTOWNの検索システムの構成    第2部  1. Elasticsearch周りのアーキテクチャ  2. プロダクションレディとは？  3. プロダクションレディにするために取り組んでいること  4. 今後の展望  アジェンダ

Slide 23

Slide 23 text

Slide 24

Slide 24 text

© ZOZO, Inc. 2. IaCとCI/CDによる信頼性・保守性向上 24 ✓ Terraform + GitHub ActionsでElasticsearchクラスタ on ElasticCloudをデプロイしている Terraform利用前のCI/CDパイプライン内では、 CLIのElastic Cloud Controller (ecctl)を利用した職人芸的な自家製スクリプトを利用していた・・・ elastic/terraform-provider-ec 

Slide 25

Slide 25 text

© ZOZO, Inc. 3. パフォーマンステストとキャパシティプラン 25 ✓ 検索APIからElasticsearchを通す負荷試験を実施し、基礎数値を把握する ● 1データノードあたりの目標レイテンシを捌けるスループット ● エラーが出ないラインではなく、レイテンシが跳ねないラインを探る ✓ データノードを増やした時にスループットが比例することを確認する concurrency(req/sec) latency(msec) 負荷試験結果の例 99%ile mean 昔は同じ物理ノードに複数コンテナが乗りリソースが取り合いになることが多く、20データノードくらいで性能が頭打ちになっていた・・・

Slide 26

Slide 26 text

© ZOZO, Inc. 3. パフォーマンステストとキャパシティプラン 26 ✓ データノードの適切なキャパシティサイズ見積もりができている ● 平常時、土日深夜ピーク、大規模セール深夜ピーク、正月ピークそれぞれで何台必要になるかわかっているイベント想定リクエスト量スループット /1Node 必要なNode数平常時 1,200 req/sec 100 req/sec 1,200 / 100 = 12 Node 土日深夜ピーク 1,800 req/sec 100 req/sec 1,800 / 100 = 18 Node 大規模セールピーク 2,400 req/sec 100 req/sec 2,400 / 100 = 24 Node 正月ピーク 3,000 req/sec 100 req/sec 3,000 / 100 = 30 Node CPUヘビーなワークロードであるZOZOTOWN検索機能においては、CPU使用量もしくはリクエスト量の閾値超過をトリガーにオートスケールさせたいが、現在Elastic Cloudではディスク利用量トリガーでしかオートスケールできない。そのため残念ながら人力で変更しており運用負荷が高い状態・・・

Slide 27

Slide 27 text

© ZOZO, Inc. 4. モニタリング 27 ✓ ダッシュボードで各種メトリクスを確認できる ● インフラ、アプリケーションのメトリクスそれぞれの監視対象の例（赤字はアラート判定の対象）インフラ監視対象 CPU使用量メモリ使用量ディスク使用量スレッドプール(queue,rejected) データノード数クラスタステータス未アサイン状態のシャード数アプリケーション監視対象クエリ&フェッチスループットクエリ&フェッチレイテンシインデクシングバッチの遅延インデックス毎のドキュメント数エイリアスの指すインデックス数セール商品数、クーポン商品数など独自クエリでしか取得できないメトリクスについては、 DatadogのPythonライブラリ*1を利用した自家製エクスポーターを作り対応している *1 ref. Datadog/datadogpy 

Slide 28

Slide 28 text

Slide 29

Slide 29 text

© ZOZO, Inc. 29 第1部  1. ZOZOTOWNとElasticsearchのこれまでの歩み  2. ZOZOTOWNにおけるElasticsearchの活用方法  3. ZOZOTOWNの検索システムの構成    第2部  1. Elasticsearch周りのアーキテクチャ  2. プロダクションレディとは？  3. プロダクションレディにするために取り組んでいること  4. 今後の展望  アジェンダ

Slide 30

Slide 30 text

© ZOZO, Inc. 今後の展望 30 😤 セールイベント時のデータノード数変更の運用負荷が高い ➜ CPU利用量 or リクエスト量判定のオートスケール追加を待ってます！🙏 😤 Elasticsearchのチューニングはまだ手動設定 ➜ 手動設定はクラスタ追加時に失念するリスクがあるためTerraform*1で IaC化する！💪 😤 おすすめ順検索の特徴量を増やすとレイテンシが悪化する ➜ 検索全体でレイテンシを改善し、特徴量を増やせる余地を作る！💪 *1 ref. elastic/terraform-provider-elasticstack  信頼性・保守性の向上ユーザ体験の向上