Datadogと歩むZOZOTOWNの可観測性 / Observability of ZOZOTOWN with Datadog

by akitok

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

© ZOZO Technologies, Inc. IIS (Web) RO iOS Android ブラウザ PC/SP リプレイス開始前: 〜2017年ストアドストアドストアド 8 IIS (API) ロジックがDBに載っている(ストアド) 成功 ● データの近くで処理を行うため高速 (特に2005年当時はネットワークが細い) ● ロジックをDBに載せることでDRYにできる課題 ● ストアドプロシージャ (ストアド) をスケールさせづらい ● ストアドのテストが書きづらい ● Classic ASP ● Windows Server の構築自動化が難しい ● 現実問題、ASPレイヤーで２重管理になっているロジックは存在する ● レガシーなフレームワークからの脱却も難しい

Slide 9

Slide 9 text

Slide 10

Slide 10 text

© ZOZO Technologies, Inc. Java API Read Only SQL ストアドを剥がしてAPIに移設第１フェーズ: 2017年〜2020年参照系ロジックのストアド剥がし IIS (Web) RO iOS Android ブラウザ PC/SP ストアドストアドストアド Read Only IIS (API) DBレプリ課題 ● ASPレイヤーのロジックがそのまま ● 更新系のリプレイスが未計画 ● オンプレIISが入り口のままであるためオンプレを卒業できない設計 ● デプロイの順番待ち (モノリス) ● ビッグバンアップグレード (モノリス) ReadOnly 成功 ● ストアドロジックが減った ● クラウドに移行したことでスケーラビリティを手にいれた (ECサイトは参照リクエストが圧倒的に多い) ZOZO DC クラウド 10

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

© ZOZO Technologies, Inc. 商品サービス RO お気に入りサービス RW メンバーサービス RW API Gateway ID認証サービス RW IIS (Web) RO ブラウザ PC/SP ストアドストアドストアド IIS (API) ZOZO DC 第２フェーズ (2020年〜進行中) 切り替え方法 (ストラングラーパターン) iOS Android 切り替え切り替え DBレプリクラウド 13

Slide 14

Slide 14 text

© ZOZO Technologies, Inc. 移行方法としてストラングラーパターンを採用段階的にレガシーからモダンなシステムへ移行する方法 14 ○ 既存アプリケーションと新規アプリケーションにリクエストを振り分けるファサードを作成 ○ 機能の特定部分を新しいアプリケーションに段階的に置き換えながら移行する https://docs.microsoft.com/ja-jp/azure/architecture/patterns/strangler

Slide 15

Slide 15 text

© ZOZO Technologies, Inc. API Gateway ● マイクロサービスのAPIの出入り口として機能するアプリケーション商品サービス RO お気に入りサービス RW メンバーサービス RW API Gateway ID認証サービス RW IIS (Web) RO ブラウザ PC/SP ストアドストアドストアド IIS (API) ZOZO DC iOS Android 切り替え切り替え DBレプリクラウドこれ 15

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

© ZOZO Technologies, Inc. 新フレームワーク Viewのみ商品サービス RO お気に入りサービス RW メンバーサービス RW ネイティブアプリはAPI直呼び出しブラウザ PC/SP iOS Android フロントエンドに新技術が使えるようになるそれぞれのAPIが独立したサービスに =マイクロサービス化 API Gateway ID認証サービス RW 21 第２フェーズ: 目指す姿

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

© ZOZO Technologies, Inc. ログ・インフラメトリクス収集 24 ● Datadogを使用 ○ 各マイクロサービスともにアプリケーションメトリクスはDatadogのAPM       トレーシング ● CloudWatch Log/CloudWatch Container Insights ○ EKSを利用しているため基本的にノードやk8sのメトリクスについてはAWS ○ アラート通知はCloudWatchモニターからSlack ● Datadogを使用 ○ Elastic CloudなどAWSではないマネージドサービスについてはDatadog ○ アラート通知はDatadogモニターからSlack

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

© ZOZO Technologies, Inc. どこで何が起こっている？ ● マイクロサービス化により複雑なサービス間連携が発生しているが、各マイクロサービス単位でのAPMしか確認できない ● API Gatewayで発生したエラーが、どのマイクロサービスに起因するのか追いにくい、パフォーマンスボトルネックを見つけづらい、など、監視コストが高まっていた ● また、特定クライアントで発生するエラーも有り得るため、どのクライアントで発生しているのか、にも関心が高まっていた 27 API Gateway Service A Service B Service C iOS Android

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

© ZOZO Technologies, Inc. API Gatewayのサイドカーコンテナも監視したい ● API Gatewayは通信量削減によるユーザー体験向上のため、サイドカーコンテナとしてNginxを導入し、HTTP通信のgzip圧縮を行っている ● このNginxの各種メトリクスやログも重要度が増してきた API Gateway Nginx Pod gzip化 33 iOS Android

Slide 34

Slide 34 text

© ZOZO Technologies, Inc. サイドカーコンテナNginxのメトリクスを収集したい ● やることは2つ ○ Nginxのstab_statusモジュールを有効にする ○ NginxのDeploymentマニフェストにannotationsを4行追加する 34 ➢ Deploymentにannotationsを追加した例 ➢ Nginxのメトリクスが取得できる以下はdev環境の例

Slide 35

Slide 35 text

© ZOZO Technologies, Inc. サイドカーコンテナNginxのログを収集したい ● k8s上で動作しているコンテナログは、Datadog Agentのマニフェストにenvを数行追加するだけで自動収集できる ➢ マニフェストにenvを追加した例 ➢ Datadog Log Managementで参照可能になる →コンテナログの収集を有効にした上で、対象コンテナの判定条件を記載している 35

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

© ZOZO Technologies, Inc. まとめ 39 ● ZOZOTOWNはクラウド化・マイクロサービス化を進める中で、柔軟なスケーラビリティやアジリティなどを獲得してきた ● 一方で、その複雑性により可観測性には課題が発生していた ● そこで、非常に強力なDatadog APMを導入し、さらに分散トレースやタグ付きトレースの仕組みを利用することで、可観測性が向上した ● Datadogはトレース以外のログ・メトリクス収集も簡易に導入でき、 Dashboardでサービスにとって重要なデータをまとめることで、監視・運用者のコスト削減も見込める

Slide 40

Slide 40 text

No content