品質向上のためのモニタリング改善 X-Ray導入物語

by coconala_engineer

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Copyright coconala Inc. All Rights Reserved. リソース監視:  ● CPU 使用率のモニタリング   ● メモリ使用状況のトラッキング   ● ディスクスペースの使用状況の監視   ● ネットワーク帯域幅のモニタリング   ログ監視:  ● システムログ、アプリケーションログ、セキュリティログの収集と解析   ● エラーメッセージや警告の検出   パフォーマンス監視 :  ● アプリケーションの応答時間のトラッキング  ● データベースクエリのパフォーマンスの監視  ● サービス可用性の監視   インフラストラクチャ監視 :  ● サーバー、ネットワークデバイス、ストレージの可用性と健康状態の監視   ● ハードウェアの障害の検出 4 セキュリティ監視 :  ● 不正アクセスの検出   ● セキュリティイベントのモニタリング   ● 脆弱性のスキャンと脅威検出   ロードバランシングとトラフィック監視 :  ● ロードバランサーのパフォーマンス監視   ● トラフィックの分析と負荷分散   データベース監視 :  ● データベースサーバーのパフォーマンス監視  ● クエリの最適化とスロークエリの識別   アプリケーション監視 :  ● アプリケーションのエラーと障害のトラッキング  ● ユーザーエクスペリエンスの監視    

Slide 5

Slide 5 text

Copyright coconala Inc. All Rights Reserved. リソース監視:  ● CPU 使用率のモニタリング   ● メモリ使用状況のトラッキング   ● ディスクスペースの使用状況の監視   ● ネットワーク帯域幅のモニタリング   ログ監視:  ● システムログ、アプリケーションログ、セキュリティログの収集と解析   ● エラーメッセージや警告の検出   パフォーマンス監視 :  ● アプリケーションの応答時間のトラッキング  ● データベースクエリのパフォーマンスの監視  ● サービス可用性の監視   インフラストラクチャ監視 :  ● サーバー、ネットワークデバイス、ストレージの可用性と健康状態の監視   ● ハードウェアの障害の検出 5 セキュリティ監視 :  ● 不正アクセスの検出   ● セキュリティイベントのモニタリング   ● 脆弱性のスキャンと脅威検出   ロードバランシングとトラフィック監視 :  ● ロードバランサーのパフォーマンス監視   ● トラフィックの分析と負荷分散   データベース監視 :  ● データベースサーバーのパフォーマンス監視  ● クエリの最適化とスロークエリの識別   アプリケーション監視 :  ● アプリケーションのエラーと障害のトラッキング  ● ユーザーエクスペリエンスの監視    

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Copyright coconala Inc. All Rights Reserved. 11 X-Rayとは AWS X-Rayは、Amazon Web Services（AWS）が提供する分散アプリケーションのトレーシングとモニタリングサービスです。 X-Rayを使用することで、複数のマイクロサービスやコンポーネントが連携して動作するアプリケーションのパフォーマンスとデバッグを追跡し、理解することができます。

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Copyright coconala Inc. All Rights Reserved. 18 OpenTelemetry Ruby with AWS X-Ray の導入 - OpenTelemetryは、分散トレーシングとメトリクスのためのオープンソースのプロジェクトです。アプリケーションやサービスの内部で何が起こっているかを監視し、問題を特定し、パフォーマンスを向上させるために役立つツールやライブラリを提供しています。 https://aws-otel.github.io/docs/getting-started/ruby-sdk/trace-manual-ins tr

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Copyright coconala Inc. All Rights Reserved. 26 本番導入で問題が... デフォルトだとすべてのリクエストをトレースしてしまう... そして、かなりのコストがかかってしまい... 結局切り戻すことに... そこで、　トレースのサンプリング設定を行うことにしました AWS Distro for OpenTelemetry Collectorの設定をすることで可能です。 export OTEL_TRACES_SAMPLER_ARG=0.10

Slide 27

Slide 27 text

Copyright coconala Inc. All Rights Reserved. 27 X-Ray導入の課題 1. AWSの管理画面では6時間分のデータしか表示できない 2. Grafanaなどの可視化ツールを使わないとみたいデータが調べにくい 3. RubyのOpenTelemetryがデフォルトでアノテーションに対応していない 4. RubyのOpenTelemetryがSQLにデフォルトでデータを取得してくれない。 5. APIはデフォルトで24時間分のデータしか取得できない (オプションで回避できるが、Grafanaのpluginではoptionを設定できない) 6. GetInsightSummariesなどの特定のAPIは30日前までのデータしか取得できない

Slide 28

Slide 28 text