AWS マネージドな OSS 監視ツール入門

Transcript

1. AWS OSS 2024-07-17 AWS LT 大 会 マネージドな 監視ツール入門 IBaraki keigo
 茨木 啓瑚
2. 自己紹介 茨木 啓瑚 Cyberagent / AI 事業本部 PIAMY / 株式会社アルトレオス ibaraki keigo oyasumi_pants
3. 始める前に... 1今 日 は 社 内 の G A M E D A Y に 参 加 し て き ま し た ！ 初 め て f i g m a s l i d e s で 資 料 を 作 成 し ま し た ！ - 僅 差 で 4 位 ! ! ! グ ッ ズ 貰 え ず . . . た だ 触 っ た こ と な い サ ー ビ ス に 触 れ ら れ て 楽 し か っ た で す ！ - 課 金 し な い と d e s i g n m o d e が 使 え な い （ 大 文 字 小 文 字 変 換 が 無 課 金 だ と 出 来 な そ う . . . ） 2
4. Q : 監視サービス使っていますか？
5. 1AWS Managed な OSS の監視サービス - AWS Distro for open telemetry - amazon managed service for prometheus - amazon managed grafana 2実装の紹介 アジェンダ
6. 1AWS Managed な OSS の監視サービス - AWS Distro for open telemetry - amazon managed service for prometheus - amazon managed grafana
7. open telemetry 参考：https://aws.amazon.com/jp/otel/ 安全で本番環境に適した AWS サポートのディストリビューション ‘ 自動計装 agent や collector の提‰ ‘ EC2, ECS, EKS, などからデータ収集が可f ‘ sdk として go のサポートがある
8. 簡単に、計装・collectorとは？ 参考：https://speakerdeck.com/o11yfes2023/observabilitysiyaniwoshi-xian-surutamenoawssahisu-ossbian?slide=10 計装とは collector とは  instrumentation のこs  アプリケーションのテレメトリーデータの コードを すること 計測 実装  様々なバックエンドシステムにデータを送信する仕組‚  ：特定のフォーマットでデータを受け取  ：データのバッチ処理、整形、変‹  ：受信データをバックエンドに push, pull する Receivers processors exporters
9. 1AWS Managed な OSS の監視サービス - AWS Distro for open telemetry - amazon managed grafana - amazon managed service for prometheus
10. PROMETHEUS 参考：https://aws.amazon.com/jp/prometheus/ コンテナ化されたシステムの高い可用性、安全性、管理されたモニタリング — コンテナ環境向けの monitoring のマネージドサービƒ — 高いスケーラビリティと高可用i — AMP の remote write エンドポイント経由でログの書き込み
11. 1 1AWS Managed な OSS の監視サービス - AWS Distro for open telemetry - amazon managed service for prometheus - amazon managed grafana
12. Grafana 運用メトリクス、ログ、トレースのためのスケーラブルで安全なデータ可視化 参考：https://aws.amazon.com/jp/grafana/ – 複数のデータソースからメトリクスやログ、トレースを可視b – AMP ワークスペースのエンドポイントを grafana のデータソースに設定
13. 2実装の紹介
14. アーキテクチャの紹介 go のアプリケーションのサイドカーに サイドカーを立ててログの可視化 otel
15. Prometheus ワークスペースの作成 参考： 　　　 https://youtu.be/fW2LOqHDUNM https://docs.aws.amazon.com/ja_jp/prometheus/latest/userguide/AMP-onboard-create-workspace.html ‰ AWS コンソールの PROMETHEUS ページから WS の作成が可p ‰ WS の作成をしたら生成される「 」を後程使う エンドポイント - リモート書き込み URL ‰ エンドポイント・リモート書き込み url を使う
16. grafana ワークスペースの作成 参考：https://youtu.be/fW2LOqHDUNM 　　　https://docs.aws.amazon.com/grafana/latest/userguide/AMG-create-workspace.html v AWS コンソールの GRAFANA ページから WS の作成が可` v 「 」から GRAFANA コンソールが使用可能 GRAFANA ワークスペース URL
17. AWS IAM ID センターでユーザーの紐付け 参考：https://youtu.be/fW2LOqHDUNM ` AWS コンソールの GRAFANA ページから「ユーザーとユーザーグループの設定」 ` 認証されたユーザーを使うために設定
18. data source の追加 参考：https://youtu.be/fW2LOqHDUNM Q grafana コンソールで data source の追加 Q 「 」 を選択 prometheus
19. data source の追加 参考：https://youtu.be/fW2LOqHDUNM ` HTTP uRL に先ほど取得した endpoint の 部分までを入力 /workspace/{workspace_ID} ` 先ほどのリモート書き込み url
20. カスタム adot コレクターコンテナイメージの定義 下記のファイルをテンプレートとして として使用する adot-confit.yaml 参考：https://docs.aws.amazon.com/ja_jp/prometheus/latest/userguide/AMP-onboard-ingest-metrics- OpenTelemetry-ECS.html l 部分には先ほどの write url を指定 my-remote-url l には使用している region を指定 my-region
21. カスタム adot コレクターコンテナイメージの定義 dockerfile を使用して、ecr にプッシュする 参考：https://docs.aws.amazon.com/ja_jp/prometheus/latest/userguide/AMP-onboard-ingest-metrics- OpenTelemetry-ECS.html • 部分には先ほどの yaml を指定 otel-config.yaml • 自身の ECR リポジトリを指定
22. サイドカーを立てる 対象の ECS クラスターに 対象の ECS クラスターに ・ のコンテナを立てる collector prometheus 参考：https://docs.aws.amazon.com/ja_jp/prometheus/latest/userguide/AMP-onboard-ingest-metrics- OpenTelemetry-ECS.html n 部分には先ほど ECR に登録したイメージを指定 image n には使用している region を指定 my-region
23. IAM 周りの話 参考：https://docs.aws.amazon.com/ja_jp/prometheus/latest/userguide/AMP-onboard-ingest-metrics- OpenTelemetry-ECS.html タスク用の IAM ロールに aws マネージドポリシーの追加 € 「 」 role を追加 AMAZON PROMETHEUS remote write ACCess
24. Grafana での可視化 grafana labs で go のダッシュボードテンプレートを取得 B を選択 go processes
25. Grafana での可視化 先ほどの template dashboard を upload 7 template json の upload
26. Grafana での可視化 Go のコンテナの可視化 5 「 」の情報が見れるように！ goroutine 5 「 」の情報が見えるように！ gc
27. まとめと今後の展望 まとめ 今後の展望 c 比較的簡単に oss サービスを使ってアプリケーションの可視化ができそ% c datadog や new relic とはまた別の選択肢として考えても良いかも c dashboard での可視化がまだまだなのでもっとやりたい...“ c を説明できるようにすj c AMP の を使% c grafana → api gateway → lambda → bedrock の流れでログの言語化などをしてみたい 課金体系の違い アラートマネージャー
28. THANK YOU ! IBaraki keigo
 茨木 啓瑚