Slide 1

Slide 1 text

AWS OSS 2024-07-17 AWS LT 大 会 マネージドな 監視ツール入門 IBaraki keigo
 茨木 啓瑚

Slide 2

Slide 2 text

自己紹介 茨木 啓瑚 Cyberagent / AI 事業本部 PIAMY / 株式会社アルトレオス ibaraki keigo oyasumi_pants

Slide 3

Slide 3 text

始める前に... 1今 日 は 社 内 の G A M E D A Y に 参 加 し て き ま し た ! 初 め て f i g m a s l i d e s で 資 料 を 作 成 し ま し た ! - 僅 差 で 4 位 ! ! ! グ ッ ズ 貰 え ず . . . た だ 触 っ た こ と な い サ ー ビ ス に 触 れ ら れ て 楽 し か っ た で す ! - 課 金 し な い と d e s i g n m o d e が 使 え な い ( 大 文 字 小 文 字 変 換 が 無 課 金 だ と 出 来 な そ う . . . ) 2

Slide 4

Slide 4 text

Q : 監視サービス使っていますか?

Slide 5

Slide 5 text

1AWS Managed な OSS の監視サービス - AWS Distro for open telemetry - amazon managed service for prometheus - amazon managed grafana 2実装の紹介 アジェンダ

Slide 6

Slide 6 text

1AWS Managed な OSS の監視サービス - AWS Distro for open telemetry - amazon managed service for prometheus - amazon managed grafana

Slide 7

Slide 7 text

open telemetry 参考:https://aws.amazon.com/jp/otel/ 安全で本番環境に適した AWS サポートのディストリビューション ‘ 自動計装 agent や collector の提‰ ‘ EC2, ECS, EKS, などからデータ収集が可f ‘ sdk として go のサポートがある

Slide 8

Slide 8 text

簡単に、計装・collectorとは? 参考:https://speakerdeck.com/o11yfes2023/observabilitysiyaniwoshi-xian-surutamenoawssahisu-ossbian?slide=10 計装とは collector とは  instrumentation のこs  アプリケーションのテレメトリーデータの コードを すること 計測 実装  様々なバックエンドシステムにデータを送信する仕組‚  :特定のフォーマットでデータを受け取  :データのバッチ処理、整形、変‹  :受信データをバックエンドに push, pull する Receivers processors exporters

Slide 9

Slide 9 text

1AWS Managed な OSS の監視サービス - AWS Distro for open telemetry - amazon managed grafana - amazon managed service for prometheus

Slide 10

Slide 10 text

PROMETHEUS 参考:https://aws.amazon.com/jp/prometheus/ コンテナ化されたシステムの高い可用性、安全性、管理されたモニタリング — コンテナ環境向けの monitoring のマネージドサービƒ — 高いスケーラビリティと高可用i — AMP の remote write エンドポイント経由でログの書き込み

Slide 11

Slide 11 text

1 1AWS Managed な OSS の監視サービス - AWS Distro for open telemetry - amazon managed service for prometheus - amazon managed grafana

Slide 12

Slide 12 text

Grafana 運用メトリクス、ログ、トレースのためのスケーラブルで安全なデータ可視化 参考:https://aws.amazon.com/jp/grafana/ – 複数のデータソースからメトリクスやログ、トレースを可視b – AMP ワークスペースのエンドポイントを grafana のデータソースに設定

Slide 13

Slide 13 text

2実装の紹介

Slide 14

Slide 14 text

アーキテクチャの紹介 go のアプリケーションのサイドカーに サイドカーを立ててログの可視化 otel

Slide 15

Slide 15 text

Prometheus ワークスペースの作成 参考:     https://youtu.be/fW2LOqHDUNM https://docs.aws.amazon.com/ja_jp/prometheus/latest/userguide/AMP-onboard-create-workspace.html ‰ AWS コンソールの PROMETHEUS ページから WS の作成が可p ‰ WS の作成をしたら生成される「 」を後程使う エンドポイント - リモート書き込み URL ‰ エンドポイント・リモート書き込み url を使う

Slide 16

Slide 16 text

grafana ワークスペースの作成 参考:https://youtu.be/fW2LOqHDUNM    https://docs.aws.amazon.com/grafana/latest/userguide/AMG-create-workspace.html v AWS コンソールの GRAFANA ページから WS の作成が可` v 「 」から GRAFANA コンソールが使用可能 GRAFANA ワークスペース URL

Slide 17

Slide 17 text

AWS IAM ID センターでユーザーの紐付け 参考:https://youtu.be/fW2LOqHDUNM ` AWS コンソールの GRAFANA ページから「ユーザーとユーザーグループの設定」 ` 認証されたユーザーを使うために設定

Slide 18

Slide 18 text

data source の追加 参考:https://youtu.be/fW2LOqHDUNM Q grafana コンソールで data source の追加 Q 「 」 を選択 prometheus

Slide 19

Slide 19 text

data source の追加 参考:https://youtu.be/fW2LOqHDUNM ` HTTP uRL に先ほど取得した endpoint の 部分までを入力 /workspace/{workspace_ID} ` 先ほどのリモート書き込み url

Slide 20

Slide 20 text

カスタム adot コレクターコンテナイメージの定義 下記のファイルをテンプレートとして として使用する adot-confit.yaml 参考:https://docs.aws.amazon.com/ja_jp/prometheus/latest/userguide/AMP-onboard-ingest-metrics- OpenTelemetry-ECS.html l 部分には先ほどの write url を指定 my-remote-url l には使用している region を指定 my-region

Slide 21

Slide 21 text

カスタム adot コレクターコンテナイメージの定義 dockerfile を使用して、ecr にプッシュする 参考:https://docs.aws.amazon.com/ja_jp/prometheus/latest/userguide/AMP-onboard-ingest-metrics- OpenTelemetry-ECS.html • 部分には先ほどの yaml を指定 otel-config.yaml • 自身の ECR リポジトリを指定

Slide 22

Slide 22 text

サイドカーを立てる 対象の ECS クラスターに 対象の ECS クラスターに ・ のコンテナを立てる collector prometheus 参考:https://docs.aws.amazon.com/ja_jp/prometheus/latest/userguide/AMP-onboard-ingest-metrics- OpenTelemetry-ECS.html n 部分には先ほど ECR に登録したイメージを指定 image n には使用している region を指定 my-region

Slide 23

Slide 23 text

IAM 周りの話 参考:https://docs.aws.amazon.com/ja_jp/prometheus/latest/userguide/AMP-onboard-ingest-metrics- OpenTelemetry-ECS.html タスク用の IAM ロールに aws マネージドポリシーの追加 € 「 」 role を追加 AMAZON PROMETHEUS remote write ACCess

Slide 24

Slide 24 text

Grafana での可視化 grafana labs で go のダッシュボードテンプレートを取得 B を選択 go processes

Slide 25

Slide 25 text

Grafana での可視化 先ほどの template dashboard を upload 7 template json の upload

Slide 26

Slide 26 text

Grafana での可視化 Go のコンテナの可視化 5 「 」の情報が見れるように! goroutine 5 「 」の情報が見えるように! gc

Slide 27

Slide 27 text

まとめと今後の展望 まとめ 今後の展望 c 比較的簡単に oss サービスを使ってアプリケーションの可視化ができそ% c datadog や new relic とはまた別の選択肢として考えても良いかも c dashboard での可視化がまだまだなのでもっとやりたい...“ c を説明できるようにすj c AMP の を使% c grafana → api gateway → lambda → bedrock の流れでログの言語化などをしてみたい 課金体系の違い アラートマネージャー

Slide 28

Slide 28 text

THANK YOU ! IBaraki keigo
 茨木 啓瑚