Upgrade to Pro — share decks privately, control downloads, hide ads and more …

500人突破!クラウドネイティブ研修の裏側 Prometheus/Grafanaで実現する待た...

500人突破!クラウドネイティブ研修の裏側 Prometheus/Grafanaで実現する待たせないO11yハンズオン

CNDW2024で発表した『SIerで200人クラウドネイティブのファンを増やした話』から2年。研修は進化を続け、受講者は500人を突破しました。

受講者アンケートから『オブザーバビリティ(O11y)ハンズオンの待ち時間』という課題が浮き彫りになりました。従来の手法ではスケールイン/アウトの可視化に時間がかかり、参加者の体験を損ねていたことが分かりました。

これを解決するため、環境を『ECS + Prometheus + Grafana』へ刷新。さらに研修時間が半日という時間制約をクリアするため、『裏側のECS基盤は講師が事前にデプロイし、受講者はTerraformでGrafanaダッシュボードの展開のみを行う』という、運用と学習効果のバランスを取ったハンズオンへ進化させました。これらの施策は、参加者の声をIssue化し、講師陣による継続的改善のサイクルから生まれています。

本セッションでは、500人へスケールさせる過程で生じた課題に対する技術的解決策を公開し、社内教育に悩む方の一助となるノウハウをお届けします。

Yuta Shimada

October 21, 2026

Transcript

28 slides
  1. CloudNative Days Winter 2026 プレイベント 500人突破! クラウドネ イティブ研修の裏側 Prometheus /

    Grafana で待たせない O11yハンズオン TDCソフト株式会社 島田 雄太 | 2026.10.21
  2. 自己紹介 島田 雄太 Yuta Shimada 主な資格 @yuta1979 / TDCソフト株式会社 デジタルテクノロジー本部

    チーフエキスパート AWS インフラエンジニア・SREが主な業務 Google Cloud コミュニティ・著書 ・CloudNative Days 実行委員会 ・「クラウドネイティブ技術実践ハンズオン」 編集メンバー ・「はじめてのプラットフォームエンジニアリ ング」(クラウドネイティブ会議) 共著 KCNA(失効) / PMP 今回は、前回CNDW2024で登壇した「SIerで200人クラウドネイティブのファンを増やした 話」を更にアップデートした取り組みを紹介します!
  3. TDCソフトについて 商号 商号カナ 所在地|本社 所在地|関西支社 © 2026 TDC SOFT Inc.

    TDCソフト株式会社 ティーディーシーソフト 事業内容 ITコンサルティング&サービス 金融ITソリューション 公共法人ITソリューション プラットフォームソリューション 等 YouTube https://www.youtube.com/channel/UCc78QdMD50tZH5R7jC9Jk-Q 東京都千代田区九段南一丁目6番5号 九段会館テラス 大阪府大阪市中央区北浜3-1-18 島ビル7階 設立 1963年12月17日 (昭和38年) Twitter 創業 1962年10月16日 (昭和37年) Webサイト 売上高 444.1 億円 (2025年3月期 連結) 従業員数 2,679 名 (2026年4月時点 連結) 関係会社 TDCフューテック株式会社 エールビジネスコンサルティング株式会社 https://twitter.com/tdcsoft_1962 https://www.tdc.co.jp/ 3
  4. 従来の環境で何が起きていたか みんなでF5アタック! EC2(AutoScaling) → 負荷をかける CloudWatchで可視化 → スケールアウト 数分待つ スケールアウトに時間がかかる

    グラフの更新も遅い インスタンス起動・AMI展開などで分単位 の待ちが発生 可視化が遅れ、結果が見えるまでにタイム ラグ
  5. 技術面の割り切り:待ち時間を無くすため、環境を刷新 Before: EC2 + AutoScaling + CloudWatch → After: ECS

    Fargate + Prometheus + Grafana ECS Fargate AMP Grafana コンテナ実行が高速。ス ケールアウトを短縮 Amazon Managed Service for Prometheus メトリクスをリアルタイ ムに収集 メトリクスをリアルタイ ムに可視化・共有 クラウドネイティブ技術を活用し、スケールイン・スケールアウトを早くする
  6. 運用面の割り切り:半日で終えるための工夫 講師 Trainer 受講者 Trainee 時間のかかる ECS 基盤を IaC で事前に

    デプロイ ・ECS / ALB / ECR ・AMP / 監視 Terraformで Grafanaダッシュボードのみ を展開 ・可視化される部分のみ作成し、達成感を 得やすくする キーポイント Fargate AMP Grafana タスク256CPU/512MBで起動 CPU 40%でスケールアウト cooldown 30s ADOTでリモートライト収集 ap-northeast-1 のワークス ペース sigV4認証でAMPを参照 構築=時間のかかる基盤 と 学習効果=やってもらう範囲 を意図的に"割り切った"
  7. 結果:待ち時間の改善につながった コンテナ起動が速く、スケールアウトを体感できる速さに ECS Fargate で起動が速い AMP + Grafana で即時可視化 メトリクス収集からグラフ反映までが

    タイムラグ少なくなる 負荷をかけた瞬間の変化がその場で確認 できる スケールイン/アウトをほぼリアルタイムに観察
  8. Grafana で見えるスケールアウト/イン CloudWatch/Prometheus のグラフを Grafana で可視化、負荷に応じたタスク数の変化をほぼリアル タイムに観測 スケールアウト時 負荷をかけると RunnningTaskCount

    が上昇し、 タスクが自動で増える スケールイン時 負荷が収まるとタスクが減少し、自動で元の台数に戻る タスクの増える・減るの両方を Grafana でリアルタイムに観測できるため、スケールの仕組 みを体感できる
  9. 参考:Terraformの構成について 講師側 — モジュール構成 module "networking" { ... } module

    "alb" { ... } module "amp" { ... } module "ecs" { ... } module "autoscaling" { ... } module "monitoring" { ... } networking / alb / amp / ecs / autoscaling / monitoring の6モジュールで基盤を一括構築 受講者側 — Grafana コンテナ作成と配置 FROM grafana/grafana:latest COPY provisioning /etc/grafana/provisioning COPY dashboards /var/lib/grafana/dashboards ENV AWS_SDK_LOAD_CONFIG=true ENV GF_AUTH_SIGV4_AUTH_ENABLED=true datasources: - name: AMP type: prometheus url: ${amp_url} jsonData: sigV4Auth: true sigV4Region: ap-northeast-1
  10. コンテンツをプロダクトとして捉える 業務との掛け持ちでも効率よく課題を進めるため、『イシューからはじめよ』を参考に取り組んだ 「イシューからはじめよ」の考え方 プロダクト開発に置き換えて捉える ・アウトプットを先に定義する 受講者に"何を体験させるか"を先に決める ・課題イシューを明確にしてから取り組む 手を動かす前に"何が問題か”を具体化する ・受講者 →

    ユーザー ・研修コンテンツ → プロダクト ・アンケート・声 → フィードバック ・Issue → 改善の要望 ・次回の研修 → バージョンアップ ・満足度 → プロダクトの指標 参考: 『イシューからはじめよ』(安宅和人 著) プロダクトを如何に育てていくかに取り組む
  11. フィードバックを Issue 化して回す 参加者の声 アンケート → Issue 化 → 一度作って終わりにしない。

    受講者の声を材料に、改善ループを回す 講師陣で 改善 → 次回の研修 に反映
  12. 実際の運用 — Issue の内容 Issueのタイトル 参加者をワクワクさせる流れを作る docker / terraform を受講した後の疲れ気味な受講者に、講座のように聞かせるのではなく体験でつなぐ

    体験の流れ 1 → 5 Terraform で作る 1.攻撃をさせて、サイトがアクセスできなくなる体験をする アクセス集中で一時的なボトルネックが起きる 2.1の状態はユーザーの機会損失。オブザーバビリティ的にイケ ていないと認識してもらう 3.システム管理者がどのようやって気づくか、どのように解決 するかを考えさせる(監視基盤の重要性に気づかせる) 4.クラウドネイティブとして解決 → ECS+AMP+Grafana でリ アルタイムに観測・スケールする仕組みを作る 5.再度アタックし、グラフィカルな状態とスケールアウト、 できればスケールインまでを見られるようにする 実際に参加者に Terraform コ ードを用意する ・講師側 trainer で基盤を事 前に構築(ECS/ALB/AMP ) ・受講者側 trainee は Grafana のプロビジョニング だけをデプロイ 受講者から挙がった Issue を取り込み、次回研修の改善として実装に繋げる
  13. Issueによって実際に変えたもの 待ち時間が長い 手順が分からない もう少しやりたい 環境刷新の火種に。 ECS + Grafana 導入 のきっかけ

    事前確認事項・手順 書を改善 プラスαのコンテンツ を準備 大きな声だけを聞くのではなく、小さな不満もIssue化して改善に繋げる
  14. まとめ 課題を明確にする 技術と運用の割り切り プロダクトとして捉える 初学者の体験を損なう 待ち時間を、まず具体 化して共有 ECS 事前デプロイ +

    Grafana のみ展 開 で、体験と運用 を両立 フィードバックをIssue 化し、継続的に改善 社内教育に悩む方の一助になれば幸いです

More Decks by Yuta Shimada

Other Decks in Technology