エンタープライズ企業の障害対応革新 – PagerDuty導入とその成果/pagerduty-usecase-of-aeon

PagerDuty on Tour TOKYO 2024での発表資料です。
https://www.pagerduty.co.jp/pagerdutyontourtokyo/

Transcript

1. エンタープライズ企業の障害対応革新 – PagerDuty導入とその成果 – イオンスマートテクノロジー株式会社 DevSecOps Div SREチーム 齋藤 光、林 如弥 PagerDuty on Tour 2024年8月6日
2. Agenda •各種紹介（自己、グループ、会社） •障害対応にまつわる改善の歴史 •PagerDutyによる障害対応の民主化 •まとめ
3. 自己紹介
4. 齋藤光( @hikkie13 ) イオンスマートテクノロジー株式会社 DevSecOps Div SREチーム所属 (2022/5入社） SREチームの立ち上げやってきた。 趣味：ヨガ 直近の登壇： SRE NEXT 2023 「エンタープライズ企業でのSRE立ち上げ挑戦の際に 意識した事と気付き、現在地とこれから」 CloudNative Days Tokyo 2023 「イオンがKubernetesを採用してどうなった？」
5. イオングループ紹介
6. イオングループ紹介 - 関連数字 https://www.aeon.info/company/ - "INFOGRAPHICS 数字で見るイオングループ"
7. 会社紹介
8. 会社紹介
9. iAEONアプリについて 膨大なIDと購買データを集約したアプリ「iAEON」 iAEON（アイイオン）はイオングループが提供する決済機能やポイントプログラムを1つにまとめたアプリです。 イオングループ内の多数の事業会社がもつ顧客IDを一つのアプリに統合しています。 提供開始から約3年で、iAEONは880万人以上の会員を抱え（24年8月時点）、総ダウンロード数は1000万を2024年6月に突破しました。
10. iAEONアプリについて 膨大なIDと購買データを集約したアプリ「iAEON」 iAEON（アイイオン）はイオングループが提供する決済機能やポイントプログラムを1つにまとめたアプリです。 イオングループ内の多数の事業会社がもつ顧客IDを一つのアプリに統合しています。 提供開始から約3年で、iAEONは880万人以上の会員を抱え（24年8月時点）、総ダウンロード数は1000万を2024年6月に突破しました。 https://prtimes.jp/main/html/rd/p/000004399.000007505.html
11. 障害対応にまつわる改善の歴史
12. • 全員サッカー • 誰が何してるかわからない / 何十人もいるけど、発言するのはほんの数人 • 「どうなってるんだ」おじ様の定期的なポーリング • 非プロフェッショナルの「〇〇をすればいいんじゃないの？」 • 万病に効く再起動 • 記録されないアクション • 経験、勘、大きな声によるリード • ヒロイズム • 共有されない or 実行されない振り返り エンタープライズの障害対応あるある
13. • 人は集まる（休日でも） • 少なくとも内部で特定の誰かを非難することはない（障害対応中もその後も） だからこそ、障害対応プロセスを改善する伸び代もその効果も大きい！ 弊社にも良いところが最初からそれなりにあった
14. • オブザーバビリティ基盤の整備 • ポストモーテムの文化づくり • 障害対応中の記録係の文化づくり SREチームを立ち上げてからやってきたこと Betsy Beyer et. al.編, “SRE サイトリライアビリティエンジニアリング”, オライリージャパンより サービスの信頼性の階層 • 原則として「サービスの信頼性の階層」の下から登る • 固執はせずに、すぐに始められる（かつ、効果が高い）ところは手をつける
15. New Relicを中心に据えたオブザーバビリティ基盤の整備 • ファクトで議論し、経験・勘・想像を排除する。 • 開発チームを利用者の主体に見据え、運用のオーナシップの意識を醸成 • 本番環境からの情報は最高のフィードバック 参考 • Future Stack Tokyo 2023「イオンのデジタルシフト戦略を支える New Relicプラット フォームの導入と効果」 • Findy Toolsへレビュー寄稿しました SREチームを立ち上げてからやってきたこと(1):オブザーバビリティ基盤の整備
16. まずは始めることが大事 • テンプレートは、巨人の肩に素直に乗りGoogleが公開しているものをほぼそのまま利用 • https://sre.google/sre-book/example-postmortem/ • ポストモーテム会は、初期はSREがファリシしてサポート • 今は何も言わなくても開催されるように • 過去の特大Incidentの内容を、後から入社したメンバでも参照できるようになった SREチームを立ち上げてからやってきたこと(2):ポストモーテムの文化づくり
17. 当初は「録画してるからええやろ」の風潮 報告・指示・共有のほとんどが口頭で、途中から入ってきた人は状況が全くわからない • まずは記録係をかって出る（勝手にやる） • 「良いな」と思った人が勝手に真似してくれるように。 • 暗黙的活動になってしまったので、障害対応ガイドに後追いで明文化 SREチームを立ち上げてからやってきたこと(3):障害対応中の記録係の文化づくり
18. 障害対応のオーナーシップを開発チームに持たせたい • そのために・・・ (1) 障害対応ガイドの策定 ↓とてもお世話になりました • 「改訂新版 システム障害対応の教科書」 • PagerDuty Incident Reponse (2) PagerDutyによる障害対応の民主化 ← 今日はここを話します！ これからやりたいこと https://amzn.asia/d/gTEYfqq
19. PagerDutyによる障害対応の民主化
20. もりはや aka 林 如弥（@morihaya55） イオンスマートテクノロジー株式会社 DevSecOps Div SREチーム所属 （2024/3入社） 趣味：Podcast鑑賞・映画鑑賞・読書・ジョギング おすすめのPodcast 「COTENラジオ」 おすすめの書籍 「数理思考モデルで紐解く RULE DESIGN」 おすすめの映画 「RRR」
21. 技術書典16（2024年5月）で 『PagerDuty FANBOOK Vol.1』をコミュニティの 有志の方と一緒に頒布しました！！ https://techbookfest.org/product/fdr8Dy1kLRUbaBRgeqK0wF?productVariantID=viHF6KDk2ZVHWVJmtZcfzN
22. イオンスマートテクノロジーで 採用したPagerDutyのプラン
23. - Businessプラン - Add-Onとして o PD Automation Actions o Premium Status Page o PagerDuty AIOps 採用したPagerDutyのプラン
24. - Businessプラン ←多くの便利な機能 - Add-Onとして o PD Automation Actions o Premium Status Page o PagerDuty AIOps ←今後の期待も大きい！ 採用したPagerDutyのプラン
25. MTTAを短縮する仕組みの民主化 ※MTTA(Mean Time To Acknowledge)
26. MTTAを短縮する仕組みの民主化(1):PagerDuty導入前 - PagerDutyを導入する以前から、多くのミッションクリティカルのアラートに ついて、MSPを利用した迅速な検知を行うことはできていた - 一方で検知方法や範囲の展開・追加・変更を行うためにはMSPへ特定フォー マットで依頼を行う必要があり、スピード感・柔軟性・依頼自体の容易さに一 定の課題があった
27. MTTAを短縮する仕組みの民主化(2):PagerDutyの基本機能 「オンコールスケジュール」 「エスカレーションポリシー」 「(個人ごと）通知ルール」 X X
28. MTTAを短縮する仕組みの民主化(2):PagerDutyの基本機能 - 3つともPagerDutyの基本機能として全プランで提供される - 誰がいつオンコールを担当するかを「オンコールスケジュール」で - どの順番で通知していくかを「エスカレーションポリシー」で - 通知をどのように受け取るかを「通知ルール」で 各機能の組み合わせによって大変柔軟な通知が可能
29. MTTAを短縮する仕組みの民主化(2):PagerDutyの基本機能 「My On-Call Shifts」 「Create Override」 X
30. - 「My On-Call Shifts」でカレンダー形式で自分のスケジュールを確認可能 - さらに「Create Override」を利用することで、規則性のないオンコールスケ ジュールにも対応 o 例えばパートやバイトのような、日次とか週次のような規則性がなく、毎月 の当番表で体制を組むようなケースにも対応 ▪ ＊管理が大変なため推奨はしない MTTAを短縮する仕組みの民主化(2):PagerDutyの基本機能
31. - シンプルなGUIから各機能の設定は変更できる - 設定はTerraform管理を推奨とするが、アラートを受け取る各チームが希望す る管理方法を優先 MTTAを短縮する仕組みの民主化(2):PagerDutyの基本機能
32. - 初めてPagerDutyを利用する方へ、操作方法などのガイドを準備 - 参考にするなら「PagerDuty利用ガイド - Responder編」がおすすめ o PagerDutyの山田さん執筆 MTTAを短縮する仕組みの民主化(2):PagerDutyの基本機能 https://qiita.com/ymotomu/items/42f825accbfca287464a
33. MTTAを短縮する仕組みの民主化(3):モニタリングツールとの連携 「サービス」 「インテグレーション」 「Dynamic Notifications」 X X
34. - PagerDutyへは主にNew RelicとAzure Monitor alertから通知 o 700以上ある「インテグレーション」に上記2つも当然対応 - 特にNew Relicの導入と展開によって各チームでアラート管理も可能に o 参考：Future Stack Tokyo 2023「イオンのデジタルシフト戦略を支える New Relicプ ラットフォームの導入と効果」（再掲） MTTAを短縮する仕組みの民主化(3):モニタリングツールとの連携
35. - 「Dynamic Notifications」はNew RelicやAzure Monitor alertから PagerDutyへ通知した際のSeverityを動的に判断してHighかLowかを判定する 大変便利な機能 o Highなら電話 o Lowなら通知だけ ▪ といった運用が簡単にできる - 複雑なら「Event Orchestration」を検討 MTTAを短縮する仕組みの民主化(3):モニタリングツールとの連携
36. New RelicとPagerDutyのアカウントさえあ れば、各チームで簡単に迅速なアラートを作 成し、その通知をコントロールできる MTTAを短縮する仕組みの民主化(4):まとめ
37. PagerDutyアカウントの民主化
38. - PagerDutyのユーザは以下の2種類がある o Full Users: PagerDutyを利用する基本のユーザ o Stakeholder Users: オンコールは担当しない、状況を確認する向けユーザ PagerDutyアカウントの民主化(1):ユーザの種類 現在はFull Usersのみを利用
39. - ユーザはEntra IDをIdPとしたSSO(Single Sign-on)で管理 - 初回のPagerDutyログイン時に自動で作成される（Auto Auto-provisioning) PagerDutyアカウントの民主化(2):Entra IDによるSingle Sign-on
40. - Entra ID自体はAzureアカウントやAzure DevOpsなど他用途でも利用されてきた o ”他と同じ”管理方法であるため受け入れが容易 - Entra IDのグループとユーザはHCP TerraformによるIaC管理 o ユーザ増減を希望する各チームからPRが作られSREがレビュー o 承認とマージによってデプロイが行われる PagerDutyアカウントの民主化(2):Entra IDによるSingle Sign-on
41. 運用実績のある共通のID基盤（Entra ID）を 利用したSingle Sign-onによって、各チーム でPagerDutyの利用メンバーを容易にコント ロールできる ＊ただしライセンス数は限りがあるためその制御は必要 PagerDutyアカウントの民主化(3):まとめ
42. AIOpsによる障害対応サポート
43. - ChatGPT、GitHub Copilot、New Relic AIなどAI技術の恩恵はすでに体感 - PagerDutyにおいてもAIを活用したさまざまな利便性が受けられる期待 - AIOpsの価格は現在$699(Yealy Pricing) - Businessの$41/ユーザの約17人分と考えても価値がある...はず！ - 2024年7月30日に「PagerDuty Advance」が発表 AIOpsによる障害対応サポート(1):AIOpsの概要 https://www.pagerduty.com/blog/pagerduty-advance-genai-features-for-the-pagerduty-operations-cloud/
44. - 「Assistant for Slack（旧名PagerDuty Copilot）」をベータで検証 - インシデントのノートの活用でかなり正確な概要を回答してくれた AIOpsによる障害対応サポート(2):Assistant for Slack
45. • 前半でも紹介した「どうなってるんだ」と定期的なポーリングへの1つの回答になる AIOpsによる障害対応サポート(2):Assistant for Slack
46. • 過去の類似インシデントを提案してくれる機能は、障害対応経験豊富な猛者が 行う「あの時の障害と似てない？」をAIが代行してくれる AIOpsによる障害対応サポート(2):Assistant for Slack
47. • 類似インシデントは表示も見やすい（いつ、何件、発生期間） AIOpsによる障害対応サポート(2):Assistant for Slack
48. • イオンスマートテクノロジーとしては"Slack"の利用があるが、関連するイオン グループ企業の標準のチャットツールは"Slack"ではなく"Teams"... AIOpsによる障害対応サポート(2):Assistant for Slack 「PagerDuty Assistant for Teams」 もお待ちしております！！！！ ※ (Support for Microsoft Teams coming soon.)の記述あり https://www.pagerduty.com/blog/pagerduty-advance-genai-features-for-the-pagerduty-operations-cloud/
49. • 紹介した”チャットサポート”や”過去類似インシデント”機能の他も期待 • 中でも「ポストモーテムの自動生成」の機能は、社内で定着化しつつあるポス トモーテムの文化をより加速できる（小規模なインシデントでも書ける） AIOpsによる障害対応サポート(3):その他のAI機能にも期待 チャットツールとAI機能による各種サポートは、PagerDutyを直 接利用しないユーザさえも巻き込んで障害対応支援が可能となり、 「障害対応の民主化」がより進んでいく...！
50. まとめ
51. • 障害対応の改善に取り組んでいる • PagerDutyの導入はMTTA短縮や障害対応の民主化に大きく貢献 o 基本機能で柔軟なオンコールローテーションを実現 • AI機能の今後の進化にも大きな期待を寄せている o 「PagerDuty Advance」発表にわくわくだ！！ まとめ
52. 告知
53. 募集しています！