SRE改善サイクルはチームを超えて - ダッシュボードを眺める会の取り組み/SRE improvement cycle across teams

Slide 1

Slide 1 text

SRE改善サイクルはチームを超えて - ダッシュボードを眺める会の取り組み - イオンスマートテクノロジー株式会社 DevSecOps Div SREチーム林如弥一休×AEON 事業会社のサービスを支える基盤開発トーク 2024年9月18日

Slide 2

Slide 2 text

Agenda • 各種紹介（自己、グループ、会社） • SREへどう向き合うか • 可観測性（Observability）の実装 • 可観測性（Observability）の展開 o ダッシュボードを眺める会 • まとめ

Slide 3

Slide 3 text

自己紹介

Slide 4

Slide 4 text

もりはや aka 林如弥（@morihaya55）イオンスマートテクノロジー株式会社 DevSecOps Div SREチーム所属（2024/3入社）趣味：Podcast鑑賞・映画鑑賞・読書・ジョギングおすすめのPodcast 「COTENラジオ」おすすめの書籍「数理思考モデルで紐解く RULE DESIGN」おすすめの映画「RRR」

Slide 5

Slide 5 text

イオングループ紹介

Slide 6

Slide 6 text

イオングループ紹介 - 関連数字 https://www.aeon.info/company/ - "INFOGRAPHICS 数字で見るイオングループ"

Slide 7

Slide 7 text

イオングループ紹介 - イオンの主な事業 https://www.aeon.info/company/message/profile/ - "イオン会社案内2024 - イオンの主な事業"

Slide 8

Slide 8 text

会社紹介

Slide 9

Slide 9 text

会社紹介

Slide 10

Slide 10 text

会社紹介

Slide 11

Slide 11 text

iAEONアプリについて膨大なIDと購買データを集約したアプリ「iAEON」 iAEON（アイイオン）はイオングループが提供する決済機能やポイントプログラムを1つにまとめたアプリです。イオングループ内の多数の事業会社がもつ顧客IDを一つのアプリに統合しています。提供開始から約3年で、iAEONは940万人以上の会員を抱え（24年9月時点）、総ダウンロード数は1000万を2024年6月に突破しました。

Slide 12

Slide 12 text

IAEONアプリについて - おすすめ機能レシートレス機能 - 2024/6/21にリリース！！！ https://www.aeon.com/aeonapp/service/digitalreceipt/ - "レシートレス機能"

Slide 13

Slide 13 text

イオンで利用している技術スタック（一部） https://speakerdeck.com/aeonpeople/aeon-engineer-recruitment-deck - "イオングループエンジニア向け会社紹介資料 P19"

Slide 14

Slide 14 text

SREへどう向き合うか

Slide 15

Slide 15 text

SREへどう向き合うか「こんにちは！SREのもりはやです！！」リリース管理インシデントレスポンスコスト削減

Slide 16

Slide 16 text

SREへどう向き合うか SREについて、私たちは常に理解のための反復を続ける必要を感じています。 https://aeon.connpass.com/event/310105/ - "大企業経営におけるSREの重要性 | AEON TECH HUB #3"

Slide 17

Slide 17 text

SREへどう向き合うか SREには優れたWeb（英語）や書籍が提供されています。 And more...

Slide 18

Slide 18 text

SREへどう向き合うか SREには優れたWeb（英語）や書籍が提供されています。上記の書籍だけで総ページ数: 2,570 P 総計金額: 26,180円

Slide 19

Slide 19 text

SREへどう向き合うか「全てを完全に理解するには人生は短すぎる...」「ダニング＝クルーガー効果の最初の山の頂はどこだ？」 https://biz.moneyforward.com/payroll/basic/63123/ - "ダニングクルーガー効果とは？原因や対処法を具体例を用いて解説！"

Slide 20

Slide 20 text

SREへどう向き合うかとりあえずの一冊を個人的にあげるとすれば『SREエンタープライズロードマップ - Google - Site Reliability Engineering』 https://sre.google/intl/ALL_jp/resources/practices-and-processes/enterprise-roadmap-to-sre/

Slide 21

Slide 21 text

SREへどう向き合うか • Webで日本語化されてPDFで公開（無料） • ページ数は64Pのみ • 『SRE本』と『ワークブック』をベースに • 訳者はGoogleのSREである山口能迪氏 • 序文のメッセージの心強さ「職種に関係なく、技術システムを設計、実装、または保守している方なら、きっとお役に立てることがあるはずです。」 https://sre.google/intl/ALL_jp/resources/practices-and-processes/enterprise-roadmap-to-sre/

Slide 22

Slide 22 text

SREへどう向き合うかこの発表は"第1章エンタープライズ SRE ことはじめ"の以下をテーマとしています。 https://sre.google/intl/ALL_jp/resources/practices-and-processes/enterprise-roadmap-to-sre/

Slide 23

Slide 23 text

可観測性（Observability）の実装

Slide 24

Slide 24 text

可観測性（Observability）の実装 ASTではNew Relicによる可観測性を実装しています。 https://zenn.dev/aeonpeople/articles/3de631bafd1631 - FutureStack Tokyo 2023に登壇しました

Slide 25

Slide 25 text

可観測性（Observability）の実装選定から実装に至る流れ（抜粋） https://speakerdeck.com/aeonpeople/ionnotesitarusihutozhan-lue-wozhi-eru-newrelichuratutohuomunodao-ru-toxiao-guo-1bef3f5a-3d81-4b8d-b587-f92c7800f364

Slide 26

Slide 26 text

可観測性（Observability）の実装広がり続けているNew Relicの利用ユーザは300人を超えています。（Basicなど全てのタイプを含む） ※最近ではMicrosoft Entra IDでのSSOにより展開スピードも向上

Slide 27

Slide 27 text

可観測性（Observability）の展開 - ダッシュボードを眺める会

Slide 28

Slide 28 text

可観測性（Observability）の展開このようにして、 New Relicの実装により「システムの状態をみたい時に見れる土台」はできつつあります。

Slide 29

Slide 29 text

可観測性（Observability）の展開利用するユーザも増え続けており、 APMを利用できる有料ユーザは、常に枯渇気味な程の人気ぶりです。

Slide 30

Slide 30 text

可観測性（Observability）の展開さてここで、みなさんにも問い掛けたい。

Slide 31

Slide 31 text

可観測性（Observability）の展開お手元からアクセス可能な「可観測性を高めるツール」、 ”平時”でも確認していますか？

Slide 32

Slide 32 text

可観測性（Observability）の展開 • アラートが発生した • お客様などから問題報告を受けた • リリースなどの変更を行うこんな時だけ見ていませんか？

Slide 33

Slide 33 text

可観測性（Observability）の展開 ”非常時”・”戦時”に活用するのはもちろん正しい利用方法。ただし急ぎの時にいきなり活用できるほどシステムもツールもシンプルではない...。

Slide 34

Slide 34 text

可観測性（Observability）の展開定点観測会、親しみを込めて「ダッシュボードを眺める会」の取り組み。

Slide 35

Slide 35 text

可観測性（Observability）の展開特別なことはしていません。 • 週次で定期的に実施 • 参加者は開発・SREなど2チーム以上 • 発生したアラートの棚卸し • APMを中心に各項目をざっと見る • コストの増減もチェック

Slide 36

Slide 36 text

可観測性（Observability）の展開例1: アラートにならなかった異常を補足グラフ: コンテナリスタートの数

Slide 37

Slide 37 text

可観測性（Observability）の展開例1: アラートにならなかった異常を補足 • KubernetesのPodが特定のタイミングで一斉にリスタートした • Podのリスタート自体のアラートは入れていない • 今回のケースではDBのメンテナンスによるアプリケーションのヘルスチェックがエラーになったことで再起動が起きていた

Slide 38

Slide 38 text

可観測性（Observability）の展開例2: 想定された変化を再確認グラフ: モバイルアプリのバージョンが入れ替わっていく

Slide 39

Slide 39 text

可観測性（Observability）の展開例2: 想定された変化を再確認 • モバイルアプリのリリースを2日目から行った • およそ4日目には最新バージョンが90%以上展開された • 一定の割合で古いバージョンは残り続けている

Slide 40

Slide 40 text

可観測性（Observability）の展開例3: 放置すると危険な処理速度の予兆を発見グラフ: とあるサービスのトランザクション時間

Slide 41

Slide 41 text

可観測性（Observability）の展開例3: 放置すると危険な処理速度の予兆を発見 • 徐々にレスポンスが遅くなっていく典型的なグラフの上がり方 • Active Usersなどと比較しても比例がなかった • データ量やキャッシュなどの単純増加するケースでこのような動きが • ワーニングアラートになる前に気付けてみんな嬉しい

Slide 42

Slide 42 text

可観測性（Observability）の展開例4: プラス効果の変化も捉えられるグラフ: とあるサービスのトランザクション時間

Slide 43

Slide 43 text

可観測性（Observability）の展開例4: プラス効果の変化も捉えられる • 3日目から全体の処理時間が半分程度に低下 • 水色部分の処理が明確に低下している • とあるDBのメンテナンス効果が出ていた

Slide 44

Slide 44 text

可観測性（Observability）の展開このような変化を見つけて原因について議論をし、必要な取り組みを検討することでダッシュボードおよびNew Relicへの感度が上がっていく手応えがある。会を続けることで未然に障害を防いだ成果も少なくない。

Slide 45

Slide 45 text

可観測性（Observability）の展開さらには副次的な効果も • 課題作成・課題の棚卸し • 直近タスクのトピックなどの共有 • アイスブレイク・雑談 • 「ザイオンス効果（単純接触効果）」で互いの仕事がやりやすく！

Slide 46

Slide 46 text

可観測性（Observability）の展開この素晴らしい取り組みは私の入社前から脈々と続いており、すでに開催数は ”５０回以上” となり、定番の場として定着しつつも、予想外の発見ができる場としても続いています。

Slide 47

Slide 47 text

可観測性（Observability）の展開ここで再掲。「生成的な文化が必要」とありました。 https://sre.google/intl/ALL_jp/resources/practices-and-processes/enterprise-roadmap-to-sre/

Slide 48

Slide 48 text

可観測性（Observability）の展開「生成」には、”ものを生み出す”意味のほかに、 ”成長”や”状態の変化”の意味もあります。この取り組みの結果をまとめているConfluenceのページのトップには以下の文言が記載されています。本発表の準備を通して、理想・変化に向けて挑戦を続けていくとの気持ちを新たにしました。

Slide 49

Slide 49 text

まとめ

Slide 50

Slide 50 text

• SREの情報は多くある中で、個人的なおすすめは『SREエンタープライズロードマップ - Google - Site Reliability Engineering』 • イオンスマートテクノロジーではNew Relicで可観測性を実装 • 可観測性の展開として、チームを跨いで広げる「ダッシュボードを眺める会」 • 展開の後でSREが不在で良くなることも目指す • SREの成功に不可欠な「生成的な文化」を持って柔軟に変化を起こしていきたいまとめ