Upgrade to Pro — share decks privately, control downloads, hide ads and more …

PagerDutyを活用した インシデント管理の自動化とメリット

PagerDutyを活用した インシデント管理の自動化とメリット

PagerDutyにてデジタルオペレーションの現代化を!
https://pagerdutyandawsjointwebinar.splashthat.com/

Yutaka Hiroyama

August 31, 2021
Tweet

More Decks by Yutaka Hiroyama

Other Decks in Technology

Transcript

  1. アイレット株式会社
    廣⼭ 豊
    PagerDutyを活⽤した
    インシデント管理の⾃動化とメリット

    View Slide

  2. ⾃⼰紹介
    2
    •廣⼭ 豊
    •アイレット株式会社
    クラウドインテグレーション事業部副事業部⻑

    情報管理責任者

    PCI DSS管理責任者

    Well Architected Lead
    •2020, 2021 Japan APN AWS Ambassador, AWS Top Engineers
    •組み込み開発SIer出⾝
    •AWS * 9, GCP * 10, Azure * 1, 情報処理安全確保⽀援⼠、
    その他多数の認定資格を保有

    View Slide

  3. 会社概要
    3
    社名 アイレット株式会社
    所在地 東京都港区⻁ノ⾨1-23-1
    ⻁ノ⾨ヒルズ森タワー7F
    設⽴ 2003年10⽉15⽇
    代表取締役会⻑ 齋藤 将平
    代表取締役社⻑ 岩永 充正
    従業員数 682名(2021年4⽉末時点)
    事業内容 ITコンサルティング、システム開発
    システム保守・運⽤、
    サーバーハウジング・ホスティング、
    デザイン
    主要株主 KDDI株式会社
    2003年 10⽉ 千葉県野⽥市にて創業
    2005年 10⽉ 業務拡⼤に伴い、東京都港区芝浦に本社移転
    2010年 4⽉ クラウドの導⼊設計、運⽤・保守サービスcloudpack を開始
    2011年 1⽉ AWSソリューションプロバイダー登録
    2011年 2⽉ 業務拡⼤に伴い、東京都港区海岸に事務所移転
    2012年 6⽉ APN アドバンスドコンサルティングパートナー登録
    2013年 6⽉ APN プレミアコンサルティングパートナー認定(2013 年度)
    【⽇本初 / 2020年度までに8年連続認定】
    2014年 8⽉ 東京都港区⻁ノ⾨・⻁ノ⾨ヒルズに事務所開設
    2014年 11⽉ ⼤阪オフィス開設(国内2拠点⽬)
    2014年 11⽉ APN プレミアコンサルティングパートナー認定(2015 年度)
    2015年 3⽉ APN Consulting Partner of the year 2014 受賞
    2015年 4⽉ 東京都港区⻁ノ⾨に本社移転
    2016年 11⽉ 名古屋オフィス開設(国内3拠点⽬)
    2017年 2⽉ KDDI株式会社の傘下に⼊り、⼦会社になる
    2019年 1⽉ スクラム開発拠点として、東京都港区⻁ノ⾨にスクラムオフィス開設
    2019年 7⽉ Google Cloudプレミアサービスパートナー認定
    2020年 3⽉ APN Consulting Partner of the Year受賞(5回⽬)
    2020年 7⽉ TREND MICRO Partner Award 2019 受賞
    2021೥ 4݄ (PPHMF$MPVEͷϚωʔδυ αʔϏε ϓϩόΠμʢ.41ʣೝఆΛऔಘ
    2021೥ 5݄ "84+BQBO$FSUJGJDBUJPO"XBSE
    %FWFMPQFS$IBNQJPOPGUIF:FBSड৆

    View Slide

  4. 会社概要
    4
    (PPHMF$MPVEϓϨϛΞαʔϏε
    ηϧύʔτφʔ
    "1/ϓϨϛΞίϯαϧςΟϯάύʔτφʔ
    ೥࿈ଓೝఆ
    "1/$POTVMUJOH1BSUOFSPGUIF:FBS
    ௨ࢉ౓ड৆
    ϓϨϛΞαʔϏεύʔτφʔೝఆ
    .41ύʔτφʔ
    ίϯϐςϯγʔ
    %BUB"OBMZUJDT
    .JHSBUJPO
    .41ύʔτφʔ
    8FMM"SDIJUFDUFEύʔτφʔ
    "841VCMJD4FDUPSύʔτφʔ
    (PWFSONFOU3FTFMMFS
    ڌ఺
    ύʔτφʔ

    View Slide

  5. 5
    cloudpackは、スタートアップから⼤企業まで、これまでに2,300社を超えるクラウドの導⼊実績があり、各分野へ幅広く
    サービスをご提供しています。
    豊富な実績で培われた技術⼒や知⾒・ノウハウを活かし、今後もお客様の課題解決やビジネス発展をご⽀援してまいります。
    Ϋϥ΢υಋೖ࣮੷
    2,300ࣾҎ্
    ೥ؒϓϩδΣΫτ
    3,800Ҏ্

    View Slide

  6. セキュリティへの取り組み
    6
    アイレットでは、お客様に安⼼してサービスをご利⽤頂くために、第三者機関による認証を積極的に取得しており、情
    報セキュリティに対して万全の態勢で取り組んでいます。
    ৘ใηΩϡϦςΟࠃࡍඪ४ʢ*40*&$ʣ
    Ϋϥ΢υ৘ใηΩϡϦςΟʢ*40*&$ʣ
    Ϋϥ΢υݸਓ৘ใอޢʢ*40*&$ʣ
    *5αʔϏεࠃࡍඪ४ʢ*40*&$ʣ
    ݸਓ৘ใอޢࠃࡍඪ४˞ ʢ*40*&$ʣ
    ˞ΞΠϨοτ͕ੈքॳͷऔಘ
    ΫϨδοτΧʔυӡ༻ج४
    ʢ1$*%44

    ۚ༥ϨϕϧͷηΩϡϦςΟ
    ؂ࠪϨϙʔτ 40$
    ˞
    ˞"84্Ͱͷडྖͱͯ͠͸
    ΞΠϨοτ͕೔ຊॳ

    View Slide

  7. 事業概要・サービス提供範囲
    7
    ΞΠϨοτ͸ɺΫϥ΢υͷಋೖઃܭ͔Βߏஙɾอकɾӡ༻ΛτʔλϧͰαϙʔτ͢Δ
    ʮDMPVEQBDLʯ͓Αͼʮ3BDLTQBDFʯͱɺγεςϜઃܭɾ։ൃɾσβΠϯΛϫϯετοϓͰߦ͏ʮ։ൃʯΛఏڙ͍ͯ͠·͢ɻ
    Ϋϥ΢υ
    "84($1"[VSF0SBDMF
    0SBDMF
    $MPVE
    *OGSBTUSVDUVSF
    ηΩϡϦςΟ
    τϨϯυϚΠΫϩ
    4VNP-PHJD +BQBO
    ηΩϡΞϫʔΫε
    ηΩϡΞεΧΠςΫϊϩδʔ
    *P5
    גࣜձࣾιϥίϜ
    Ϗοάσʔλ
    DMPɺLPO
    σʔλΞʔςΟετ
    גࣜձࣾ

    View Slide

  8. cloudpackの主なサービス
    8
    cloudpackは、クラウドの導⼊や運⽤を中⼼に、お客様のご要望に幅広くお応えする総合⽀援サービスです。
    ⻑年に渡り多くの実績を積み重ね、IT全般における幅広い知⾒やノウハウを蓄積してきたcloudpackが、充実したサービス
    の数々でお客様の課題解決やビジネス発展をご⽀援いたします。
    αʔόʔ
    請求代⾏
    構築
    運⽤・保守 監視
    請求代⾏
    AWS
    GCP
    請求代⾏adv.
    監視・運⽤ 静的ホスティング
    その他
    NJHSBUJPOQBDL
    TUSFBNQBDL
    σʔλϕʔε
    TFDVSJUZQBDL
    8BG$IBSN
    Ωϟογϡ
    ดҬωοτϫʔΫ
    ઀ଓ
    ઐ༻઀ଓ
    Ϋϥ΢υ
    ίʔσΟωʔτ
    ΠϯγσϯτରԠ
    4ϗεςΟϯά
    ϦϞʔτϫʔΫ
    ؀ڥߏங
    %BUBEPH
    μογϡϘʔυ
    $%/ઐ༻
    定額プラン
    ٕज़ݕূʢ1P$ʣ 'JMF.BLFS
    ϓϥοτϑΥʔϜ
    7.XBSF$MPVEPO
    "84ߏங
    -BO4DPQF$BU
    ಋೖࢧԉ
    *P5QBDLXJUI
    403"$0.
    ϩάՄࢹԽ 8FCΞΫηε࠷దԽ
    ੬ऑੑ਍அ ੥ٻ୅ߦαʔϏε GPS
    403"$0.
    ෛՙςετ
    Data Lake 構築
    "QQ(VBSE4FSWFS

    View Slide

  9. cloudpack
    10
    ௚઀ܖ໿͢ΔΑΓ΋͓ಘʹɺˋׂҾͰ͝ར༻Ͱ͖Δ
    αʔϏεͰ͢ɻ·ͨɺ௨ৗ͸υϧݐͯͷΫϨδοτΧʔ
    υܾࡁͱͳΔ͓ࢧ෷͍Λɺ೔ຊԁͷ੥ٻॻ෷͍Ͱߦ͏͜
    ͱ͕ՄೳʹͳΓ·͢ɻ
    ͞Βʹɺܦݧ๛෋ͳDMPVEQBDLΤϯδχΞʹΑΔٕज़α
    ϙʔτ΋ແྉͰ෇ଐ͍ͯ͠·͢ɻ
    ੥ٻ୅ߦ
    ௚઀ܖ໿͢ΔΑΓஅવ͓ಘ
    ؂ࢹӡ༻
    ো֐ൃੜ࣌΋࣌ؒ೔ͷϑϧαϙʔτ
    ωοτϫʔΫ΍04ͷ֤छઃఆมߋɺαʔόʔͷεέʔϧௐ੔ͳ
    Ͳɺӡ༻ɾอकʹ͓͚Δ൥Θ͍͠࡞ۀ͸͢΂ͯDMPVEQBDLʹ͓೚ͤ
    ͍ͩ͘͞

    View Slide

  10. 11
    アイレットMSPの沿⾰

    View Slide

  11. アイレットMSPの沿⾰
    12
    • ૑ઃظ
    ౦ژΦϑΟεʹͯελʔτɻ
    Ҋ݅਺ͷ૿Ճʹ൐͍ɺঃʑʹ.41୲౰ऀ΋૿һɻ
    • ϚϧνϦʔδϣϯԽ։࢝
    େࡕΦϑΟε։ઃʹ൐͍ɺ౦ࡕͷ୲౰ऀͰฒߦͯ͠ӡ༻
    ۀ຿Λ։࢝͢Δʢओ࣠͸౦ژʣɻ
    • ϚϧνϦʔδϣϯԽ׬ྃ
    ώϡʔϚϯϦιʔε͚ͩͰͳ͘ɺ֬ೝػࡐ΍ηΩϡϦ
    ςΟϧʔϜͳͲͷϑΝγϦςΟ໘Ͱ΋৑௕Խ׬੒ɻ

    View Slide

  12. ɾݸਓ΁ͷ௨஌
    ɾάϧʔϓ΁ͷप஌
    ɾφϨοδͷڞ༗
    ɾτϨʔαϒϧͳ
    ΍ΓͱΓ
    IUUQTDMPVEQBDLKQFWFOUKBXTVHPTBLBUIIUNM

    View Slide

  13. Pager Duty導⼊前の課題
    14
    • ঢ়گ͕Ұ໨Ͱݟ͑ͳ͍
    • Ξϥʔτ͝ͱͷΞαΠϯঢ়گ͕෼͔Γʹ͍͘
    • Ξϥʔτͷ෼ੳ͕ࠔ೉
    ɺ1BHFS%VUZΛ࢖ͬͨӡ༻։࢝

    View Slide

  14. 15
    アイレットから⾒たPager Dutyの凄さ

    View Slide

  15. Pager Dutyの強み
    16
    ⾼可⽤性 弾⼒性 豊富なインテグレーション

    View Slide

  16. 17
    アイレットにおけるPager Dutyの活⽤

    View Slide

  17. データに基づいた運⽤改善
    18

    View Slide

  18. AMS
    19
    AMSの導⼊により監視業務の⼀次対応を⾃動化
    Ø 動作確認・情報取得
    Ø 復旧操作
    Ø ⼆次担当者へエスカレーション

    View Slide

  19. • 対応内容
    以下の流れで監視業務を実施している。
    ① アラートを確認し、規定の⼿順で監視対象の動作や状態を確認する。
    必要に応じてアラート発⽣要因調査のための情報を取得する。
    ② 動作確認でNGの場合は復旧対応を実施する。
    ③ 復旧対応後は復旧確認を実施する。
    ④ 電話やBacklogでエスカレーション(アラート報告、⽀援要請、等)。
    ⑤ 必要に応じて⼆次運⽤担当者が引き継いで対応する。
    21
    ①動作確認・情報取得
    ④エスカレーション
    アラート確認
    • 現⾏業務の課題
    Ø ⼈的コストの課題
    ⇒ 監視対象の増加に伴い、⼈的コストが増加する。
    Ø 時間の課題
    ⇒ 負荷状況により対応時間にばらつきがでる。
    ⇒ 影響のないアラートも、毎回⼈⼿による対応が必要で時間の無駄。
    Ø 対応レベルの課題
    ⇒ ⼈⼿による作業は、ミスの発⽣リスクがある。
    ⇒ 対応者のスキルにより、対応内容にばらつきがでる。
    ⼀般的な監視業務
    ②復旧対応
    ③復旧確認
    ⑤⼆次対応
    ⼀次運⽤担当者が
    対応する
    監視対象
    お客様担当者
    アラート発⽣
    導⼊による効果 - AMS導⼊前

    View Slide

  20. 導⼊による効果 - AMS導⼊後
    • 対応内容
    以下の流れで監視業務を実施する。
    ①AMSがアラートを解析し、定義済み⼀次対応のシナリ
    オを実⾏する。
    ②未定義のアラート等は、⼀次運⽤担当者が対応する。
    ③必要に応じて、⼆次運⽤担当者が引き継いで対応する。
    22
    アラート通知
    • 期待される効果
    Ø ⼈的コストの改善
    ⇒ 監視対象の増加に伴う⼈的コスト増加を削減できる。
    Ø 時間の改善
    ⇒ アラートを検知してすぐに⼀次対応を開始できる。
    ⇒ ⼀次対応にかかる時間を均⼀化できる。
    ⇒ ⼀次運⽤担当者は、AMSで処理できなかったアラートのみ対応する。
    Ø 対応レベルの改善
    ⇒ 操作ミスや報告先誤り等の作業ミスがなくなる。
    ⇒ 対応レベルを均⼀化できる。
    AMS導⼊後の監視業務
    監視対象
    ①AMSが⼀次対応実施
    アラート解析
    動作確認・情報取得
    復旧対応
    復旧確認
    エスカレーション
    ③⼆次対応
    お客様担当者
    ②⼀次対応
    アラート発⽣

    View Slide

  21. AMS導⼊前後の相関図⽐較
    23
    ⼀次運⽤担当者
    アラート発報
    ①アラート確認
    ③動作確認、情報取得
    ⑤エスカレーション
    ⼆次運⽤担当者
    顧客
    ⑥アラートクローズ
    ④復旧対応、復旧確認
    アラート発報
    ①アラート通知・解析
    ②動作確認、情報取得
    ④エスカレーション
    顧客
    ⑤アラートクローズ、
    ⼀次対応結果出⼒
    ③復旧対応、復旧確認
    ⼀次運⽤担当者
    導⼊前
    導⼊後
    ②⼿順書参照
    監視ツール
    監視ツール
    ⼆次運⽤担当者
    監視対象サービス
    監視対象サービス ⼀次対応依頼
    想定外ケースや
    オペレーションを引き継ぐケースは
    ⼀次運⽤担当者に⼀次対応移譲

    View Slide

  22. AMSの処理フロー
    24
    動作確認
    OK時の処理
    (情報取得)
    アラート登録
    インシデント通知
    (Webhook)
    シナリオ開始
    エスカレーション
    NG時の処理
    (復旧対応)
    動作確認
    (復旧確認)
    エスカレーション
    エスカレーション
    OK
    NG
    インシデント解析
    (シナリオ決定)
    エスカレーション
    OK
    NG
    シナリオ実⾏結果
    監視ツール

    View Slide

  23. 25

    View Slide

  24. 26

    View Slide

  25. 紹介記事
    cloudpack.mediaにて、PagerDutyの活⽤事例としてAMSを紹介しています。
    MSP業務の効率化を実現〜PagerDutyを活⽤した次世代監視システムを開発〜
    https://cloudpack.media/51121
    27

    View Slide

  26. 28
    まとめ

    View Slide

  27. 29
    •PagerDutyを利⽤することで、アラート対応のアサイ
    ンがシステム化できる
    •PagerDutyで処理したアラートは分析可能
    •PagerDutyのインテグレーションやWebhookおよび
    APIを活⽤することで、⾃動処理の拡張も可能

    View Slide

  28. ٕज़ͱ୳ڀ৺Ͱ
    ࠓ೔ͷʮͰ͖ͳ͍ʯΛ
    ໌೔ͷʮͰ͖Δʯʹ

    View Slide