Upgrade to Pro — share decks privately, control downloads, hide ads and more …

PagerDutyを活用した インシデント管理の自動化とメリット

PagerDutyを活用した インシデント管理の自動化とメリット

PagerDutyにてデジタルオペレーションの現代化を!
https://pagerdutyandawsjointwebinar.splashthat.com/

Yutaka Hiroyama

August 31, 2021
Tweet

More Decks by Yutaka Hiroyama

Other Decks in Technology

Transcript

  1. ⾃⼰紹介 2 •廣⼭ 豊 •アイレット株式会社 クラウドインテグレーション事業部副事業部⻑ 兼 情報管理責任者 兼 PCI

    DSS管理責任者 兼 Well Architected Lead •2020, 2021 Japan APN AWS Ambassador, AWS Top Engineers •組み込み開発SIer出⾝ •AWS * 9, GCP * 10, Azure * 1, 情報処理安全確保⽀援⼠、 その他多数の認定資格を保有
  2. 会社概要 3 社名 アイレット株式会社 所在地 東京都港区⻁ノ⾨1-23-1 ⻁ノ⾨ヒルズ森タワー7F 設⽴ 2003年10⽉15⽇ 代表取締役会⻑

    齋藤 将平 代表取締役社⻑ 岩永 充正 従業員数 682名(2021年4⽉末時点) 事業内容 ITコンサルティング、システム開発 システム保守・運⽤、 サーバーハウジング・ホスティング、 デザイン 主要株主 KDDI株式会社 2003年 10⽉ 千葉県野⽥市にて創業 2005年 10⽉ 業務拡⼤に伴い、東京都港区芝浦に本社移転 2010年 4⽉ クラウドの導⼊設計、運⽤・保守サービスcloudpack を開始 2011年 1⽉ AWSソリューションプロバイダー登録 2011年 2⽉ 業務拡⼤に伴い、東京都港区海岸に事務所移転 2012年 6⽉ APN アドバンスドコンサルティングパートナー登録 2013年 6⽉ APN プレミアコンサルティングパートナー認定(2013 年度) 【⽇本初 / 2020年度までに8年連続認定】 2014年 8⽉ 東京都港区⻁ノ⾨・⻁ノ⾨ヒルズに事務所開設 2014年 11⽉ ⼤阪オフィス開設(国内2拠点⽬) 2014年 11⽉ APN プレミアコンサルティングパートナー認定(2015 年度) 2015年 3⽉ APN Consulting Partner of the year 2014 受賞 2015年 4⽉ 東京都港区⻁ノ⾨に本社移転 2016年 11⽉ 名古屋オフィス開設(国内3拠点⽬) 2017年 2⽉ KDDI株式会社の傘下に⼊り、⼦会社になる 2019年 1⽉ スクラム開発拠点として、東京都港区⻁ノ⾨にスクラムオフィス開設 2019年 7⽉ Google Cloudプレミアサービスパートナー認定 2020年 3⽉ APN Consulting Partner of the Year受賞(5回⽬) 2020年 7⽉ TREND MICRO Partner Award 2019 受賞 2021೥ 4݄ (PPHMF$MPVEͷϚωʔδυ αʔϏε ϓϩόΠμʢ.41ʣೝఆΛऔಘ 2021೥ 5݄ "84+BQBO$FSUJGJDBUJPO"XBSE %FWFMPQFS$IBNQJPOPGUIF:FBSड৆
  3. 会社概要 4 (PPHMF$MPVEϓϨϛΞαʔϏε ηϧύʔτφʔ "1/ϓϨϛΞίϯαϧςΟϯάύʔτφʔ ೥࿈ଓೝఆ "1/$POTVMUJOH1BSUOFSPGUIF:FBS  ௨ࢉ౓ड৆ ϓϨϛΞαʔϏεύʔτφʔೝఆ

    .41ύʔτφʔ ίϯϐςϯγʔ %BUB"OBMZUJDT .JHSBUJPO .41ύʔτφʔ 8FMM"SDIJUFDUFEύʔτφʔ "841VCMJD4FDUPSύʔτφʔ  (PWFSONFOU3FTFMMFS ڌ఺ ύʔτφʔ
  4. cloudpackの主なサービス 8 cloudpackは、クラウドの導⼊や運⽤を中⼼に、お客様のご要望に幅広くお応えする総合⽀援サービスです。 ⻑年に渡り多くの実績を積み重ね、IT全般における幅広い知⾒やノウハウを蓄積してきたcloudpackが、充実したサービス の数々でお客様の課題解決やビジネス発展をご⽀援いたします。 αʔόʔ 請求代⾏ 構築 運⽤・保守 監視

    請求代⾏ AWS GCP 請求代⾏adv. 監視・運⽤ 静的ホスティング その他 NJHSBUJPOQBDL TUSFBNQBDL σʔλϕʔε TFDVSJUZQBDL 8BG$IBSN Ωϟογϡ ดҬωοτϫʔΫ ઀ଓ ઐ༻઀ଓ Ϋϥ΢υ ίʔσΟωʔτ ΠϯγσϯτରԠ 4ϗεςΟϯά ϦϞʔτϫʔΫ ؀ڥߏங %BUBEPH μογϡϘʔυ $%/ઐ༻ 定額プラン ٕज़ݕূʢ1P$ʣ 'JMF.BLFS ϓϥοτϑΥʔϜ 7.XBSF$MPVEPO "84ߏங -BO4DPQF$BU ಋೖࢧԉ *P5QBDLXJUI 403"$0. ϩάՄࢹԽ 8FCΞΫηε࠷దԽ ੬ऑੑ਍அ ੥ٻ୅ߦαʔϏε GPS 403"$0. ෛՙςετ Data Lake 構築 "QQ(VBSE4FSWFS
  5. • 対応内容 以下の流れで監視業務を実施している。 ① アラートを確認し、規定の⼿順で監視対象の動作や状態を確認する。 必要に応じてアラート発⽣要因調査のための情報を取得する。 ② 動作確認でNGの場合は復旧対応を実施する。 ③ 復旧対応後は復旧確認を実施する。

    ④ 電話やBacklogでエスカレーション(アラート報告、⽀援要請、等)。 ⑤ 必要に応じて⼆次運⽤担当者が引き継いで対応する。 21 ①動作確認・情報取得 ④エスカレーション アラート確認 • 現⾏業務の課題 Ø ⼈的コストの課題 ⇒ 監視対象の増加に伴い、⼈的コストが増加する。 Ø 時間の課題 ⇒ 負荷状況により対応時間にばらつきがでる。 ⇒ 影響のないアラートも、毎回⼈⼿による対応が必要で時間の無駄。 Ø 対応レベルの課題 ⇒ ⼈⼿による作業は、ミスの発⽣リスクがある。 ⇒ 対応者のスキルにより、対応内容にばらつきがでる。 ⼀般的な監視業務 ②復旧対応 ③復旧確認 ⑤⼆次対応 ⼀次運⽤担当者が 対応する 監視対象 お客様担当者 アラート発⽣ 導⼊による効果 - AMS導⼊前
  6. 導⼊による効果 - AMS導⼊後 • 対応内容 以下の流れで監視業務を実施する。 ①AMSがアラートを解析し、定義済み⼀次対応のシナリ オを実⾏する。 ②未定義のアラート等は、⼀次運⽤担当者が対応する。 ③必要に応じて、⼆次運⽤担当者が引き継いで対応する。

    22 アラート通知 • 期待される効果 Ø ⼈的コストの改善 ⇒ 監視対象の増加に伴う⼈的コスト増加を削減できる。 Ø 時間の改善 ⇒ アラートを検知してすぐに⼀次対応を開始できる。 ⇒ ⼀次対応にかかる時間を均⼀化できる。 ⇒ ⼀次運⽤担当者は、AMSで処理できなかったアラートのみ対応する。 Ø 対応レベルの改善 ⇒ 操作ミスや報告先誤り等の作業ミスがなくなる。 ⇒ 対応レベルを均⼀化できる。 AMS導⼊後の監視業務 監視対象 ①AMSが⼀次対応実施 アラート解析 動作確認・情報取得 復旧対応 復旧確認 エスカレーション ③⼆次対応 お客様担当者 ②⼀次対応 アラート発⽣
  7. AMS導⼊前後の相関図⽐較 23 ⼀次運⽤担当者 アラート発報 ①アラート確認 ③動作確認、情報取得 ⑤エスカレーション ⼆次運⽤担当者 顧客 ⑥アラートクローズ

    ④復旧対応、復旧確認 アラート発報 ①アラート通知・解析 ②動作確認、情報取得 ④エスカレーション 顧客 ⑤アラートクローズ、 ⼀次対応結果出⼒ ③復旧対応、復旧確認 ⼀次運⽤担当者 導⼊前 導⼊後 ②⼿順書参照 監視ツール 監視ツール ⼆次運⽤担当者 監視対象サービス 監視対象サービス ⼀次対応依頼 想定外ケースや オペレーションを引き継ぐケースは ⼀次運⽤担当者に⼀次対応移譲
  8. AMSの処理フロー 24 動作確認 OK時の処理 (情報取得) アラート登録 インシデント通知 (Webhook) シナリオ開始 エスカレーション

    NG時の処理 (復旧対応) 動作確認 (復旧確認) エスカレーション エスカレーション OK NG インシデント解析 (シナリオ決定) エスカレーション OK NG シナリオ実⾏結果 監視ツール
  9. 25

  10. 26