Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
PagerDutyを活用したインシデント管理の自動化とメリット
Search
Yutaka Hiroyama
August 31, 2021
Technology
0
400
PagerDutyを活用した インシデント管理の自動化とメリット
PagerDutyにてデジタルオペレーションの現代化を!
https://pagerdutyandawsjointwebinar.splashthat.com/
Yutaka Hiroyama
August 31, 2021
Tweet
Share
More Decks by Yutaka Hiroyama
See All by Yutaka Hiroyama
Is Serverless Safe? ~Hacking AWS Lambda~
pict3
0
52
Is Serverless Safe? ~Hacking AWS Lambda~
pict3
1
270
WafCharm運用のベストプラクティスを考えてみた
pict3
0
1.1k
AWSからのメール読んでいますか?
pict3
0
1.8k
PCI DSS運用でラクをする/make_it_easy_for_pci-dss_operation_on_cloud
pict3
0
220
AWSでのPCI DSS運用でラクをする/make_it_easy_for_pci-dss_operation_on_aws
pict3
1
2.2k
運用情報共有会資料
pict3
0
120
AWS運用における「セキュリティ」の不安を一掃! cloudpackのセキュリティサービスで安心運用を実現
pict3
0
96
Other Decks in Technology
See All in Technology
Making your applications cross-environment - OSCG 2024 NA
salaboy
0
180
マルチプロダクトな開発組織で 「開発生産性」に向き合うために試みたこと / Improving Multi-Product Dev Productivity
sugamasao
1
300
社内で最大の技術的負債のリファクタリングに取り組んだお話し
kidooonn
1
550
New Relicを活用したSREの最初のステップ / NRUG OKINAWA VOL.3
isaoshimizu
2
590
SREが投資するAIOps ~ペアーズにおけるLLM for Developerへの取り組み~
takumiogawa
1
180
インフラとバックエンドとフロントエンドをくまなく調べて遅いアプリを早くした件
tubone24
1
430
VideoMamba: State Space Model for Efficient Video Understanding
chou500
0
190
iOSチームとAndroidチームでブランチ運用が違ったので整理してます
sansantech
PRO
0
130
エンジニア人生の拡張性を高める 「探索型キャリア設計」の提案
tenshoku_draft
1
120
Terraform Stacks入門 #HashiTalks
msato
0
350
Adopting Jetpack Compose in Your Existing Project - GDG DevFest Bangkok 2024
akexorcist
0
110
サイバーセキュリティと認知バイアス:対策の隙を埋める心理学的アプローチ
shumei_ito
0
380
Featured
See All Featured
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
27
840
Happy Clients
brianwarren
98
6.7k
No one is an island. Learnings from fostering a developers community.
thoeni
19
3k
What's in a price? How to price your products and services
michaelherold
243
12k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.1k
Fireside Chat
paigeccino
34
3k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
159
15k
How to Ace a Technical Interview
jacobian
276
23k
Making the Leap to Tech Lead
cromwellryan
133
8.9k
Typedesign – Prime Four
hannesfritz
40
2.4k
Fashionably flexible responsive web design (full day workshop)
malarkey
405
65k
Building a Scalable Design System with Sketch
lauravandoore
459
33k
Transcript
アイレット株式会社 廣⼭ 豊 PagerDutyを活⽤した インシデント管理の⾃動化とメリット
⾃⼰紹介 2 •廣⼭ 豊 •アイレット株式会社 クラウドインテグレーション事業部副事業部⻑ 兼 情報管理責任者 兼 PCI
DSS管理責任者 兼 Well Architected Lead •2020, 2021 Japan APN AWS Ambassador, AWS Top Engineers •組み込み開発SIer出⾝ •AWS * 9, GCP * 10, Azure * 1, 情報処理安全確保⽀援⼠、 その他多数の認定資格を保有
会社概要 3 社名 アイレット株式会社 所在地 東京都港区⻁ノ⾨1-23-1 ⻁ノ⾨ヒルズ森タワー7F 設⽴ 2003年10⽉15⽇ 代表取締役会⻑
齋藤 将平 代表取締役社⻑ 岩永 充正 従業員数 682名(2021年4⽉末時点) 事業内容 ITコンサルティング、システム開発 システム保守・運⽤、 サーバーハウジング・ホスティング、 デザイン 主要株主 KDDI株式会社 2003年 10⽉ 千葉県野⽥市にて創業 2005年 10⽉ 業務拡⼤に伴い、東京都港区芝浦に本社移転 2010年 4⽉ クラウドの導⼊設計、運⽤・保守サービスcloudpack を開始 2011年 1⽉ AWSソリューションプロバイダー登録 2011年 2⽉ 業務拡⼤に伴い、東京都港区海岸に事務所移転 2012年 6⽉ APN アドバンスドコンサルティングパートナー登録 2013年 6⽉ APN プレミアコンサルティングパートナー認定(2013 年度) 【⽇本初 / 2020年度までに8年連続認定】 2014年 8⽉ 東京都港区⻁ノ⾨・⻁ノ⾨ヒルズに事務所開設 2014年 11⽉ ⼤阪オフィス開設(国内2拠点⽬) 2014年 11⽉ APN プレミアコンサルティングパートナー認定(2015 年度) 2015年 3⽉ APN Consulting Partner of the year 2014 受賞 2015年 4⽉ 東京都港区⻁ノ⾨に本社移転 2016年 11⽉ 名古屋オフィス開設(国内3拠点⽬) 2017年 2⽉ KDDI株式会社の傘下に⼊り、⼦会社になる 2019年 1⽉ スクラム開発拠点として、東京都港区⻁ノ⾨にスクラムオフィス開設 2019年 7⽉ Google Cloudプレミアサービスパートナー認定 2020年 3⽉ APN Consulting Partner of the Year受賞(5回⽬) 2020年 7⽉ TREND MICRO Partner Award 2019 受賞 2021 4݄ (PPHMF$MPVEͷϚωʔδυ αʔϏε ϓϩόΠμʢ.41ʣೝఆΛऔಘ 2021 5݄ "84+BQBO$FSUJGJDBUJPO"XBSE %FWFMPQFS$IBNQJPOPGUIF:FBSड
会社概要 4 (PPHMF$MPVEϓϨϛΞαʔϏε ηϧύʔτφʔ "1/ϓϨϛΞίϯαϧςΟϯάύʔτφʔ ࿈ଓೝఆ "1/$POTVMUJOH1BSUOFSPGUIF:FBS ௨ࢉड ϓϨϛΞαʔϏεύʔτφʔೝఆ
.41ύʔτφʔ ίϯϐςϯγʔ %BUB"OBMZUJDT .JHSBUJPO .41ύʔτφʔ 8FMM"SDIJUFDUFEύʔτφʔ "841VCMJD4FDUPSύʔτφʔ (PWFSONFOU3FTFMMFS ڌ ύʔτφʔ
5 cloudpackは、スタートアップから⼤企業まで、これまでに2,300社を超えるクラウドの導⼊実績があり、各分野へ幅広く サービスをご提供しています。 豊富な実績で培われた技術⼒や知⾒・ノウハウを活かし、今後もお客様の課題解決やビジネス発展をご⽀援してまいります。 Ϋϥυಋೖ࣮ 2,300ࣾҎ্ ؒϓϩδΣΫτ 3,800Ҏ্
セキュリティへの取り組み 6 アイレットでは、お客様に安⼼してサービスをご利⽤頂くために、第三者機関による認証を積極的に取得しており、情 報セキュリティに対して万全の態勢で取り組んでいます。 ใηΩϡϦςΟࠃࡍඪ४ʢ*40*&$ʣ ΫϥυใηΩϡϦςΟʢ*40*&$ʣ Ϋϥυݸਓใอޢʢ*40*&$ʣ *5αʔϏεࠃࡍඪ४ʢ*40*&$ʣ ݸਓใอޢࠃࡍඪ४˞ ʢ*40*&$ʣ
˞ΞΠϨοτ͕ੈքॳͷऔಘ ΫϨδοτΧʔυӡ༻ج४ ʢ1$*%44 ۚ༥ϨϕϧͷηΩϡϦςΟ ࠪϨϙʔτ 40$ ˞ ˞"84্Ͱͷडྖͱͯ͠ ΞΠϨοτ͕ຊॳ
事業概要・サービス提供範囲 7 ΞΠϨοτɺΫϥυͷಋೖઃܭ͔Βߏஙɾอकɾӡ༻ΛτʔλϧͰαϙʔτ͢Δ ʮDMPVEQBDLʯ͓Αͼʮ3BDLTQBDFʯͱɺγεςϜઃܭɾ։ൃɾσβΠϯΛϫϯετοϓͰߦ͏ʮ։ൃʯΛఏڙ͍ͯ͠·͢ɻ Ϋϥυ "84($1"[VSF0SBDMF 0SBDMF $MPVE *OGSBTUSVDUVSF ηΩϡϦςΟ
τϨϯυϚΠΫϩ 4VNP-PHJD +BQBO ηΩϡΞϫʔΫε ηΩϡΞεΧΠςΫϊϩδʔ *P5 גࣜձࣾιϥίϜ Ϗοάσʔλ DMPɺLPO σʔλΞʔςΟετ גࣜձࣾ
cloudpackの主なサービス 8 cloudpackは、クラウドの導⼊や運⽤を中⼼に、お客様のご要望に幅広くお応えする総合⽀援サービスです。 ⻑年に渡り多くの実績を積み重ね、IT全般における幅広い知⾒やノウハウを蓄積してきたcloudpackが、充実したサービス の数々でお客様の課題解決やビジネス発展をご⽀援いたします。 αʔόʔ 請求代⾏ 構築 運⽤・保守 監視
請求代⾏ AWS GCP 請求代⾏adv. 監視・運⽤ 静的ホスティング その他 NJHSBUJPOQBDL TUSFBNQBDL σʔλϕʔε TFDVSJUZQBDL 8BG$IBSN Ωϟογϡ ดҬωοτϫʔΫ ଓ ઐ༻ଓ Ϋϥυ ίʔσΟωʔτ ΠϯγσϯτରԠ 4ϗεςΟϯά ϦϞʔτϫʔΫ ڥߏங %BUBEPH μογϡϘʔυ $%/ઐ༻ 定額プラン ٕज़ݕূʢ1P$ʣ 'JMF.BLFS ϓϥοτϑΥʔϜ 7.XBSF$MPVEPO "84ߏங -BO4DPQF$BU ಋೖࢧԉ *P5QBDLXJUI 403"$0. ϩάՄࢹԽ 8FCΞΫηε࠷దԽ ੬ऑੑஅ ٻߦαʔϏε GPS 403"$0. ෛՙςετ Data Lake 構築 "QQ(VBSE4FSWFS
cloudpack 10 ܖ͢ΔΑΓ͓ಘʹɺˋׂҾͰ͝ར༻Ͱ͖Δ αʔϏεͰ͢ɻ·ͨɺ௨ৗυϧݐͯͷΫϨδοτΧʔ υܾࡁͱͳΔ͓ࢧ͍Λɺຊԁͷٻॻ͍Ͱߦ͏͜ ͱ͕ՄೳʹͳΓ·͢ɻ ͞Βʹɺܦݧ๛ͳDMPVEQBDLΤϯδχΞʹΑΔٕज़α ϙʔτແྉͰଐ͍ͯ͠·͢ɻ ٻߦ ܖ͢ΔΑΓஅવ͓ಘ
ࢹӡ༻ োൃੜ࣌࣌ؒͷϑϧαϙʔτ ωοτϫʔΫ04ͷ֤छઃఆมߋɺαʔόʔͷεέʔϧௐͳ Ͳɺӡ༻ɾอकʹ͓͚ΔΘ͍͠࡞ۀͯ͢DMPVEQBDLʹ͓ͤ ͍ͩ͘͞
11 アイレットMSPの沿⾰
アイレットMSPの沿⾰ 12 • ઃظ ౦ژΦϑΟεʹͯελʔτɻ Ҋ݅ͷ૿Ճʹ͍ɺঃʑʹ.41୲ऀ૿һɻ • ϚϧνϦʔδϣϯԽ։࢝ େࡕΦϑΟε։ઃʹ͍ɺ౦ࡕͷ୲ऀͰฒߦͯ͠ӡ༻ ۀΛ։࢝͢Δʢओ࣠౦ژʣɻ
• ϚϧνϦʔδϣϯԽྃ ώϡʔϚϯϦιʔε͚ͩͰͳ͘ɺ֬ೝػࡐηΩϡϦ ςΟϧʔϜͳͲͷϑΝγϦςΟ໘ͰԽɻ
ɾݸਓͷ௨ ɾάϧʔϓͷप ɾφϨοδͷڞ༗ ɾτϨʔαϒϧͳ ΓͱΓ IUUQTDMPVEQBDLKQFWFOUKBXTVHPTBLBUIIUNM
Pager Duty導⼊前の課題 14 • ঢ়گ͕ҰͰݟ͑ͳ͍ • Ξϥʔτ͝ͱͷΞαΠϯঢ়گ͕͔Γʹ͍͘ • Ξϥʔτͷੳ͕ࠔ ɺ1BHFS%VUZΛͬͨӡ༻։࢝
15 アイレットから⾒たPager Dutyの凄さ
Pager Dutyの強み 16 ⾼可⽤性 弾⼒性 豊富なインテグレーション
17 アイレットにおけるPager Dutyの活⽤
データに基づいた運⽤改善 18
AMS 19 AMSの導⼊により監視業務の⼀次対応を⾃動化 Ø 動作確認・情報取得 Ø 復旧操作 Ø ⼆次担当者へエスカレーション
• 対応内容 以下の流れで監視業務を実施している。 ① アラートを確認し、規定の⼿順で監視対象の動作や状態を確認する。 必要に応じてアラート発⽣要因調査のための情報を取得する。 ② 動作確認でNGの場合は復旧対応を実施する。 ③ 復旧対応後は復旧確認を実施する。
④ 電話やBacklogでエスカレーション(アラート報告、⽀援要請、等)。 ⑤ 必要に応じて⼆次運⽤担当者が引き継いで対応する。 21 ①動作確認・情報取得 ④エスカレーション アラート確認 • 現⾏業務の課題 Ø ⼈的コストの課題 ⇒ 監視対象の増加に伴い、⼈的コストが増加する。 Ø 時間の課題 ⇒ 負荷状況により対応時間にばらつきがでる。 ⇒ 影響のないアラートも、毎回⼈⼿による対応が必要で時間の無駄。 Ø 対応レベルの課題 ⇒ ⼈⼿による作業は、ミスの発⽣リスクがある。 ⇒ 対応者のスキルにより、対応内容にばらつきがでる。 ⼀般的な監視業務 ②復旧対応 ③復旧確認 ⑤⼆次対応 ⼀次運⽤担当者が 対応する 監視対象 お客様担当者 アラート発⽣ 導⼊による効果 - AMS導⼊前
導⼊による効果 - AMS導⼊後 • 対応内容 以下の流れで監視業務を実施する。 ①AMSがアラートを解析し、定義済み⼀次対応のシナリ オを実⾏する。 ②未定義のアラート等は、⼀次運⽤担当者が対応する。 ③必要に応じて、⼆次運⽤担当者が引き継いで対応する。
22 アラート通知 • 期待される効果 Ø ⼈的コストの改善 ⇒ 監視対象の増加に伴う⼈的コスト増加を削減できる。 Ø 時間の改善 ⇒ アラートを検知してすぐに⼀次対応を開始できる。 ⇒ ⼀次対応にかかる時間を均⼀化できる。 ⇒ ⼀次運⽤担当者は、AMSで処理できなかったアラートのみ対応する。 Ø 対応レベルの改善 ⇒ 操作ミスや報告先誤り等の作業ミスがなくなる。 ⇒ 対応レベルを均⼀化できる。 AMS導⼊後の監視業務 監視対象 ①AMSが⼀次対応実施 アラート解析 動作確認・情報取得 復旧対応 復旧確認 エスカレーション ③⼆次対応 お客様担当者 ②⼀次対応 アラート発⽣
AMS導⼊前後の相関図⽐較 23 ⼀次運⽤担当者 アラート発報 ①アラート確認 ③動作確認、情報取得 ⑤エスカレーション ⼆次運⽤担当者 顧客 ⑥アラートクローズ
④復旧対応、復旧確認 アラート発報 ①アラート通知・解析 ②動作確認、情報取得 ④エスカレーション 顧客 ⑤アラートクローズ、 ⼀次対応結果出⼒ ③復旧対応、復旧確認 ⼀次運⽤担当者 導⼊前 導⼊後 ②⼿順書参照 監視ツール 監視ツール ⼆次運⽤担当者 監視対象サービス 監視対象サービス ⼀次対応依頼 想定外ケースや オペレーションを引き継ぐケースは ⼀次運⽤担当者に⼀次対応移譲
AMSの処理フロー 24 動作確認 OK時の処理 (情報取得) アラート登録 インシデント通知 (Webhook) シナリオ開始 エスカレーション
NG時の処理 (復旧対応) 動作確認 (復旧確認) エスカレーション エスカレーション OK NG インシデント解析 (シナリオ決定) エスカレーション OK NG シナリオ実⾏結果 監視ツール
25
26
紹介記事 cloudpack.mediaにて、PagerDutyの活⽤事例としてAMSを紹介しています。 MSP業務の効率化を実現〜PagerDutyを活⽤した次世代監視システムを開発〜 https://cloudpack.media/51121 27
28 まとめ
29 •PagerDutyを利⽤することで、アラート対応のアサイ ンがシステム化できる •PagerDutyで処理したアラートは分析可能 •PagerDutyのインテグレーションやWebhookおよび APIを活⽤することで、⾃動処理の拡張も可能
ٕज़ͱ୳ڀ৺Ͱ ࠓͷʮͰ͖ͳ͍ʯΛ ໌ͷʮͰ͖Δʯʹ