Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
PagerDutyを活用したインシデント管理の自動化とメリット
Search
Yutaka Hiroyama
August 31, 2021
Technology
0
390
PagerDutyを活用した インシデント管理の自動化とメリット
PagerDutyにてデジタルオペレーションの現代化を!
https://pagerdutyandawsjointwebinar.splashthat.com/
Yutaka Hiroyama
August 31, 2021
Tweet
Share
More Decks by Yutaka Hiroyama
See All by Yutaka Hiroyama
Is Serverless Safe? ~Hacking AWS Lambda~
pict3
0
41
Is Serverless Safe? ~Hacking AWS Lambda~
pict3
1
260
WafCharm運用のベストプラクティスを考えてみた
pict3
0
1k
AWSからのメール読んでいますか?
pict3
0
1.7k
PCI DSS運用でラクをする/make_it_easy_for_pci-dss_operation_on_cloud
pict3
0
220
AWSでのPCI DSS運用でラクをする/make_it_easy_for_pci-dss_operation_on_aws
pict3
1
2.1k
運用情報共有会資料
pict3
0
110
AWS運用における「セキュリティ」の不安を一掃! cloudpackのセキュリティサービスで安心運用を実現
pict3
0
95
Other Decks in Technology
See All in Technology
ラブグラフ紹介資料 〜プロダクト解体新書〜 / Lovegraph Product Deck
lovegraph
0
14k
Oracle Database 23ai 新機能#4 Rolling Maintenance
oracle4engineer
PRO
0
140
CData Virtuality を活かせるキーシナリオと製品デモ
cdataj
0
230
SageMaker学習のツボ / The Key Points of Learning SageMaker
cmhiranofumio
0
200
From LibreOffice to « La Suite » : providing civil servants with Free Software sovereign tools
bluehats
0
100
小さな勉強会の始め方、広げ方、あるいは友達の作り方 / How to Start, Grow, and Build Connections with Small Study Groups
ar_tama
6
3k
Vespaを利用したテクいベクトル検索
szdr
2
190
普通の Web エンジニアのための様相論理入門 #yapcjapan / YAPC Hakodate 2024
ytaka23
7
1.6k
テストを楽に書きたい
tomorrowkey
1
200
Amazon CloudWatchで小さく始めるWebサービスのオブザーバビリティ / How to start Observability for Web Sevices with Amazon CloudWatch
sms_tech
3
110
Oracle Database 23ai 新機能#4 Application Continuity
oracle4engineer
PRO
0
130
Amplify Gen 2ではじめる 生成AIアプリ開発入門
tsukuboshi
0
250
Featured
See All Featured
Java REST API Framework Comparison - PWX 2021
mraible
PRO
28
7.5k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
39
2.1k
For a Future-Friendly Web
brad_frost
174
9.3k
YesSQL, Process and Tooling at Scale
rocio
167
14k
A better future with KSS
kneath
237
17k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
25
660
In The Pink: A Labor of Love
frogandcode
139
22k
Designing for Performance
lara
604
68k
How GitHub Uses GitHub to Build GitHub
holman
473
290k
The Art of Programming - Codeland 2020
erikaheidi
51
13k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
249
21k
Designing with Data
zakiwarfel
98
5.1k
Transcript
アイレット株式会社 廣⼭ 豊 PagerDutyを活⽤した インシデント管理の⾃動化とメリット
⾃⼰紹介 2 •廣⼭ 豊 •アイレット株式会社 クラウドインテグレーション事業部副事業部⻑ 兼 情報管理責任者 兼 PCI
DSS管理責任者 兼 Well Architected Lead •2020, 2021 Japan APN AWS Ambassador, AWS Top Engineers •組み込み開発SIer出⾝ •AWS * 9, GCP * 10, Azure * 1, 情報処理安全確保⽀援⼠、 その他多数の認定資格を保有
会社概要 3 社名 アイレット株式会社 所在地 東京都港区⻁ノ⾨1-23-1 ⻁ノ⾨ヒルズ森タワー7F 設⽴ 2003年10⽉15⽇ 代表取締役会⻑
齋藤 将平 代表取締役社⻑ 岩永 充正 従業員数 682名(2021年4⽉末時点) 事業内容 ITコンサルティング、システム開発 システム保守・運⽤、 サーバーハウジング・ホスティング、 デザイン 主要株主 KDDI株式会社 2003年 10⽉ 千葉県野⽥市にて創業 2005年 10⽉ 業務拡⼤に伴い、東京都港区芝浦に本社移転 2010年 4⽉ クラウドの導⼊設計、運⽤・保守サービスcloudpack を開始 2011年 1⽉ AWSソリューションプロバイダー登録 2011年 2⽉ 業務拡⼤に伴い、東京都港区海岸に事務所移転 2012年 6⽉ APN アドバンスドコンサルティングパートナー登録 2013年 6⽉ APN プレミアコンサルティングパートナー認定(2013 年度) 【⽇本初 / 2020年度までに8年連続認定】 2014年 8⽉ 東京都港区⻁ノ⾨・⻁ノ⾨ヒルズに事務所開設 2014年 11⽉ ⼤阪オフィス開設(国内2拠点⽬) 2014年 11⽉ APN プレミアコンサルティングパートナー認定(2015 年度) 2015年 3⽉ APN Consulting Partner of the year 2014 受賞 2015年 4⽉ 東京都港区⻁ノ⾨に本社移転 2016年 11⽉ 名古屋オフィス開設(国内3拠点⽬) 2017年 2⽉ KDDI株式会社の傘下に⼊り、⼦会社になる 2019年 1⽉ スクラム開発拠点として、東京都港区⻁ノ⾨にスクラムオフィス開設 2019年 7⽉ Google Cloudプレミアサービスパートナー認定 2020年 3⽉ APN Consulting Partner of the Year受賞(5回⽬) 2020年 7⽉ TREND MICRO Partner Award 2019 受賞 2021 4݄ (PPHMF$MPVEͷϚωʔδυ αʔϏε ϓϩόΠμʢ.41ʣೝఆΛऔಘ 2021 5݄ "84+BQBO$FSUJGJDBUJPO"XBSE %FWFMPQFS$IBNQJPOPGUIF:FBSड
会社概要 4 (PPHMF$MPVEϓϨϛΞαʔϏε ηϧύʔτφʔ "1/ϓϨϛΞίϯαϧςΟϯάύʔτφʔ ࿈ଓೝఆ "1/$POTVMUJOH1BSUOFSPGUIF:FBS ௨ࢉड ϓϨϛΞαʔϏεύʔτφʔೝఆ
.41ύʔτφʔ ίϯϐςϯγʔ %BUB"OBMZUJDT .JHSBUJPO .41ύʔτφʔ 8FMM"SDIJUFDUFEύʔτφʔ "841VCMJD4FDUPSύʔτφʔ (PWFSONFOU3FTFMMFS ڌ ύʔτφʔ
5 cloudpackは、スタートアップから⼤企業まで、これまでに2,300社を超えるクラウドの導⼊実績があり、各分野へ幅広く サービスをご提供しています。 豊富な実績で培われた技術⼒や知⾒・ノウハウを活かし、今後もお客様の課題解決やビジネス発展をご⽀援してまいります。 Ϋϥυಋೖ࣮ 2,300ࣾҎ্ ؒϓϩδΣΫτ 3,800Ҏ্
セキュリティへの取り組み 6 アイレットでは、お客様に安⼼してサービスをご利⽤頂くために、第三者機関による認証を積極的に取得しており、情 報セキュリティに対して万全の態勢で取り組んでいます。 ใηΩϡϦςΟࠃࡍඪ४ʢ*40*&$ʣ ΫϥυใηΩϡϦςΟʢ*40*&$ʣ Ϋϥυݸਓใอޢʢ*40*&$ʣ *5αʔϏεࠃࡍඪ४ʢ*40*&$ʣ ݸਓใอޢࠃࡍඪ४˞ ʢ*40*&$ʣ
˞ΞΠϨοτ͕ੈքॳͷऔಘ ΫϨδοτΧʔυӡ༻ج४ ʢ1$*%44 ۚ༥ϨϕϧͷηΩϡϦςΟ ࠪϨϙʔτ 40$ ˞ ˞"84্Ͱͷडྖͱͯ͠ ΞΠϨοτ͕ຊॳ
事業概要・サービス提供範囲 7 ΞΠϨοτɺΫϥυͷಋೖઃܭ͔Βߏஙɾอकɾӡ༻ΛτʔλϧͰαϙʔτ͢Δ ʮDMPVEQBDLʯ͓Αͼʮ3BDLTQBDFʯͱɺγεςϜઃܭɾ։ൃɾσβΠϯΛϫϯετοϓͰߦ͏ʮ։ൃʯΛఏڙ͍ͯ͠·͢ɻ Ϋϥυ "84($1"[VSF0SBDMF 0SBDMF $MPVE *OGSBTUSVDUVSF ηΩϡϦςΟ
τϨϯυϚΠΫϩ 4VNP-PHJD +BQBO ηΩϡΞϫʔΫε ηΩϡΞεΧΠςΫϊϩδʔ *P5 גࣜձࣾιϥίϜ Ϗοάσʔλ DMPɺLPO σʔλΞʔςΟετ גࣜձࣾ
cloudpackの主なサービス 8 cloudpackは、クラウドの導⼊や運⽤を中⼼に、お客様のご要望に幅広くお応えする総合⽀援サービスです。 ⻑年に渡り多くの実績を積み重ね、IT全般における幅広い知⾒やノウハウを蓄積してきたcloudpackが、充実したサービス の数々でお客様の課題解決やビジネス発展をご⽀援いたします。 αʔόʔ 請求代⾏ 構築 運⽤・保守 監視
請求代⾏ AWS GCP 請求代⾏adv. 監視・運⽤ 静的ホスティング その他 NJHSBUJPOQBDL TUSFBNQBDL σʔλϕʔε TFDVSJUZQBDL 8BG$IBSN Ωϟογϡ ดҬωοτϫʔΫ ଓ ઐ༻ଓ Ϋϥυ ίʔσΟωʔτ ΠϯγσϯτରԠ 4ϗεςΟϯά ϦϞʔτϫʔΫ ڥߏங %BUBEPH μογϡϘʔυ $%/ઐ༻ 定額プラン ٕज़ݕূʢ1P$ʣ 'JMF.BLFS ϓϥοτϑΥʔϜ 7.XBSF$MPVEPO "84ߏங -BO4DPQF$BU ಋೖࢧԉ *P5QBDLXJUI 403"$0. ϩάՄࢹԽ 8FCΞΫηε࠷దԽ ੬ऑੑஅ ٻߦαʔϏε GPS 403"$0. ෛՙςετ Data Lake 構築 "QQ(VBSE4FSWFS
cloudpack 10 ܖ͢ΔΑΓ͓ಘʹɺˋׂҾͰ͝ར༻Ͱ͖Δ αʔϏεͰ͢ɻ·ͨɺ௨ৗυϧݐͯͷΫϨδοτΧʔ υܾࡁͱͳΔ͓ࢧ͍Λɺຊԁͷٻॻ͍Ͱߦ͏͜ ͱ͕ՄೳʹͳΓ·͢ɻ ͞Βʹɺܦݧ๛ͳDMPVEQBDLΤϯδχΞʹΑΔٕज़α ϙʔτແྉͰଐ͍ͯ͠·͢ɻ ٻߦ ܖ͢ΔΑΓஅવ͓ಘ
ࢹӡ༻ োൃੜ࣌࣌ؒͷϑϧαϙʔτ ωοτϫʔΫ04ͷ֤छઃఆมߋɺαʔόʔͷεέʔϧௐͳ Ͳɺӡ༻ɾอकʹ͓͚ΔΘ͍͠࡞ۀͯ͢DMPVEQBDLʹ͓ͤ ͍ͩ͘͞
11 アイレットMSPの沿⾰
アイレットMSPの沿⾰ 12 • ઃظ ౦ژΦϑΟεʹͯελʔτɻ Ҋ݅ͷ૿Ճʹ͍ɺঃʑʹ.41୲ऀ૿һɻ • ϚϧνϦʔδϣϯԽ։࢝ େࡕΦϑΟε։ઃʹ͍ɺ౦ࡕͷ୲ऀͰฒߦͯ͠ӡ༻ ۀΛ։࢝͢Δʢओ࣠౦ژʣɻ
• ϚϧνϦʔδϣϯԽྃ ώϡʔϚϯϦιʔε͚ͩͰͳ͘ɺ֬ೝػࡐηΩϡϦ ςΟϧʔϜͳͲͷϑΝγϦςΟ໘ͰԽɻ
ɾݸਓͷ௨ ɾάϧʔϓͷप ɾφϨοδͷڞ༗ ɾτϨʔαϒϧͳ ΓͱΓ IUUQTDMPVEQBDLKQFWFOUKBXTVHPTBLBUIIUNM
Pager Duty導⼊前の課題 14 • ঢ়گ͕ҰͰݟ͑ͳ͍ • Ξϥʔτ͝ͱͷΞαΠϯঢ়گ͕͔Γʹ͍͘ • Ξϥʔτͷੳ͕ࠔ ɺ1BHFS%VUZΛͬͨӡ༻։࢝
15 アイレットから⾒たPager Dutyの凄さ
Pager Dutyの強み 16 ⾼可⽤性 弾⼒性 豊富なインテグレーション
17 アイレットにおけるPager Dutyの活⽤
データに基づいた運⽤改善 18
AMS 19 AMSの導⼊により監視業務の⼀次対応を⾃動化 Ø 動作確認・情報取得 Ø 復旧操作 Ø ⼆次担当者へエスカレーション
• 対応内容 以下の流れで監視業務を実施している。 ① アラートを確認し、規定の⼿順で監視対象の動作や状態を確認する。 必要に応じてアラート発⽣要因調査のための情報を取得する。 ② 動作確認でNGの場合は復旧対応を実施する。 ③ 復旧対応後は復旧確認を実施する。
④ 電話やBacklogでエスカレーション(アラート報告、⽀援要請、等)。 ⑤ 必要に応じて⼆次運⽤担当者が引き継いで対応する。 21 ①動作確認・情報取得 ④エスカレーション アラート確認 • 現⾏業務の課題 Ø ⼈的コストの課題 ⇒ 監視対象の増加に伴い、⼈的コストが増加する。 Ø 時間の課題 ⇒ 負荷状況により対応時間にばらつきがでる。 ⇒ 影響のないアラートも、毎回⼈⼿による対応が必要で時間の無駄。 Ø 対応レベルの課題 ⇒ ⼈⼿による作業は、ミスの発⽣リスクがある。 ⇒ 対応者のスキルにより、対応内容にばらつきがでる。 ⼀般的な監視業務 ②復旧対応 ③復旧確認 ⑤⼆次対応 ⼀次運⽤担当者が 対応する 監視対象 お客様担当者 アラート発⽣ 導⼊による効果 - AMS導⼊前
導⼊による効果 - AMS導⼊後 • 対応内容 以下の流れで監視業務を実施する。 ①AMSがアラートを解析し、定義済み⼀次対応のシナリ オを実⾏する。 ②未定義のアラート等は、⼀次運⽤担当者が対応する。 ③必要に応じて、⼆次運⽤担当者が引き継いで対応する。
22 アラート通知 • 期待される効果 Ø ⼈的コストの改善 ⇒ 監視対象の増加に伴う⼈的コスト増加を削減できる。 Ø 時間の改善 ⇒ アラートを検知してすぐに⼀次対応を開始できる。 ⇒ ⼀次対応にかかる時間を均⼀化できる。 ⇒ ⼀次運⽤担当者は、AMSで処理できなかったアラートのみ対応する。 Ø 対応レベルの改善 ⇒ 操作ミスや報告先誤り等の作業ミスがなくなる。 ⇒ 対応レベルを均⼀化できる。 AMS導⼊後の監視業務 監視対象 ①AMSが⼀次対応実施 アラート解析 動作確認・情報取得 復旧対応 復旧確認 エスカレーション ③⼆次対応 お客様担当者 ②⼀次対応 アラート発⽣
AMS導⼊前後の相関図⽐較 23 ⼀次運⽤担当者 アラート発報 ①アラート確認 ③動作確認、情報取得 ⑤エスカレーション ⼆次運⽤担当者 顧客 ⑥アラートクローズ
④復旧対応、復旧確認 アラート発報 ①アラート通知・解析 ②動作確認、情報取得 ④エスカレーション 顧客 ⑤アラートクローズ、 ⼀次対応結果出⼒ ③復旧対応、復旧確認 ⼀次運⽤担当者 導⼊前 導⼊後 ②⼿順書参照 監視ツール 監視ツール ⼆次運⽤担当者 監視対象サービス 監視対象サービス ⼀次対応依頼 想定外ケースや オペレーションを引き継ぐケースは ⼀次運⽤担当者に⼀次対応移譲
AMSの処理フロー 24 動作確認 OK時の処理 (情報取得) アラート登録 インシデント通知 (Webhook) シナリオ開始 エスカレーション
NG時の処理 (復旧対応) 動作確認 (復旧確認) エスカレーション エスカレーション OK NG インシデント解析 (シナリオ決定) エスカレーション OK NG シナリオ実⾏結果 監視ツール
25
26
紹介記事 cloudpack.mediaにて、PagerDutyの活⽤事例としてAMSを紹介しています。 MSP業務の効率化を実現〜PagerDutyを活⽤した次世代監視システムを開発〜 https://cloudpack.media/51121 27
28 まとめ
29 •PagerDutyを利⽤することで、アラート対応のアサイ ンがシステム化できる •PagerDutyで処理したアラートは分析可能 •PagerDutyのインテグレーションやWebhookおよび APIを活⽤することで、⾃動処理の拡張も可能
ٕज़ͱ୳ڀ৺Ͱ ࠓͷʮͰ͖ͳ͍ʯΛ ໌ͷʮͰ͖Δʯʹ