IIJmio meeting 34 / バリーくんとMVNOの運用

IIJmio meeting 34 開催案内
https://techlog.iij.ad.jp/archives/3094
IIJmio meeting 34 資料公開
https://techlog.iij.ad.jp/archives/3107

Transcript

1. 1 © Internet Initiative Japan Inc. バリーくんとMVNOの運用 IIJmio Meeting #34 2023/6/24 MVNO事業部 コンシューマサービス部 姜 鍾勲
2. 2 自己紹介 ▪ 名前: 姜 鍾勲（カン ジョンフン） ▪ 経歴、業務内容: ・ソウル出身 ・日本に来たのは2004年 ・IIJに入社したのは「2013年11月」 ・入社後、IIJmioのサービス開発・システム開発・システム運用業務を担当 ▪ 趣味等: ・筋トレ ・SF映画を見る（特にマーベル・DC・スターウォーズ系） ・ゲーム（最近は今更だけど「龍が如く」シリーズにドハマり中） ・70～90年代のスーパーロボット系アニメ 先週末「龍が如く 極」をプレーしながら最近購入したダンクーガを合体して 撮った記念ショット！！
3. 3 本日のメニュー 1. エスカレーション業務とは？ 2. Barry & バリーくんの紹介 3. バリーくんがきてくれて助かったこと
4. 4 1. エスカレーション業務とは？ ▪ エスカレーションとは？ 検索すると、 ・現場や部下など、その権限者では解決・対応が困難なトラブルおよび判断について、 上位者に対応を委ねること。 ・上司や責任者といった上位者に指示や判断を仰ぐこと。 と書いてありますが、IIJのシステム運用におけるエスカレーションは 「とある出来事（外部・内部障害、緊急報告事項など）」を 「関係するところ（会社・上司・運用担当など）」に 「速やかに報告する（呼び出す） 」業務 であると理解していただきたい。 こういうIIJのエスカレーション業務は「365日24時間」の対応が必要なケースが多い。
5. 5 1. エスカレーション業務とは？ ▪ エスカレーション業務の流れ トラブル 発生 トラブル 発生 システム側 監視運用 ① ② ③ ④ ⑤ 管 管 管 システム担当グループ 管理者 ・システムは、トラブル発生の際、何 らかの方法（電話/メール/ システム連携など）でトラブル発生 内容を通知する。 トラブル発生通知 ・IIJのシステムだけではなく、外部 ベンダーや他の通信事業者側のシス テムまたは設備関連トラブルも対象。 システムトラブルを検知 ・監視運用側はシステムからのトラブル発生通知を検知し、 発生したトラブル内容ごとに決まっているルールに従って 関連システム担当者に連絡する。 当該障害を担当するシステ ム担当グループに連絡 ・トラブルが発生したシステムと 対応手順などを確認し、トラブル対応 を実施する。 ・必要に応じて、会社（管理者）にも 報告する。 トラブル対応を実施 サービスに影響がある重大 トラブルが発生した場合は、 別途会社に報告 ・サービスに影響がある重大トラブルの 場合対応方針などを議論/判断し 実施する。
6. 6 ▪ 今までのエスカレーション業務 – 監視運用する人の気持ち 監視運用 ・監視運用側はシステムからのトラブル発生通知を検知し、 発生したトラブル内容ごとに決まっているルールに従って 関連システム担当者に連絡する。 1. エスカレーション業務とは？ 複数のトラブルの通知同時に発生している。先ほど発生したトラブ ル対応もまだ終わってないのに手が回らない。やらないといけない のはエスカレーション業務だけじゃないのに困った -.,-; ---------------------------------------------------------------------- 休日の夜発生したシステムトラブルの通知でシステム運用グループ に電話で連絡しているのに、誰も出てきてくれない。やらないとい けないのはエスカレーション業務だけじゃないのに困った -.,-;
7. 7 ▪ 今までのエスカレーション業務 – システム担当の気持ち トラブル 発生 ① ② ③ ④ ⑤ システム担当グループ ・トラブルが発生したシステムと 対応手順などを確認し、トラブル対応 を実施する。 ・必要に応じて、会社（管理者）にも 報告する。 叩き起こされて呼ばれたせいなのか、電話で聞いたはず内容がよく分からなくなっ た。困った。-.,-; 呼ばれて担当になったけど、対応方法が良く分からない。困った。 -.,-; この障害は影響範囲がやばいかも。上司に報告しないとだけど、誰に報告すればい いんだけ？ 困った。 -.,-; 障害だ。至急全体周知しないと。でも全員に連絡するのには時間がかかる。 困った。-.,-; いつも呼ばれて対応してるけど、みんな分かってくれてるかな。悲しい。 T_T 1. エスカレーション業務とは？
8. 8 ▪ 今までのエスカレーション業務 – 管理者の気持ち 1. エスカレーション業務とは？ 管 管 管 管理者 ・サービスに影響がある重大トラブルの 場合対応方針などを議論/判断し 実施する。 何か起きてると聞いたけど、現状の対応状況が分からない。不安だ。-_-; 最近障害が増えてる気がする。改善のためどのシステムでどれだけ発生しているのか のデータ分析がしたいけど、どこで取ればいいんだろう。困った。 -.,-; 障害対応が特定の人だけに偏っている気がする。システム担当グループメンバーの対 応状況が知りたいけど、どこを見ればいいのか分からない。困った。-.,-;
9. 9 2. Barry & バリーくんの紹介 ▪ Barryとは？ ・IIJの各種システム運用・サービス運用などにおけるエスカレーション支援システム ・IIJ独自開発で、現場エンジニアの声を聞いて、現場で使えるツールとして開発 - 自動的にシステムからのトラブル通知を検知し、システム担当グループメンバー全員に同時に呼び出し の連絡ができる。 - 呼び出しの際、発生個所やトラブル内容を正確で明確に伝えることができる。 - だれでも必要なとき速やかでかつ柔軟に必要なメンバーを呼び出すことができる。 - 誰が担当になって現在どういう対応を行っているのかなどの対応状況が分かる。 - 過去発生したトラブル対応記録が管理できる。 - 対応内容、結果などに対する周りからのリアクションができる。
10. 10 2. Barry & バリーくんの紹介 ▪ バリーくんは？ ・Barryのマスコットキャラクターとして誕生 ・バリーくんの公式プロフィール ↓ 名前 バリー 犬種 元ネタが「救助犬バリー」なのでセントバーナード...かもしれません 身長 キーキャップ３個分 住所 みんなのキーボードの上 誕生日 2月13日 その他 ・アラートの発生を予感すると耳裏からオゾン臭がする ・カレーが好き
11. 11 2. Barry & バリーくんの紹介 ▪ バリーくんは？ ・今はBarryのマスコットキャラクターの領域を超えて様々のところ活動範囲を広げている！！ ※ IIJ engineers Blog ※LINEスタンプ ※ IIJ社員の机の上 ※各種グッズ（各種イベントに向けたノベルティなど） バリーくんぬいぐるみ（辞令付き） バリーくんラバーストラップ ここここ
12. 12 3.バリーくんがきてくれて助かったこと ▪ エスカレーション業務でのバリーくんの活躍 トラブル 発生 トラブル 発生 システム側 監視運用 ① ② ③ ④ ⑤ 管 管 管 システム担当グループ 管理者 ・・・
13. 13 ▪ 監視運用する人の気持ちの変化 監視運用 ・監視運用側はシステムからのトラブル発生通知を検知し、 発生したトラブル内容ごとに決まっているルールに従って 関連システム担当者に連絡する。 複数のトラブルの通知同時に発生している。先ほど発生したトラブル 対応もまだ終わってないのに手が回らない。やらないといけないのは エスカレーション業務だけじゃないのに困った -.,-; ＋ 休日の夜発生したシステムトラブルの通知でシステム運用グループに 電話で連絡しているのに、誰も出てきてくれない。やらないといけな いのはエスカレーション業務だけじゃないのに困った -.,-; トラブルの通知はバリーくんが自動的に検知して、システム運用グ ループに自動的に流してくれる。エスカレーション業務はバリーくん に任せて他の業務に集中できる。ヾ(≧∪≦*)ノ〃 3.バリーくんがきてくれて助かったこと
14. 14 ▪ システム担当の気持ちの変化（1） トラブル 発生 ① ② ③ ④ ⑤ システム担当グループ ・トラブルが発生したシステムと 対応手順などを確認し、トラブル対応 を実施する。 ・必要に応じて、会社（管理者）にも 報告する。 3.バリーくんがきてくれて助かったこと 叩き起こされて呼ばれたせいなのか、電話で聞いたはず内容がよく分からなくなっ た。困った。-.,-; トラブル内容がBarryからテキスト情報で明確に確認できた。 トラブル発生場所を探す手間が減って、対応手順もすぐ見つかったので、スムーズ に対応できた w~ 呼ばれて担当になったけど、対応方法が良く分からない。困った。 -.,-; 過去記録をみたら同じケースが見つかった。助かった。ε-(´∀｀*)ヨカタ やっぱ、分からなかったのでBarryから別のメンバーにHelpの呼び出しをして解決 した。助かった。ε-(´∀｀*)ヨカタ
15. 15 ▪ システム担当の気持ちの変化（2） トラブル 発生 ① ② ③ ④ ⑤ システム担当グループ ・トラブルが発生したシステムと 対応手順などを確認し、トラブル対応 を実施する。 ・必要に応じて、会社（管理者）にも 報告する。 3.バリーくんがきてくれて助かったこと この障害は影響範囲がやばいかも。上司に報告しないとだけど、誰に報告すれば いいんだけ？ 困った。 -.,-; 影響が大きい障害なので、Barryを使ってMgrグループ全体にエスカレーションした。 速やかに報告できてよかった。( *´•ω•`*)ﾎｯ 障害だ。至急全体周知しないと。でも全員に連絡するのには時間がかかる。 困った。-.,-; ＋ いつも呼ばれて対応してるけど、みんな分かってくれてるかな。悲しい。 T_T 夜中なのに対応履歴に「いいね」が付いた。ひとりじゃなかった。╰(´ิ ∀´ิ )╯ﾋｬﾎｰ
16. 16 ▪ 管理者の気持ちの変化 3.バリーくんがきてくれて助かったこと 管 管 管 管理者 ・サービスに影響がある重大トラブルの 場合対応方針などを議論/判断し 実施する。 何か起きてると聞いたけど、現状の対応状況が分からない。不安だ。-_-; Barryから現在発生中のトラブルの内容や対応者と対応状況など情報がリアルタイムで 確認できる。安心だ。ε (´▽`;) ﾎｯ 障害対応が特定の人だけに偏っている気がする。システム担当グループメンバーの対応 状況が知りたいけど、どこを見ればいいのか分からない。困った。-.,-; 最近障害が増えてる気がする。改善のためどのシステムでどれだけ発生しているのかの データ分析がしたいけど、どこで取ればいいんだろう。困った。 -.,-; ＋ Barryの過去記録から発生頻度・対応者などの記録が確認できる。これで改善計画が立 てられる！！ガンバル!! (๑•̀ - •́) و ✧
17. 17 IIJ-BKLT999-0001