皆がすなるカオスエンジアリングといふものを、ネットワークオペレーションでもしてみむとてするなり

Slide 1

Slide 1 text

© NTT Communications Corporation All Rights Reserved. 1 皆がすなるカオスエンジアリングといふものを、ネットワークオペレーションでもしてみむとてするなり田島照久 teruhisa.tajima@ntt.com NTT Communications / Innovation Center 2024/03/11 NTT Tech Conference 2024

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

© NTT Communications Corporation All Rights Reserved. 4 カオスエンジアリングとは（定義）  システムが不安定な状態に陥ったときの訓練方法の一つ  (分散)システムの脆弱性を明らかにする手法カオスエンジニアリングは、システムが本番環境における不安定な状態に耐える能力へ自信を持つためにシステム上で実験を行う訓練方法です。（中略）分散システムの不確実性を具体的に扱うために、カオスエンジニアリングはシステムの脆弱性を明らかにするための検証の促進と考えることができます。 “カオスエンジニアリングの原則” https://principlesofchaos.org/ja/

Slide 5

Slide 5 text

Slide 6

Slide 6 text

© NTT Communications Corporation All Rights Reserved. 6 カオスエンジアリング “ツール” とは  一意な定義は無さそう  カオスエンジアリング実施の際に「一部を意図的に不安定に」など必要な動作を実行してくれるプログラムといった意味  public cloudや、k8sを対象にしたOSSも多数存在  カオスエンジアリング「そのもの」以外にも活用されているカオスエンジニアリングツールを使用することで、現実のネットワーク環境では発生頻度の低い障害事例や、まだ発生したことのない障害事例についても、デジタルツイン環境で発生させてデータを収集する “障害に強いロバストネットワーク実現のためのNW-AI自己進化フレームワーク” https://journal.ntt.co.jp/article/23448

Slide 7

Slide 7 text

© NTT Communications Corporation All Rights Reserved. 7 「オンプレネットワーク運用」も「システム」  ネットワーク自体が各機器が自律分散的に動く「分散システム」  ルータには経路情報、Firewallにはセッション情報などのステート  経路途中の機器の整合性が保たれてE2Eの通信が可能  冗長構成や非常用経路などを正しく作動させる運用も「システム」  XXが起こったら○○をする、などの決まった動作もシステム  これらのシステムが様々な状況に耐えられるか検証したいシステム

Slide 8

Slide 8 text

© NTT Communications Corporation All Rights Reserved. 8 「オンプレネットワーク運用」でのカオスエンジアリング  カオスエンジアリングを始めるときに考えることが多い  どの範囲で実施しようか  どうやって不安定な状態にしようか  利用者への連絡はどうしようか  オンプレネットワークはさらに腰が重い  実施が物理的な場所に縛られるのがつらい  どのくらいの間隔で実施するのか今日は我々がどのように実施したか、一例を紹介します

Slide 9

Slide 9 text

© NTT Communications Corporation All Rights Reserved. 9 カオスエンジアリングにおける原則の実施状況 a. 定常状態における振る舞いの仮説を立てる  できた b. 実世界の事象は多様である  一部できた c. 本番環境で検証を実行する  できた d. 継続的に実行する検証の自動化  できてない e. 影響範囲を局所化する  一部できた “カオスエンジニアリングの原則” https://principlesofchaos.org/ja/

Slide 10

Slide 10 text

© NTT Communications Corporation All Rights Reserved. 10 対象のネットワークオペレーション  規模  国内10+拠点、ルータ20+台、スイッチ（物理）200+台  運用に関わる人60+人（ほぼ全員が兼任）  ユーザはコム社各部署で、日に数件リクエストが来る  運用  リクエスト対応（定常）  増築・減築  障害対応各種設定モニタリング

Slide 11

Slide 11 text

Slide 12

Slide 12 text

© NTT Communications Corporation All Rights Reserved. 12 カオスエンジアリングの流れ (1) 役割分担: 問題作成者  問題作成者  物理機器を含む環境を不安定にするにはツールが使えなさそうで手動実行する  下記3つを含む「問題」を作成する • 引き起こす障害手順 • 想定する影響範囲 • 想定するワークアラウンド対応方法 a. 定常状態における振る舞いの仮説を立てる

Slide 13

Slide 13 text

© NTT Communications Corporation All Rights Reserved. 13 カオスエンジアリングの流れ (1) 役割分担: 監督官  監督官  作成された「問題」が復旧不可能な事態を引き起こさないかチェックする • 構成上どうしても単一障害点は存在するため  「問題」の実施上、必要であれば各所に事前連絡する • 対外回線など、通信相手も監視している場合があるため ※相手は「システム」に含まないとした＝この部分の問題には気づけない  振り返りを通じて改善チケットを作成する e. 影響範囲を局所化する

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

© NTT Communications Corporation All Rights Reserved. 22 何故手作業なのか、これからの課題  ネットワークの「多様」な状態をなかなか自動化できない  Routing-Engine/Line-Cardは突然応答無くなる  レーザの劣化などでflapするインターフェース  問題作成時間、実施時間そのものよりも調整に時間がかかっている  人間が実施時期を決めるのが良くない  機械に決めてもらおう

Slide 23

Slide 23 text