トラブルシュートを楽しもう (wakamonog meeting 15)

Slide 1

Slide 1 text

トラブルシュートを楽しもう！株式会社Preferred Networks 金井瑛技術士(情報工学部門), CCIE(EI) wakamonog meeting 15

Slide 2

Slide 2 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 自己紹介: 金井瑛(Akira Kanai)   2022-現在: (もうすぐ3年) 　Preferred Networks AIコンピューティング本部基盤技術G 　AIクラスタ NW の設計・開発・技術検証　　400G Ethernet, RoCE v2 2009-2022: (13年間) 　NTTコミュニケーションズ　NW全般の設計・開発・技術検証光伝送, Ethernet, IP Interop NOC(2012-2016) 趣味: 資格試験(119件)・競プロ　　技術士(情報工学), CCIE(EI), ネスペ, AWS(x14) など JANOG 51,53 NETCON 1st place SNS: recuraki P.2

Slide 3

Slide 3 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 みなさん  トラブルシュートってどう思いますか？  楽しい  わくわく  成長を感じる  難しそう,怖い  報告が大変  P.3 

Slide 4

Slide 4 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 ところで  トラブルシュートってなんだろう？  リンクが急に  突然落ちた  「使えない！」とユーザから連絡  「なんか遅い」と  言われた  VPNが繋がらない！  とヘルプに行った  P.4 

Slide 5

Slide 5 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 今日の発表の裏: プログラム打ち合わせ 1回目  P.5 ● ターゲット:   ○ 未経験: NWを学ぼうとしている方(学生含む)  ○ 初学者: NWを学び始めた方  ○ 経験者: 実践スキルを身に付けたい若手の経験者  ● 目的  ○ トラシューの作法, 考え方を共有して  皆さんのトラシュー場面に役立てて頂く。  未経験者から経験者両方がターゲット ...？どちらかにターゲットを絞らないと ... oO○ for 経験者

Slide 6

Slide 6 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 トラブルシュートの分類  ● 1: サポート/ヘルプ（トラコンはこっちが多い）  ○ 単一課題  ○ 複数課題  ● 2: インシデント対応（業務の多くのトラシューはこっち）  ○ 物理障害  ○ 論理障害    会社・業界・発言する場所によって、どちらを意味しているかのマジョリティが異なる P.6

Slide 7

Slide 7 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 今日の発表の裏: プログラム打ち合わせ 2回目  プログラム担当の書いてくれたプログラム案:     　「いざトラブルシューティングをやる機会に直面したものの、どこから手を付けて良いか分からない …」「そもそもどうやってトラシューしていけば良いかも分からない…」誰もが一度は経験する、そのような悩みを解決するためのトラシューの基本をお話し頂きます。初学者や学生の方は特に、トラシューに対して難しい印象を感じているかもしれません。そこで、トラシューの基本となる「トラブルの切り分け方」や「コツ」について学ぶことで、これからのトラシューへの見え方が変わるかもしれません。    １：「トラシュー」という言葉が捉えにくいのでは？２：誰にコツを聞いても「ケースバイケース」と言われるのでは？そもそもみんな(自分も)「トラシューとは」を教わったことがあるだろうか ...？ P.7

Slide 8

Slide 8 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 今日の発表の対象者  P.8 ● トラブルシュートとは？２つの分類  ● ヘルプとしてのトラシューのコツ for 初学者  ● チームで対応する業務のトラシュー for 経験者〜    初学者経験者学生・若い頃はトラシューって楽しかったのに大変に感じる ... 最近「手を動かさないで若いやつに任せろ」っていわれる ... トラシューってなに！楽しそうだけどどこから手をつけたら ... みんなエスパーなの ...知らないうちに解決されている ... 業務のトラシューは得意なんだけど、 NETCON苦手なんだよな...

Slide 9

Slide 9 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 今日の前提  P.9 ● 会社のネットワークサービスを運用しているチーム  ○ サービスのユーザや社内の営業がいる  ○ 開発・運用を自分たちで行っている   

Slide 10

Slide 10 text

分類1: サポート・ヘルプ

Slide 11

Slide 11 text

このセクションで伝えたいこと ● “サポート・ヘルプ”は複雑であることが多い    ● 切り分けのステップ：「パケットの気持ち」になる  ○ 1: 機器の特定(横の切り分け)  ○ 2: 機器内での原因の特定(縦の切り分け)    ● より深い切り分けのために：「スイッチの気持ち」になる  ○ 機器の挙動を理解しきる    ● 今日から実践！NETCONでも役立つトラシューテクニック  11

Slide 12

Slide 12 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 １つのトラブルシュートの例:  　経験があったら手を挙げてください  「パソコン詳しいよね。助けて！」  と言われたことがある  「なにもしていないのに壊れた！」  と言われたことがある(何かしている)  P.12

Slide 13

Slide 13 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 例題: NETCON パンフレット例題より(#netcon-general)  ネットワークトラブルシューティングのコンテストである「 NETCON」 (JANOG55 NETCONページより) ⇒トラシューといえば NETCON！というイメージを持っている人も (ここでは特に)多いはず “1:サポート・ヘルプ”の(実際の)特徴  ● 今の物理構成や設計が正常か不明  ● 複数の不具合の可能性  ● 目的が達成できるか分からない  何故このような特徴があるのか？   「検証環境」のような場合が多い   ● 新しいことをやりたい   ● 機器を間違えてConfigを入れている   ● サンプルをとりあえず入れてみてた   ● ”みんなで”Configを触っている   P.13

Slide 14

Slide 14 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 例題: NETCON パンフレット例題より(#netcon-general)  P.14

Slide 15

Slide 15 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 例題: NETCON パンフレット例題より(#netcon-general)  X admin shut P.15

Slide 16

Slide 16 text

Slide 17

Slide 17 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 切り分けのコツ: OSI参照モデルを頭に描く  「パケットの気持ち」になって切り分ける  L1:物理層 L6:プレゼンテーション層 L2:データリンク層 L3:ネットワーク層 L4:トランスポート層 L5:セッション層 L7:アプリケーション層 L1:物理層 L6:プレゼンテーション層 L2:データリンク層 L3:ネットワーク層 L4:トランスポート層 L5:セッション層 L7:アプリケーション層 L1:物理層 L2:データリンク層 L3:ネットワーク層 L1:物理層 L2:データリンク層 L3:ネットワーク層 L1:物理層 L2:データリンク層 L3:ネットワーク層 P.17

Slide 18

Slide 18 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 切り分けのコツ: OSI参照モデルを頭に描く  「パケットの気持ち」になって切り分ける  L1:物理層 L6:プレゼンテーション層 L2:データリンク層 L3:ネットワーク層 L4:トランスポート層 L5:セッション層 L7:アプリケーション層 PHY MAC IP TCP/UDP L1:物理層 L6:プレゼンテーション層 L2:データリンク層 L3:ネットワーク層 L4:トランスポート層 L5:セッション層 L7:アプリケーション層 L1:物理層 L2:データリンク層 L3:ネットワーク層 L1:物理層 L2:データリンク層 L3:ネットワーク層 L1:物理層 L2:データリンク層 L3:ネットワーク層 ping ping ルータにパケットが届くと... Step1: L3で宛先のIPテーブルを引き、転送先IPアドレスを引く Step2: L2で転送先IPアドレスのMACアドレスを引き、インタフェースを特定 Step3: L1でそのI/Fにフレームを送信する P.18

Slide 19

Slide 19 text

Slide 20

Slide 20 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 切り分けのコツ: OSI参照モデルを頭に描く  「パケットの気持ち」になって切り分ける  L1:物理層 L6:プレゼンテーション層 L2:データリンク層 L3:ネットワーク層 L4:トランスポート層 L5:セッション層 L7:アプリケーション層 PHY MAC IP TCP/UDP L1:物理層 L6:プレゼンテーション層 L2:データリンク層 L3:ネットワーク層 L4:トランスポート層 L5:セッション層 L7:アプリケーション層 L1:物理層 L2:データリンク層 L3:ネットワーク層 L1:物理層 L2:データリンク層 L3:ネットワーク層 L1:物理層 L2:データリンク層 L3:ネットワーク層 ping ping X admin shut P.20

Slide 21

Slide 21 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 切り分けのコツ: OSI参照モデルを頭に描く  「パケットの気持ち」になって切り分ける  L1:物理層 L6:プレゼンテーション層 L2:データリンク層 L3:ネットワーク層 L4:トランスポート層 L5:セッション層 L7:アプリケーション層 PHY MAC IP TCP/UDP L1:物理層 L6:プレゼンテーション層 L2:データリンク層 L3:ネットワーク層 L4:トランスポート層 L5:セッション層 L7:アプリケーション層 L1:物理層 L2:データリンク層 L3:ネットワーク層 L1:物理層 L2:データリンク層 L3:ネットワーク層 L1:物理層 L2:データリンク層 L3:ネットワーク層 ping ping X admin shut 今回の例ではルータにパケットが届くと... Step1: L3で宛先のIPテーブルを引き、存在しないので破棄 P.21

Slide 22

Slide 22 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 切り分けのコツ: OSI参照モデルを頭に描く  「パケットの気持ち」になって切り分ける -> How?  L1:物理層 L6:プレゼンテーション層 L2:データリンク層 L3:ネットワーク層 L4:トランスポート層 L5:セッション層 L7:アプリケーション層 PHY MAC IP TCP/UDP L1:物理層 L6:プレゼンテーション層 L2:データリンク層 L3:ネットワーク層 L4:トランスポート層 L5:セッション層 L7:アプリケーション層 L1:物理層 L2:データリンク層 L3:ネットワーク層 L1:物理層 L2:データリンク層 L3:ネットワーク層 L1:物理層 L2:データリンク層 L3:ネットワーク層 ping ping X admin shut STEP1: 機器を特定する。EndからTracerouteするとvIOS2で止まるはず。 STEP2: 機器内で原因を特定する。vIOS2の中を見る。この際、上(L3)か下(L1)どちらから追うと良い。 P.22

Slide 23

Slide 23 text

Slide 24

Slide 24 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 切り分けのコツ: OSI参照モデルを頭に描く  JANOG53 NETCON 4-2:  server L4LB L3 RT (2arm) L3 RT L3 RT L1:物理層 L6: プレゼンテーション層 L2: データリンク層 L3: ネットワーク層 L4: トランスポート層 L5:セッション層 L7: アプリケーション層 L1:物理層 L2: データリンク層 L3: ネットワーク層 L1:物理層 L2: データリンク層 L3: ネットワーク層 L1:物理層 L2: データリンク層 L3: ネットワーク層 L1:物理層 L6: プレゼンテーション層 L2: データリンク層 L3: ネットワーク層 L4: トランスポート層 L5:セッション層 L7: アプリケーション層 L1:物理層 L2: データリンク層 L3: ネットワーク層 L4: トランスポート層 L1:物理層 L6: プレゼンテーション層 L2: データリンク層 L3: ネットワーク層 L4: トランスポート層 L5:セッション層 L7: アプリケーション層 L1:物理層 L2: データリンク層 L3: ネットワーク層 for 経験者 L4動作するので L4層まで描く VRFしてそうなので物理1台だが 2台に考えておく P.24

Slide 25

Slide 25 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 切り分けのコツ: OSI参照モデルを頭に描く  JANOG53 NETCON 4-2:  server L4LB L3 RT (2arm) L3 RT L3 RT L1:物理層 L6: プレゼンテーション層 L2: データリンク層 L3: ネットワーク層 L4: トランスポート層 L5:セッション層 L7: アプリケーション層 L1:物理層 L2: データリンク層 L3: ネットワーク層 L1:物理層 L2: データリンク層 L3: ネットワーク層 L1:物理層 L2: データリンク層 L3: ネットワーク層 L1:物理層 L6: プレゼンテーション層 L2: データリンク層 L3: ネットワーク層 L4: トランスポート層 L5:セッション層 L7: アプリケーション層 L1:物理層 L2: データリンク層 L3: ネットワーク層 L4: トランスポート層 L1:物理層 L6: プレゼンテーション層 L2: データリンク層 L3: ネットワーク層 L4: トランスポート層 L5:セッション層 L7: アプリケーション層 L1:物理層 L2: データリンク層 L3: ネットワーク層 for 経験者この後はL3の経路伝搬や  NAT/セッション管理周りを  想定しながら順番に確認  P.25

Slide 26

Slide 26 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 切り分けのコツ: OSI参照モデルを頭に描く  JANOG53 NETCON 4-2:  server L4LB L3 RT (2arm) L3 RT L3 RT L1:物理層 L6: プレゼンテーション層 L2: データリンク層 L3: ネットワーク層 L4: トランスポート層 L5:セッション層 L7: アプリケーション層 L1:物理層 L2: データリンク層 L3: ネットワーク層 L1:物理層 L2: データリンク層 L3: ネットワーク層 L1:物理層 L2: データリンク層 L3: ネットワーク層 L1:物理層 L6: プレゼンテーション層 L2: データリンク層 L3: ネットワーク層 L4: トランスポート層 L5:セッション層 L7: アプリケーション層 L1:物理層 L2: データリンク層 L3: ネットワーク層 L4: トランスポート層 L1:物理層 L6: プレゼンテーション層 L2: データリンク層 L3: ネットワーク層 L4: トランスポート層 L5:セッション層 L7: アプリケーション層 L1:物理層 L2: データリンク層 L3: ネットワーク層 for 経験者この後はL3の経路伝搬や  NAT/セッション管理周りを  想定しながら順番に確認  役割があるトポロジなので    外内部 LB P.26

Slide 27

Slide 27 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 切り分けでよく使うコマンド(Linux)  ● tcpdump ○ Endからパケットが出ているか確認する ● ping ○ 複数I/Fを持つ場合、srcを指定しよう ● nc ○ TCP/UDPを送信できる ● ip route show ○ ノードのルーティングテーブルを確認 ● ip neigh show ○ ノードのARPテーブルを確認 ● iptables --list (に類するコマンド) ○ ファイアウォールのルールを確認する P.27

Slide 28

Slide 28 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 切り分けでよく使うコマンド(Cisco IOS)  ● ping ● traceroute ● show cdp nei / show lldp nei ○ 隣接につながっているSWの確認 ● show mac address-table ○ MACの転送テーブルの確認 ● show ip route ○ global RIBの確認 ● show bgp ○ BGP LocRIBの確認 ● logging console / terminal monitor ○ console ログの有効化 ● show logging ○ ログの確認 P.28

Slide 29

Slide 29 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 参考：切り分けのコツ: OSI参照モデルを頭に描く  正しく考えよう  L1:物理層 L6:プレゼンテーション層 L2:データリンク層 L3:ネットワーク層 L4:トランスポート層 L5:セッション層 L7:アプリケーション層 PHY MAC IP TCP/UDP L1:物理層 L6:プレゼンテーション層 L2:データリンク層 L3:ネットワーク層 L4:トランスポート層 L5:セッション層 L7:アプリケーション層 L1:物理層 L2:データリンク層 L3:ネットワーク層 L1:物理層 L2:データリンク層 L3:ネットワーク層 L1:物理層 L2:データリンク層 L3:ネットワーク層 ping ping X admin shut 注意:今回の構成ではadmin shutされているルータ内でL3からL1に伝搬しない。 ● L1が落ちているので、MACアドレス情報はL2で学習できない。 ● Directedな経路としてL3テーブルに乗らない。間違った図 P.29

Slide 30

Slide 30 text

分類1: サポート・ヘルプ技術以外の注意/留意点 30

Slide 31

Slide 31 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 NETCONパンフレットをじっと眺める...  仮定：このログはリモートから同僚が送ってきているのでは... 「お客様先で上手くいかないからちょっと見てよ！」同僚から送られてきたConﬁg 情報取得をお願いして送られたログ対応手順をつたえて送られてきた実行結果 P.31

Slide 32

Slide 32 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 実は解説に罠が....  1:状態確認のIPアドレスが違う   実務に当てはめると...   あなた：「ホストvIOS2でこのコマンドの出力ください！」  相手：「やりました！」⇨実は別のホストでログを取ったもの  ※長い情報取得コマンドの一部を切り貼りする際に間違ったホストの情報をコピペ      192.168.1.1のはずなのに   192.168.1.253になっている   P.32

Slide 33

Slide 33 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 実は解説に罠が....  2: 解答例のホスト名が途中で入れ替わっている  vIOS2に対するもの  vIOS1に対するもの  実務に当てはめると...   あなた：「トラシュー終わりました！このコマンド打ってね！」  相手：「言われた通りにやったのに直らないよ！」  ※依頼したホストを間違えてConfigを投入している    P.33

Slide 34

Slide 34 text

TIPS: よりDeepなNW理解のために「スイッチの気持ち」になる〜Ciscoを例にとって〜 for 経験者

Slide 35

Slide 35 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 より早く・広く・深くトラシューするには...?   実際のケースや本題では「いくらでも」考えられる。   ● MAC/IP ACLでフィルタされている   ● BGP route-filterで経路を落としている   ● BGP-OSPFのredistribute filterに落とされている   ● VPNでoverlayされるはずなのにunderlay経路になっている   ● レートリミットがかかっており落とされている   では、原因に素早くたどり着くためには？   「たくさんトラシューして経験を積むこと」...?   パケットが転送される「スイッチの気持ち」になる   　↓…とは？  NPUが何をしているか？ => 高速なマッチとaction(forward/rewirte等)   何に基づいてマッチしているか？⇒ConfigやProtocol学習情報     とはいえ、どこからをつければ... ⇨ TIPSを4つ紹介します   for 経験者 P.35

Slide 36

Slide 36 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 TIPS: メーカドキュメントを活用する1:   トラブルシュートページ  ● 例えば: Cisco トラブルシュートページ(OSPF)  a:不慣れなプロトコルでもロジカルに切り分け(=適当ではない)ができる  b:MTU関係を疑うなら「対抗にDFでpingを打ってみよう」とactionの引き出しが増える  c:メーカに問い合わせるときに「ここまでやった」と言え円滑に切り分けが進む  for 経験者 P.36

Slide 37

Slide 37 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 TIPS: メーカドキュメントを活用する2:   Configガイドの下の方  ● 例えば: Cisco IOS XE BGP EVPN VXLAN Config ガイド  不慣れなプロトコルの何を見れば良いかが分かる  ⇒結果、ハマりポイントや機種独自のコマンド方言が分かる！  for 経験者下に進むと... P.37

Slide 38

Slide 38 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 TIPS: SW挙動を理解する   プロトコルのメッセージだけでなく実装を知る  方法１：RFCを見る方法２：ドキュメントやユーザフォーラムを見る https://community.cisco.com/t5/routing/bgp-global-rib-vs-adj-rib-out/td-p/4614998 例えばBGPなら以下の事象を説明できるようになる   どうして：neighborから経路を受け取っているのにshow bgpで見えない   　　⇒Adj-RIB-InとLoc-RIBの関係   どうして：show bgpに乗っているのにshow ip rotue(global RIB)に乗らない   　　⇒ Loc-RIBは有効と判断される？他のRouting Protocolとの関係は？   for 経験者 https://www.noction.com/blog/bgp-ls-link-state より P.38 (たとえば) BGP UPDATEは BGP RIBにどう影響するのか？コントロール系のパケットを受け取った機器はなにをどう処理しているのか？ ⇨結果、(次スライドの)機器のパケット制御にどう影響するのか？

Slide 39

Slide 39 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 TIPS: HW挙動を理解する   Configはパケットにどのように作用するのか？  ● 例えば: Nexus 9000 Architecture, Nexus 7000 Hardware Architecture ポートに入ってきた後のハードウェアの評価順が分かる IPレイヤでin-outを図示したもの Conﬁgがどうして・どうやって「パケットの気持ち」に作用しているかを知ろう！ ⇨スイッチの気持ちになろう！ for 経験者 P.39

Slide 40

Slide 40 text

明日から使える！実務でも役立つNETCONテク

Slide 41

Slide 41 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 実務で役立つ実践テク  ● コンソールを複数開こう！ ● 手元にConﬁg保存してDiffをとろう！ ● 過程をメモしよう！ ● ログを確認しよう！ ● 図を書こう・情報を書き込もう！ P.41

Slide 42

Slide 42 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 実践テク: memo / diff   P.42

Slide 43

Slide 43 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 実践テク: 手元にConfig保存してDiffをとろう！  最初に必ずやること：show runして似た装置でdiffをとる 2: CE同士 PE同士でdiff 1:ログインできるRT 全てのshow run 3: diffポイント  a 違ってはいけない部分  b 同じではいけない部分  c 余計なconfig  d 不足しているconfig   実務でこう役立つ：  ● 更に壊したときに戻れる  ● うっかりミス、に気づく (コピペミスなど)  ● 持ち帰ってみんなでゆっくり考えられる   P.43

Slide 44

Slide 44 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 実践テク: 過程をメモしよう！  実務でこう役立つ： ● 1: ヘルプ先に前提を確認できる。「ここは〜という設定でいいんですか？」 ● 2: ヘルプ先にロジカルに説明できる。「BGPで受け取った経路はnext-hopに到達できないと捨てられるんです。」 ● 3: チームにノウハウを共有できる。（知らないコマンドを共有できる） 1:Config/showで確認したことを記載   「vlanの所属するVRFが違う」   「BGP OKだが経路を受信していない」   2: 分析を記載する  「経路は受け取っていない？破棄してる？」   P.44

Slide 45

Slide 45 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 実践テク: ログを確認しよう！  最初に打つ３点セット： 1. terminal monitor :新しいlogをtelnet/sshセッションで見る 2. logging con : おまじない(ログをconsoleに飛ばす) 3. show logging : 過去のログを見るこれで即座に解決するトラブルもたくさんある。 (前回のNETCON53より) *Jan 15 14:16:43.278: OSPF-1 HELLO Gi3: Dead R 240 C 40, Hello R 60 C 10 Mask R 255.255.255.0 …. P.45

Slide 46

Slide 46 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 実践テク: コンソールを複数開こう！  RT1 RT2 RT3 SV1 SV2 未使用未使用 NETCONでの配置例 1: 自分なりに分かる配置でウィンドウを開く 2: 確認サーバにも入りping/tracerouteを while 1 3: conﬁgが多そうなときは、 a: ter monした画面 b: ter monしていない画面を分けて、bでconﬁgに集中実務でこう役立つ： (1枚の画面に比べて...) ● 1: イベントを検知しやすい ● 2: 作業パートナーに理解してもらいやすい ● 3: show …の結果を比較しやすい P.46

Slide 47

Slide 47 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 実践テク: 図を書こう・情報を書き込もう！  Conﬁg・設計ドキュメントのパラメータを図にする NETCON(トポ図がある)の場合、スクショして書き込む P.47

Slide 48

Slide 48 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 その他 NETCON TIPS:  ● debug系コマンドを使いこなす ● 大きな外部ディスプレイを用意する ● 問題文からメタ読み ● 推察する作問者からメタ読み ● ハマったら飛ばす ● ハマったらリセットする ● 公式docs と stack overﬂowなどを両方見る ● ニッチな問題だったら検索上位のblogを見る ● あまりにも変なら質問する実務で言えば... ● 良い作業環境 ● ハマる人の設定や設計の癖を知る ● 気分転換する(一番大切) P.48

Slide 49

Slide 49 text

分類2: インシデント対応

Slide 50

Slide 50 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 インシデント対応  　　ここまで説明したサポート・ヘルプに比べて、緊急性・重要性が高い ITIL4より: ● インシデント ○ サービスの計画外の中断、サービスの品質の低下 ● インシデント管理 ○ 可能な限り迅速にサービスを通常の状態に回復し、インシデントの悪影響を最低限にする ITIL: ITサービスマネジメントにおけるベストプラクティス（成功事例）をまとめた書籍 P.50

Slide 51

Slide 51 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 インシデント対応に大切なこと: 5W  適切な5Wの把握⇒適切なaction と適切なreport ● When: いつから ● Where: どの範囲で ● Who: どのサービスが ● What: どういう事象か ● Why:どのようなロジックで？ P.51

Slide 52

Slide 52 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 インシデント対応の役割  　〜Configだけがインシデント対応じゃない！〜  ● 直接の対処 ● 原因の解析 …だけ？ P.52

Slide 53

Slide 53 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 インシデント対応の役割  　〜Configだけがインシデント対応じゃない！〜  ● 直接の対処 ● 原因の解析 ● 統制 ● 既知かの調査 ● 過去の事象との関係 ● 周囲の影響 ● 社内への連絡 ● ユーザへの影響調査 ● ユーザへの連絡(初報/継続) ● ユーザへの報告 ● 各種ダブルチェック ● メーカ連絡 ● 再発防止(暫定) ● 再発防止(恒久) ● ナレッジ化 P.53

Slide 54

Slide 54 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 インシデント対応の役割  〜対処だけがインシデント対応じゃない！〜  サービス対応者 P.54

Slide 55

Slide 55 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 インシデント対応の役割  〜対処だけがインシデント対応じゃない！〜  サービス監視装置ユーザサポートページ他のサービス他のサービス他のサービスや接続先現地作業者保守メーカ社内の他のシステム対応者チケットシステム営業部門統制作文情報記録サービスの責任者影響調査ログ・状況確認 Web調査確認者 P.55

Slide 56

Slide 56 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 トラシューの取り組み方(for みなさま)  何でも役に立つ！(actionと効果) ● 参加：トラシューのWeb会議に入る ○ 人がいると安心する。ちょっとした作業を頼める。 ● 後ろから見る：「画面見てていいですか？」「一緒に言っていいですか？」 ○ 一緒に見てくれると心強い。嬉しい。 ● 報告: 障害発生中！とSlackに書く ○ ヘルプ人員を集めたり、影響を集めたり。原因の特定に役立つ。 ● 記録: 障害の発生や対処を時間とともに記録する ○ 障害レポートに役立つ。援軍メンバに状況が共有できる ● 作文: 報告メールを書く ○ 対応中に余裕ないので助かる。 ● 周りを見る: 話題に上がっていないサービスの正常性を確認する ○ 考慮していなかった影響が分かる。隠れた原因が潜んでいることも。 ● ログを見る：ログやグラフを見る。 ○ 予兆があったり、思わぬ原因・影響に気がつくかも ● 専門知識でコメントする：後述 ○ 統計知識、グラフを書く素早さ、電気の知識、語学、知っておくと良いこと：トラブル発生直後はみんな余裕がない P.56

Slide 57

Slide 57 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 トラシューの幅を広げる例 (for 経験者〜)  ● 直接対応 ○ 「対応するのでWeb会議に集合して！」という ○ 「統制誰かお願い！」という ● サポート ○ 直接対応者の確認者をしたり、方針にコメントする ○ 他の作業者と一緒に文章を考える、ログを一緒に見る ○ 統制者のこぼれそうなタスク(報告や記録)を他の人に振って支援 ● 統制 P.57

Slide 58

Slide 58 text

まとめ 58

Slide 59

Slide 59 text

今日の発表の対象者(再掲) 59 初学者経験者学生・若い頃はトラシューって楽しかったのに大変に感じる ... 最近「手を動かさないで若いやつに任せろ」っていわれる ... トラシューってなに！楽しそうだけどどこから手をつけたら ... みんなエスパーなの ...知らないうちに解決されている ... 業務のトラシューは得意なんだけど、 NETCON苦手なんだよな... ⇨設定だけがトラシューじゃない！ ⇨最初は”縦の切り分け”と”横の切り分け”から始めてみよう！ ⇨「サービスの意識や、知らないことにたくさん触れたから ⇨経験者ならではの若手や先輩のサポートができる！ ⇨ヘルプ・サポート型のトラシューはサービストラシューと違う

Slide 60

Slide 60 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 まとめ  ● トラシューには２種類ある ○ ヘルプ/サポート　と　インシデント対応 ● トラブルは説明可能で裏切らない（たまに裏切る） ● 縦の切り分けと横の切り分けをいつでも着実にこなす ● “パケットの気持ち”の次は”スイッチの気持ち”を考えてみよう自分の強みを最大限に活かしてトラシューを楽しもう！ P.60

Slide 61

Slide 61 text

ご清聴ありがとうございました 61

Slide 62

Slide 62 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 TIPS: Cisco 便利コマンド(Nexus)  ● NXOS Troubleshooting(Cisco Live!) よく使うのだがあまり話題に上がらないコマンド a. ethanalyzer 機器上でのtcpdump(書き出し可能) b. show troubleshoot l2/l3 … RIB -> FIB -> H/W Consistency Check … 便利なコマンドTIPS、みなさんおしえてください！ P.62

Slide 63

Slide 63 text

TIPS: Cisco CML2が無償利用可能に！ 63

Slide 64

Slide 64 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 Cisco CML2  ● Cisco公式のネットワークラボエミュレータ ● 2024末に無償版(5ノードまで)。IOS-XEのみ。メモリが8GのPCでもいろいろ遊べる！こんな人にお勧め： - 何でもいいから触ってみたい！ - 家にルータがほしいけど騒音が... - 自動化検証でScrap&Buildしたい ※IOS-XEがサポートするプロトコル RIP, OSPF, BGP, Multicast, IPv6, VXLAN, EVPN, MPLS などなど... ※199USDで20台かつNexus/ASAなどのイメージが使える個人有償版も！ P.64

Slide 65

Slide 65 text

トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 Cisco CML2: 参考リンク  ● Hyper-V上でCisco CML 2.8 FreeTierがgrubから進まないを解決する ● CML2.8 Free TierでEVPN-VXLAN(non-multicast, eBGP) ● Cisco CMLをHyper-Vで動かす ● CML 2.8 Free Tier上にSWを自動配置してAnsibleで設定したい！他の方の記事 ● Cisco Modeling Labs (CML2.8.0)（無償版）をVMWorkstation上で展開する - gorosuke5656の日記 ● 無料版CML2.8をHyper-V上で動かす ● CML2.8 Free Tierを使いこなす: IOLを用いてEVPN-VXLANを検証してみた P.65