トラブルシュートを楽しもう (wakamonog meeting 15)

wakamonog 15「トラブルシュートを楽しもう！」のスライドを公開しました。
私のトラシュー経験から、最初の一歩の取り組み方、今日から使えるテクニック、より深いトラシューのコツを学生・若手向けに30分で話しました。
https://wakamonog.connpass.com/event/336722/

Transcript

1. トラブルシュートを楽しもう！ 株式会社Preferred Networks 金井 瑛 技術士(情報工学部門), CCIE(EI) wakamonog meeting 15
2. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 自己紹介: 金井 瑛(Akira Kanai) 
 2022-現在: (もうすぐ3年) 　Preferred Networks AIコンピューティング本部 基盤技術G 　AIクラスタ NW の設計・開発・技術検証 　　400G Ethernet, RoCE v2 2009-2022: (13年間) 　NTTコミュニケーションズ 　NW全般の設計・開発・技術検証 光伝送, Ethernet, IP Interop NOC(2012-2016) 趣味: 資格試験(119件)・競プロ 　　技術士(情報工学), CCIE(EI), ネスペ, AWS(x14) など JANOG 51,53 NETCON 1st place SNS: recuraki P.2
3. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 みなさん
 トラブルシュートってどう思いますか？
 楽しい
 わくわく
 成長を感じる
 難しそう,怖い
 報告が大変
 P.3

4. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 ところで
 トラブルシュートってなんだろう？
 リンクが急に
 突然落ちた
 「使えない！」と ユーザから連絡
 「なんか遅い」と
 言われた
 VPNが繋がらない！
 とヘルプに行った
 P.4

5. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 今日の発表の裏: プログラム打ち合わせ 1回目
 P.5 • ターゲット: 
 ◦ 未経験: NWを学ぼうとしている方(学生含む)
 ◦ 初学者: NWを学び始めた方
 ◦ 経験者: 実践スキルを身に付けたい若手の経験者
 • 目的
 ◦ トラシューの作法, 考え方を共有して
 皆さんのトラシュー場面に役立てて頂く。
 未経験者から経験者両方がターゲット ...？ どちらかにターゲットを絞らないと ... oO◦ for 経験者
6. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 トラブルシュートの分類
 • 1: サポート/ヘルプ（トラコンはこっちが多い ）
 ◦ 単一課題
 ◦ 複数課題
 • 2: インシデント対応（業務の多くのトラシューはこっち）
 ◦ 物理障害
 ◦ 論理障害
 
 会社・業界・発言する場所によって、 どちらを意味しているかのマジョリティが異なる P.6
7. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 今日の発表の裏: プログラム打ち合わせ 2回目
 プログラム担当の書いてくれたプログラム案: 
 
 　「いざトラブルシューティングをやる機会に直面したものの、どこから手を付けて良いか分からない …」「そもそもどうやってトラシューしていけば良いかも分からない…」誰もが一度は経験する、その ような悩みを解決するためのトラシューの基本をお話し頂きます。初学者や学生の方は特に、トラ シューに対して難しい印象を感じているかもしれません。そこで、トラシューの基本となる「トラブルの 切り分け方」や「コツ」について学ぶことで、これからのトラシューへの見え方が変わるかもしれませ ん。
 
 １：「トラシュー」という言葉が捉えにくいのでは？ ２：誰にコツを聞いても「ケースバイケース」と言われるのでは？ そもそもみんな(自分も)「トラシューとは」を教わったことがあるだろうか ...？ P.7
8. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 今日の発表の対象者
 P.8 • トラブルシュートとは？２つの分類
 • ヘルプとしてのトラシューのコツ for 初学者
 • チームで対応する業務のトラシュー for 経験者〜
 
 初学者 経験者 学生・若い頃はトラシューって楽しかったのに大変に感じる ... 最近「手を動かさないで若いやつに任せろ」っていわれる ... トラシューってなに！楽しそうだけどどこから手をつけたら ... みんなエスパーなの ...知らないうちに解決されている ... 業務のトラシューは得意なんだけど、 NETCON苦手なんだよな...
9. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 今日の前提
 P.9 • 会社のネットワークサービスを運用しているチーム
 ◦ サービスのユーザや社内の営業がいる
 ◦ 開発・運用を自分たちで行っている
 

10. 分類1: サポート・ヘルプ
11. このセクションで伝えたいこと • “サポート・ヘルプ”は複雑であることが多い
 
 • 切り分けのステップ：「パケットの気持ち」になる
 ◦ 1: 機器の特定(横の切り分け)
 ◦ 2: 機器内での原因の特定(縦の切り分け)
 
 • より深い切り分けのために：「スイッチの気持ち」になる
 ◦ 機器の挙動を理解しきる
 
 • 今日から実践！NETCONでも役立つトラシューテクニック
 11
12. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 １つのトラブルシュートの例:
 　経験があったら手を挙げてください
 「パソコン詳しいよね。助けて！」
 と言われたことがある
 「なにもしていないのに壊れた！」
 と言われたことがある(何かしている)
 P.12
13. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 例題: NETCON パンフレット例題より(#netcon-general)
 ネットワークトラブルシューティングのコンテストである「 NETCON」 (JANOG55 NETCONページより) ⇒トラシューといえば NETCON！というイメージを持っている人も (ここでは特に)多いはず “1:サポート・ヘルプ”の(実際の)特徴
 • 今の物理構成や設計が正常か不明
 • 複数の不具合の可能性
 • 目的が達成できるか分からない
 何故このような特徴があるのか？ 
 「検証環境」のような場合が多い 
 • 新しいことをやりたい 
 • 機器を間違えてConfigを入れている 
 • サンプルをとりあえず入れてみてた 
 • ”みんなで”Configを触っている 
 P.13
14. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 例題: NETCON パンフレット例題より(#netcon-general)
 P.14
15. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 例題: NETCON パンフレット例題より(#netcon-general)
 X admin shut P.15
16. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 切り分けのコツ: OSI参照モデルを頭に描く
 「パケットの気持ち」になって切り分ける
 L1:物理層 L6:プレゼンテーション層 L2:データリンク層 L3:ネットワーク層 L4:トランスポート層 L5:セッション層 L7:アプリケーション層 PHY MAC IP TCP/UDP L1:物理層 L2:データリンク層 L3:ネットワーク層 ルータ(L3)はL3までを担当する P.16
17. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 切り分けのコツ: OSI参照モデルを頭に描く
 「パケットの気持ち」になって切り分ける
 L1:物理層 L6:プレゼンテーション層 L2:データリンク層 L3:ネットワーク層 L4:トランスポート層 L5:セッション層 L7:アプリケーション層 L1:物理層 L6:プレゼンテーション層 L2:データリンク層 L3:ネットワーク層 L4:トランスポート層 L5:セッション層 L7:アプリケーション層 L1:物理層 L2:データリンク層 L3:ネットワーク層 L1:物理層 L2:データリンク層 L3:ネットワーク層 L1:物理層 L2:データリンク層 L3:ネットワーク層 P.17
18. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 切り分けのコツ: OSI参照モデルを頭に描く
 「パケットの気持ち」になって切り分ける
 L1:物理層 L6:プレゼンテーション層 L2:データリンク層 L3:ネットワーク層 L4:トランスポート層 L5:セッション層 L7:アプリケーション層 PHY MAC IP TCP/UDP L1:物理層 L6:プレゼンテーション層 L2:データリンク層 L3:ネットワーク層 L4:トランスポート層 L5:セッション層 L7:アプリケーション層 L1:物理層 L2:データリンク層 L3:ネットワーク層 L1:物理層 L2:データリンク層 L3:ネットワーク層 L1:物理層 L2:データリンク層 L3:ネットワーク層 ping ping ルータにパケットが届くと... Step1: L3で宛先のIPテーブルを引き、転送先IPアドレスを引く Step2: L2で転送先IPアドレスのMACアドレスを引き、インタフェースを特定 Step3: L1でそのI/Fにフレームを送信する P.18
19. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 切り分けのコツ: OSI参照モデルを頭に描く
 「パケットの気持ち」になって切り分ける
 L1:物理層 L6:プレゼンテーション層 L2:データリンク層 L3:ネットワーク層 L4:トランスポート層 L5:セッション層 L7:アプリケーション層 L1:物理層 L6:プレゼンテーション層 L2:データリンク層 L3:ネットワーク層 L4:トランスポート層 L5:セッション層 L7:アプリケーション層 L1:物理層 L2:データリンク層 L3:ネットワーク層 L1:物理層 L2:データリンク層 L3:ネットワーク層 L1:物理層 L2:データリンク層 L3:ネットワーク層 ping ping 横の切り分け： 機器の特定 縦の切り分け 原因の特定 P.19
20. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 切り分けのコツ: OSI参照モデルを頭に描く
 「パケットの気持ち」になって切り分ける
 L1:物理層 L6:プレゼンテーション層 L2:データリンク層 L3:ネットワーク層 L4:トランスポート層 L5:セッション層 L7:アプリケーション層 PHY MAC IP TCP/UDP L1:物理層 L6:プレゼンテーション層 L2:データリンク層 L3:ネットワーク層 L4:トランスポート層 L5:セッション層 L7:アプリケーション層 L1:物理層 L2:データリンク層 L3:ネットワーク層 L1:物理層 L2:データリンク層 L3:ネットワーク層 L1:物理層 L2:データリンク層 L3:ネットワーク層 ping ping X admin shut P.20
21. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 切り分けのコツ: OSI参照モデルを頭に描く
 「パケットの気持ち」になって切り分ける
 L1:物理層 L6:プレゼンテーション層 L2:データリンク層 L3:ネットワーク層 L4:トランスポート層 L5:セッション層 L7:アプリケーション層 PHY MAC IP TCP/UDP L1:物理層 L6:プレゼンテーション層 L2:データリンク層 L3:ネットワーク層 L4:トランスポート層 L5:セッション層 L7:アプリケーション層 L1:物理層 L2:データリンク層 L3:ネットワーク層 L1:物理層 L2:データリンク層 L3:ネットワーク層 L1:物理層 L2:データリンク層 L3:ネットワーク層 ping ping X admin shut 今回の例ではルータにパケットが届くと... Step1: L3で宛先のIPテーブルを引き、存在しないので破棄 P.21
22. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 切り分けのコツ: OSI参照モデルを頭に描く
 「パケットの気持ち」になって切り分ける -> How?
 L1:物理層 L6:プレゼンテーション層 L2:データリンク層 L3:ネットワーク層 L4:トランスポート層 L5:セッション層 L7:アプリケーション層 PHY MAC IP TCP/UDP L1:物理層 L6:プレゼンテーション層 L2:データリンク層 L3:ネットワーク層 L4:トランスポート層 L5:セッション層 L7:アプリケーション層 L1:物理層 L2:データリンク層 L3:ネットワーク層 L1:物理層 L2:データリンク層 L3:ネットワーク層 L1:物理層 L2:データリンク層 L3:ネットワーク層 ping ping X admin shut STEP1: 機器を特定する。EndからTracerouteするとvIOS2で止まるはず。 STEP2: 機器内で原因を特定する。vIOS2の中を見る。 この際、上(L3)か下(L1)どちらから追うと良い。 P.22
23. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 切り分けのコツ: OSI参照モデルを頭に描く
 JANOG53 NETCON 4-2:
 server L4LB L3 RT (2arm) L3 RT L3 RT L1:物理層 L6: プレゼンテーション層 L2: データリンク層 L3: ネットワーク層 L4: トランスポート層 L5:セッション層 L7: アプリケーション層 for 経験者 難しいトラシューも
 基本は一緒！
 P.23
24. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 切り分けのコツ: OSI参照モデルを頭に描く
 JANOG53 NETCON 4-2:
 server L4LB L3 RT (2arm) L3 RT L3 RT L1:物理層 L6: プレゼンテーション層 L2: データリンク層 L3: ネットワーク層 L4: トランスポート層 L5:セッション層 L7: アプリケーション層 L1:物理層 L2: データリンク層 L3: ネットワーク層 L1:物理層 L2: データリンク層 L3: ネットワーク層 L1:物理層 L2: データリンク層 L3: ネットワーク層 L1:物理層 L6: プレゼンテーション層 L2: データリンク層 L3: ネットワーク層 L4: トランスポート層 L5:セッション層 L7: アプリケーション層 L1:物理層 L2: データリンク層 L3: ネットワーク層 L4: トランスポート層 L1:物理層 L6: プレゼンテーション層 L2: データリンク層 L3: ネットワーク層 L4: トランスポート層 L5:セッション層 L7: アプリケーション層 L1:物理層 L2: データリンク層 L3: ネットワーク層 for 経験者 L4動作するので L4層まで描く VRFしてそうなので物理1台だが 2台に考えておく P.24
25. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 切り分けのコツ: OSI参照モデルを頭に描く
 JANOG53 NETCON 4-2:
 server L4LB L3 RT (2arm) L3 RT L3 RT L1:物理層 L6: プレゼンテーション層 L2: データリンク層 L3: ネットワーク層 L4: トランスポート層 L5:セッション層 L7: アプリケーション層 L1:物理層 L2: データリンク層 L3: ネットワーク層 L1:物理層 L2: データリンク層 L3: ネットワーク層 L1:物理層 L2: データリンク層 L3: ネットワーク層 L1:物理層 L6: プレゼンテーション層 L2: データリンク層 L3: ネットワーク層 L4: トランスポート層 L5:セッション層 L7: アプリケーション層 L1:物理層 L2: データリンク層 L3: ネットワーク層 L4: トランスポート層 L1:物理層 L6: プレゼンテーション層 L2: データリンク層 L3: ネットワーク層 L4: トランスポート層 L5:セッション層 L7: アプリケーション層 L1:物理層 L2: データリンク層 L3: ネットワーク層 for 経験者 この後はL3の経路伝搬や
 NAT/セッション管理周りを
 想定しながら順番に確認
 P.25
26. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 切り分けのコツ: OSI参照モデルを頭に描く
 JANOG53 NETCON 4-2:
 server L4LB L3 RT (2arm) L3 RT L3 RT L1:物理層 L6: プレゼンテーション層 L2: データリンク層 L3: ネットワーク層 L4: トランスポート層 L5:セッション層 L7: アプリケーション層 L1:物理層 L2: データリンク層 L3: ネットワーク層 L1:物理層 L2: データリンク層 L3: ネットワーク層 L1:物理層 L2: データリンク層 L3: ネットワーク層 L1:物理層 L6: プレゼンテーション層 L2: データリンク層 L3: ネットワーク層 L4: トランスポート層 L5:セッション層 L7: アプリケーション層 L1:物理層 L2: データリンク層 L3: ネットワーク層 L4: トランスポート層 L1:物理層 L6: プレゼンテーション層 L2: データリンク層 L3: ネットワーク層 L4: トランスポート層 L5:セッション層 L7: アプリケーション層 L1:物理層 L2: データリンク層 L3: ネットワーク層 for 経験者 この後はL3の経路伝搬や
 NAT/セッション管理周りを
 想定しながら順番に確認
 役割があるトポロジなので
 
 外 内部 LB P.26
27. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 切り分けでよく使うコマンド(Linux)
 • tcpdump ◦ Endからパケットが出ているか確認する • ping ◦ 複数I/Fを持つ場合、srcを指定しよう • nc ◦ TCP/UDPを送信できる • ip route show ◦ ノードのルーティングテーブルを確認 • ip neigh show ◦ ノードのARPテーブルを確認 • iptables --list (に類するコマンド) ◦ ファイアウォールのルールを確認する P.27
28. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 切り分けでよく使うコマンド(Cisco IOS)
 • ping • traceroute • show cdp nei / show lldp nei ◦ 隣接につながっているSWの確認 • show mac address-table ◦ MACの転送テーブルの確認 • show ip route ◦ global RIBの確認 • show bgp ◦ BGP LocRIBの確認 • logging console / terminal monitor ◦ console ログの有効化 • show logging ◦ ログの確認 P.28
29. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 参考：切り分けのコツ: OSI参照モデルを頭に描く
 正しく考えよう
 L1:物理層 L6:プレゼンテーション層 L2:データリンク層 L3:ネットワーク層 L4:トランスポート層 L5:セッション層 L7:アプリケーション層 PHY MAC IP TCP/UDP L1:物理層 L6:プレゼンテーション層 L2:データリンク層 L3:ネットワーク層 L4:トランスポート層 L5:セッション層 L7:アプリケーション層 L1:物理層 L2:データリンク層 L3:ネットワーク層 L1:物理層 L2:データリンク層 L3:ネットワーク層 L1:物理層 L2:データリンク層 L3:ネットワーク層 ping ping X admin shut 注意:今回の構成ではadmin shutされているルータ内でL3からL1に伝搬しない。 • L1が落ちているので、MACアドレス情報はL2で学習できない。 • Directedな経路としてL3テーブルに乗らない。 間違った図 P.29
30. 分類1: サポート・ヘルプ 技術以外の注意/留意点 30
31. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 NETCONパンフレットをじっと眺める...
 仮定：このログはリモートから同僚が送ってきているのでは... 「お客様先で上手くいかないからちょっと見てよ！」 同僚から送られてき たConfig 情報取得をお願いして 送られたログ 対応手順をつたえて 送られてきた実行結果 P.31
32. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 実は解説に罠が....
 1:状態確認のIPアドレスが違う 
 実務に当てはめると... 
 あなた：「ホストvIOS2でこのコマンドの出力ください！」
 相手：「やりました！」⇨実は別のホストでログを取ったもの
 ※長い情報取得コマンドの一部を切り貼りする際に間違ったホストの情報をコピペ
 
 
 192.168.1.1のはずなのに 
 192.168.1.253になっている 
 P.32
33. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 実は解説に罠が....
 2: 解答例のホスト名が途中で入れ替わっている
 vIOS2に対するもの
 vIOS1に対するもの
 実務に当てはめると... 
 あなた：「トラシュー終わりました！このコマンド打ってね！」
 相手：「言われた通りにやったのに直らないよ！」
 ※依頼したホストを間違えてConfigを投入している
 
 P.33
34. TIPS: よりDeepなNW理解のために 「スイッチの気持ち」になる 〜Ciscoを例にとって〜 for 経験者
35. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 より早く・広く・深くトラシューするには...? 
 実際のケースや本題では「いくらでも」考えられる。 
 • MAC/IP ACLでフィルタされている 
 • BGP route-filterで経路を落としている 
 • BGP-OSPFのredistribute filterに落とされている 
 • VPNでoverlayされるはずなのにunderlay経路になっている 
 • レートリミットがかかっており落とされている 
 では、原因に素早くたどり着くためには？ 
 「たくさんトラシューして経験を積むこと」...? 
 パケットが転送される「スイッチの気持ち」になる 
 　↓…とは？
 NPUが何をしているか？ => 高速なマッチとaction(forward/rewirte等) 
 何に基づいてマッチしているか？⇒ConfigやProtocol学習情報 
 
 とはいえ、どこからをつければ... ⇨ TIPSを4つ紹介します 
 for 経験者 P.35
36. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 TIPS: メーカドキュメントを活用する1: 
 トラブルシュートページ
 • 例えば: Cisco トラブルシュートページ(OSPF)
 a:不慣れなプロトコルでもロジカルに切り分け(=適当ではない)ができる
 b:MTU関係を疑うなら「対抗にDFでpingを打ってみよう」とactionの引き出しが増える
 c:メーカに問い合わせるときに「ここまでやった」と言え円滑に切り分けが進む
 for 経験者 P.36
37. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 TIPS: メーカドキュメントを活用する2: 
 Configガイドの下の方
 • 例えば: Cisco IOS XE BGP EVPN VXLAN Config ガイド
 不慣れなプロトコルの何を見れば良いかが分かる
 ⇒結果、ハマりポイントや機種独自のコマンド方言が分かる！
 for 経験者 下に進むと... P.37
38. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 TIPS: SW挙動を理解する 
 プロトコルのメッセージだけでなく実装を知る
 方法１：RFCを見る 方法２：ドキュメントやユーザフォーラムを見る https://community.cisco.com/t5/routing/bgp-global-rib-vs-adj-rib-out/td-p/4614998 例えばBGPなら以下の事象を説明できるようになる 
 どうして：neighborから経路を受け取っているのにshow bgpで見えない 
 　　⇒Adj-RIB-InとLoc-RIBの関係 
 どうして：show bgpに乗っているのにshow ip rotue(global RIB)に乗らない 
 　　⇒ Loc-RIBは有効と判断される？他のRouting Protocolとの関係は？ 
 for 経験者 https://www.noction.com/blog/bgp-ls-link-state より P.38 (たとえば) BGP UPDATEは BGP RIBに どう影響するのか？ コントロール系のパケットを受け取った機器はなにをどう処理しているのか？ ⇨結果、(次スライドの)機器のパケット制御にどう影響するのか？
39. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 TIPS: HW挙動を理解する 
 Configはパケットにどのように作用するのか？
 • 例えば: Nexus 9000 Architecture, Nexus 7000 Hardware Architecture ポートに入ってきた後の ハードウェアの評価順が分かる IPレイヤでin-outを図示したもの Configがどうして・どうやって「パケットの気持ち」に作用しているかを知ろう！ ⇨スイッチの気持ちになろう！ for 経験者 P.39
40. 明日から使える！ 実務でも役立つNETCONテク
41. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 実務で役立つ実践テク
 • コンソールを複数開こう！ • 手元にConfig保存してDiffをとろう！ • 過程をメモしよう！ • ログを確認しよう！ • 図を書こう・情報を書き込もう！ P.41
42. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 実践テク: memo / diff 
 P.42
43. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 実践テク: 手元にConfig保存してDiffをとろう！
 最初に必ずやること：show runして似た装置でdiffをとる 2: CE同士 PE同士でdiff 1:ログインできるRT 全てのshow run 3: diffポイント
 a 違ってはいけない部分
 b 同じではいけない部分
 c 余計なconfig
 d 不足しているconfig 
 実務でこう役立つ：
 • 更に壊したときに戻れる
 • うっかりミス、に気づく (コピペミスなど)
 • 持ち帰ってみんなでゆっくり考えられる 
 P.43
44. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 実践テク: 過程をメモしよう！
 実務でこう役立つ： • 1: ヘルプ先に前提を確認できる。「ここは〜という設定でいいんですか？」 • 2: ヘルプ先にロジカルに説明できる。 「BGPで受け取った経路はnext-hopに到達できないと捨てられるんです。」 • 3: チームにノウハウを共有できる。（知らないコマンドを共有できる） 1:Config/showで確認したことを記載 
 「vlanの所属するVRFが違う」 
 「BGP OKだが経路を受信していない」 
 2: 分析を記載する
 「経路は受け取っていない？破棄してる？」 
 P.44
45. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 実践テク: ログを確認しよう！
 最初に打つ３点セット： 1. terminal monitor :新しいlogをtelnet/sshセッションで見る 2. logging con : おまじない(ログをconsoleに飛ばす) 3. show logging : 過去のログを見る これで即座に解決するトラブルもたくさんある。 (前回のNETCON53より) *Jan 15 14:16:43.278: OSPF-1 HELLO Gi3: Dead R 240 C 40, Hello R 60 C 10 Mask R 255.255.255.0 …. P.45
46. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 実践テク: コンソールを複数開こう！
 RT1 RT2 RT3 SV1 SV2 未使用 未使用 NETCONでの配置例 1: 自分なりに 分かる配置で ウィンドウを開く 2: 確認サーバにも入 りping/tracerouteを while 1 3: configが多そうなときは、 a: ter monした画面 b: ter monしていない画面 を分けて、bでconfigに集中 実務でこう役立つ： (1枚の画面に比べて...) • 1: イベントを検知しやすい • 2: 作業パートナーに理解してもらいやすい • 3: show …の結果を比較しやすい P.46
47. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 実践テク: 図を書こう・情報を書き込もう！
 Config・設計ドキュメントのパラメータを図にする NETCON(トポ図がある)の場合、スクショして書き込む P.47
48. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 その他 NETCON TIPS:
 • debug系コマンドを使いこなす • 大きな外部ディスプレイを用意する • 問題文からメタ読み • 推察する作問者からメタ読み • ハマったら飛ばす • ハマったらリセットする • 公式docs と stack overflowなどを 両方見る • ニッチな問題だったら検索上位のblogを見る • あまりにも変なら質問する 実務で言えば... • 良い作業環境 • ハマる人の設定や設計の癖を知る • 気分転換する(一番大切) P.48
49. 分類2: インシデント対応
50. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 インシデント対応
 　　ここまで説明したサポート・ヘルプに比べて、緊急性・重要性が高い ITIL4より: • インシデント ◦ サービスの計画外の中断、サービスの品質の低下 • インシデント管理 ◦ 可能な限り迅速にサービスを通常の状態に回復し、 インシデントの悪影響を最低限にする ITIL: ITサービスマネジメントにおけるベストプラクティス（成功事例）をまとめた書籍 P.50
51. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 インシデント対応に大切なこと: 5W
 適切な5Wの把握⇒適切なaction と 適切なreport • When: いつから • Where: どの範囲で • Who: どのサービスが • What: どういう事象か • Why:どのようなロジックで？ P.51
52. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 インシデント対応の役割
 　〜Configだけがインシデント対応じゃない！〜
 • 直接の対処 • 原因の解析 …だけ？ P.52
53. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 インシデント対応の役割
 　〜Configだけがインシデント対応じゃない！〜
 • 直接の対処 • 原因の解析 • 統制 • 既知かの調査 • 過去の事象との関係 • 周囲の影響 • 社内への連絡 • ユーザへの影響調査 • ユーザへの連絡(初報/継続) • ユーザへの報告 • 各種ダブルチェック • メーカ連絡 • 再発防止(暫定) • 再発防止(恒久) • ナレッジ化 P.53
54. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 インシデント対応の役割
 〜対処だけがインシデント対応じゃない！〜
 サービス 対応者 P.54
55. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 インシデント対応の役割
 〜対処だけがインシデント対応じゃない！〜
 サービス 監視装置 ユーザ サポート ページ 他のサービス 他のサービス 他のサービス や接続先 現地作業者 保守メーカ 社内の他のシステム 対応者 チケット システム 営業部門 統制 作文 情報記録 サービスの 責任者 影響調査 ログ・状況 確認 Web調査 確認者 P.55
56. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 トラシューの取り組み方(for みなさま)
 何でも役に立つ！(actionと効果) • 参加：トラシューのWeb会議に入る ◦ 人がいると安心する。ちょっとした作業を頼める。 • 後ろから見る：「画面見てていいですか？」「一緒に言っていいですか？」 ◦ 一緒に見てくれると心強い。嬉しい。 • 報告: 障害発生中！とSlackに書く ◦ ヘルプ人員を集めたり、影響を集めたり。原因の特定に役立つ。 • 記録: 障害の発生や対処を時間とともに記録する ◦ 障害レポートに役立つ。援軍メンバに状況が共有できる • 作文: 報告メールを書く ◦ 対応中に余裕ないので助かる。 • 周りを見る: 話題に上がっていないサービスの正常性を確認する ◦ 考慮していなかった影響が分かる。隠れた原因が潜んでいることも。 • ログを見る：ログやグラフを見る。 ◦ 予兆があったり、思わぬ原因・影響に気がつくかも • 専門知識でコメントする：後述 ◦ 統計知識、グラフを書く素早さ、電気の知識、語学、 知っておくと良いこと：トラブル発生直後はみんな余裕がない P.56
57. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 トラシューの幅を広げる例 (for 経験者〜)
 • 直接対応 ◦ 「対応するのでWeb会議に集合して！」という ◦ 「統制誰かお願い！」という • サポート ◦ 直接対応者の確認者をしたり、方針にコメントする ◦ 他の作業者と一緒に文章を考える、ログを一緒に見る ◦ 統制者のこぼれそうなタスク(報告や記録)を他の人に振って支援 • 統制 P.57
58. まとめ 58
59. 今日の発表の対象者(再掲) 59 初学者 経験者 学生・若い頃はトラシューって楽しかったのに大変に感じる ... 最近「手を動かさないで若いやつに任せろ」っていわれる ... トラシューってなに！楽しそうだけどどこから手をつけたら ... みんなエスパーなの ...知らないうちに解決されている ... 業務のトラシューは得意なんだけど、 NETCON苦手なんだよな... ⇨設定だけがトラシューじゃない！ ⇨最初は”縦の切り分け”と”横の切り分け”から始めてみよう！ ⇨「サービスの意識や、知らないことにたくさん触れたから ⇨経験者ならではの若手や先輩のサポートができる！ ⇨ヘルプ・サポート型のトラシューはサービストラシューと違う
60. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 まとめ
 • トラシューには２種類ある ◦ ヘルプ/サポート　と　インシデント対応 • トラブルは説明可能で裏切らない（たまに裏切る） • 縦の切り分けと横の切り分けをいつでも着実にこなす • “パケットの気持ち”の次は”スイッチの気持ち”を考えてみよう 自分の強みを最大限に活かしてトラシューを楽しもう！ P.60
61. ご清聴ありがとうございました 61
62. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 TIPS: Cisco 便利コマンド(Nexus)
 • NXOS Troubleshooting(Cisco Live!) よく使うのだがあまり話題に上がらないコマンド a. ethanalyzer 機器上でのtcpdump(書き出し可能) b. show troubleshoot l2/l3 … RIB -> FIB -> H/W Consistency Check … 便利なコマンドTIPS、 みなさんおしえてください！ P.62
63. TIPS: Cisco CML2が無償利用可能に！ 63
64. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 Cisco CML2
 • Cisco公式のネットワークラボエミュレータ • 2024末に無償版(5ノードまで)。IOS-XEのみ。 メモリが8GのPCでもいろいろ遊べる！ こんな人にお勧め： - 何でもいいから触ってみたい！ - 家にルータがほしいけど騒音が... - 自動化検証でScrap&Buildしたい ※IOS-XEがサポートするプロトコル RIP, OSPF, BGP, Multicast, IPv6, VXLAN, EVPN, MPLS などなど... ※199USDで20台かつNexus/ASAなどのイ メージが使える個人有償版も！ P.64
65. トラブルシュートを楽しもう！ 2025/01/21 wakamonog meeting 15 Cisco CML2: 参考リンク
 • Hyper-V上でCisco CML 2.8 FreeTierがgrubから進まないを解決する • CML2.8 Free TierでEVPN-VXLAN(non-multicast, eBGP) • Cisco CMLをHyper-Vで動かす • CML 2.8 Free Tier上にSWを自動配置してAnsibleで設定したい！ 他の方の記事 • Cisco Modeling Labs (CML2.8.0)（無償版）をVMWorkstation上で展開 する - gorosuke5656の日記 • 無料版CML2.8をHyper-V上で動かす • CML2.8 Free Tierを使いこなす: IOLを用いてEVPN-VXLANを検証してみ た P.65