フロー技術によるネットワーク管理

Slide 1

Slide 1 text

フロー技術によるネットワーク管理進藤資訓ヴイエムウェア株式会社ニシラ・ディビジョンテクニカルリーダー mshindo@vmware.com

Slide 2

Slide 2 text

I. 従来のネットワーク管理との違い

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

SNMPが提供するトラフィック情報 • （論理）インターフェースを通過したパケット数やバイト数 – IfInUcastPkts, IfOutUcastPkts – IfInOctets, IfOutOctets – … • “インターフェースベース” or “L2ベース”のネットワーク管理 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 5

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

RMON / RMON-2によるネットワーク管理 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 8 外部ネットワーク RMON Management Console RMON Probe Get Req/Resp Set Req Trap RMON MIB RMON Probe RMON Probe

Slide 9

Slide 9 text

RMON / RMON-2の問題点 • RMON – Probe（Agent）志向 – 依然としてL3 / L4のvisibilityがない • RMON-2 – Probe（Agent）志向 • さらに複雑な実装 – サービスプロバイダのニーズを満たしていない – ライセンス料 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 9

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

代表的なフロー・プロトコル • NetFlow – Ciscoが開発した技術 – Cisco, Juniper, AlaxalA, etc. • sFlow – InMonが中心となって開発した技術 – Foundry, Extreme, AlaxalA, Force10, HP, etc. • IPFIX – IETFによる標準プロトコル – マルチベンダー – NetFlow V9がベース JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 15

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

II. プロトコル

Slide 19

Slide 19 text

Slide 20

Slide 20 text

NetFlowキャッシュ • NetFlowはキャッシュ・ベースのテクノロジー JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 20 Src IF Src IP Dst IF Dst IP Proto Bytes … Active Idle 10 a.a.a.a 24 x.x.x.x 6 1234 327 4 15 b.b.b.b 24 y.y.y.y 17 23456 1920 25 24 c.c.c.c 3 z.z.z.z 6 5678 54 10 フロー NetFlowキャッシュコレクター・Src / Dst IPアドレス・Src /Dst ポート番号・プロトコルタイプ・ToSバイト・入力インターフェース

Slide 21

Slide 21 text

キャッシュなので・・・ • いつかはフラッシュする必要がある – Inactive Timer （default = 15秒） – Active Timer （default = 30分） – TCP FIN or RST – キャッシュが一杯になった時 • 実装依存 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 21 フロー 30分 15秒

Slide 22

Slide 22 text

NetFlowバージョンバージョン特徴 1 最初のバージョン。現在ではほとんど使われていない。 5 最も多く使われているバージョン（と思われる）。BGP ASとフローシーケンスをサポート。 7 Catalyst Switchシリーズのための拡張。 8 アグリゲーションをサポート。サポートしていないコレクターが多い。 9 テンプレートベース。IPFIXのベース。 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 22

Slide 23

Slide 23 text

NetFlow V5 PDU JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 23 Version バージョンフローレコード数 SysUptime unix-_secs unix-_nsecs フローシーケンス番号エンジンタイプエンジンID （サンプリングレート）フローレコード <1> フローレコード・・・ヘッダフローレコード 0 15 16 31

Slide 24

Slide 24 text

NetFlow V5 フローレコード JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 24 送信元IPアドレス送信先IPアドレス入力インタフェース番号 nexthop first 送信元ポート番号パディング出力インタフェース番号パケット数オクテット数最初にフローが観測されたsysuptime 最後にフローが観測されたsysuptime 送信先ポート番号 TCPフラグ ToS プロトコル送信元AS番号送信先AS番号送信元ネットマスク送信先ネットマスクパディング 0 15 16 31

Slide 25

Slide 25 text

Slide 26

Slide 26 text

NetFlowパフォーマンス • オーバーヘッド – パケットの分類 – エクスポート処理 • 多くのCiscoハードウェアはパケットの分類をハードウェアで処理することができる • バージョン（V5, V8, V9）にはほぼ非依存 • サンプリングは有効！ • 例） – Cisco 12000、100:1サンプリングの場合、7～15% 程度のCPU負荷増 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 26

Slide 27

Slide 27 text

Slide 28

Slide 28 text

サンプリング • sFlowは“サンプルベース”のテクノロジー – NetFlowのようなフローキャッシュは持たない JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 28 コレクター sFlow エージェント sFlow PDU パケットヘッダ I/F NextHop AS情報 I/F統計情報ユーザ名パケットキャプチャ Etc. インタフェース統計サンプルフローサンプル１つのインターフェースから入ってきて、スイッチ/ルーティングモジュールを経由した後、（1つ以上の）インターフェースから出て行く全てのパケット

Slide 29

Slide 29 text

sFlowの特徴（vs NetFlow V5） • レイヤ２の情報を取得できる • IPv6を扱える • IP以外のプロトコル（IPX、AppleTalk、等）を扱える • パケットキャプチャができる • BGP関連機能のサポート – BGP Next Hop – Community – AS PATH – Local Preference • カウンタのサポート • 軽い Agent （エクスポータ）実装 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 29

Slide 30

Slide 30 text

ｓFlowのバージョン JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 30 バージョン特徴 2 最初のバージョン 4 BGP community の追加（RFC 3176） 5 CPU/メモリ使用率、BGP nexthop、MPLS、NATサポート追加。Vendor-specific レコードで拡張可能。

Slide 31

Slide 31 text

IPFIX • IP Flow Information eXport – RFC 5101 (Protocol) – RFC 5102 (Information Model) • 歴史 – 49th IETF Dec. 2000, (rtfm2 – realtime traffic flow measurement 2 BOF) – 51st IETF August 2001 (ipfx BOF) • 候補：ARGUS, sFlow, NetFlow, LFAP, CRANE, Diameter, etc. • 関連WG – PSAMP （Packet Sampling） WG • 54th IETF July 2002 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 31

Slide 32

Slide 32 text

IPFIX アーキテクチャ JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 32 Metering Process 1 Observation Point 1 Exporting Process Metering Process n Observation Point m Metering Process 1 Observation Point 1 Metering Process n Observation Point m Collector Observation Domain 1 Observation Domain K Collector IPFIX機器パケット・・・・・・・・・・・・ ! ! ! ある期間のあいだに、ネットワーク中の“観測ポイント”を通過したIPパケットの集合パケット

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Template Flowset & Data Flowset の例 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 34 FlowSet ID = 0 Length = 28 bytes Template ID = 256 Field Count = 5 IPv4_SRCADDR Length = 4 IPv4_DSTADDR Length = 4 IPv4_NEXT_HOP Length = 4 IN_PKTS Length = 8 IN_BYTES Length = 8 FlowSet ID = 256 10.10.0.1 10.20.0.30 10.254.0.1 34947 5434325 Length = 60 10.10.0.3 10.33.5.124 10.254.0.1 3434 95048 Template Flowset Data Flowset 16bits 32bits Rec#1 Rec#2

Slide 35

Slide 35 text

IPFIX の新機能（NetFlow V９と比較して） • SCTP/PR-SCTPが必須のトランスポートになり、 UDP・TCPがオプションに • フィールド指定フォーマットの導入 – ベンダー拡張が可能 • 可変長IEのサポート • テンプレートを明示的に消去するTemplate Withdraw Messageの導入 • セキュリティー – IPsec or TLS （オプション） JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 35

Slide 36

Slide 36 text

Slide 37

Slide 37 text

サンプリング方式 • Systematic Sampling – Count-based – Time-based • Random Sampling – n-out-of-N – Uniform or Non-Uniform Probabilistic JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 37 N N N N N N

Slide 38

Slide 38 text

III. 運用

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Active timeout • Ciscoのデフォルトは30分、設定可能最小値は1分 • ルータの負荷が心配？ – 1分にするとフローレコードはどれくらい増えるのか？ • 結論：可能なら1分、最低でもコレクターの統計粒度以下にすべし！ – ip flow-cache timeout active 1 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 41

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Cat6500固有の事情 • MSFC, PFCそれぞれにフローの設定が必要 – MSFCはサンプリングできない場合があり – V9以前のNetFlowでは１筐体で異なるサンプリングレートを扱う事ができない！ • フローマスクという概念がある – OutのifIndexが0で出てしまう – “interface-full” にすべし • TCPフラグを出せない – DoS検出時に注意が必要 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 44

Slide 45

Slide 45 text

Slide 46

Slide 46 text

全く見えない場合 • インターフェースに設定が入っていない • OutのifIndexが出ない • 物理 vs 論理インターフェース – Link Aggregation、VLAN – IPインターフェース（Juniper） • Active timeoutの罠 • ifIndexが変わってしまった！ – snmp-server ifindex persisit JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 46

Slide 47

Slide 47 text

Slide 48

Slide 48 text

FAQその１ • 最適なサンプリングレートはどれくらいですか？ – フローの使用目的によって異なる – ハードウェア・アシストの有無 – 典型的なのは1/100～1/数1,000 – 当然失われるものもある • フロー数 • スキャン等の振る舞い • ・・・ JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 48

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

具体例 • 前提 – トラフィック： 1Gbps – 平均パケットサイズ： 250バイト/パケット – 統計粒度: 5分 • 計算 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 51 $ irb >> 196 * Math::sqrt(1/(1.0*1000*1000*1000/8/250*5*60/1000)) => 0.506069823904436 >> 196 * Math::sqrt(1/(1.0*1000*1000*1000/8/250*5*60/10000)) => 1.60033329861834 >> >> 196 * Math::sqrt(1/(1.0*1000*1000*1000/8/250*5*60/4000)) => 1.01213964780887

Slide 52

Slide 52 text

サンプリングレート高い？低い？ • 言う人によってまちまち！w • 「レート」なので、 – 1000、2000、とか言うのは正しくない。正しくは 1/1000、1/2000と言うべき – 従って、1/2000より1/1000のほうが“高い”サンプリングレート JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 52

Slide 53

Slide 53 text

Slide 54

Slide 54 text

ダブルカウント問題解決方法（１） • 単純に考えると・・・ – 同一フローに関するフローレコードをコレクターが消しこむ • が、一般的には難しい – サンプリングの可能性 • ハッシュベースのサンプリングで解決は可能だが、まだ実装がない – 同一のコレクターに捕縛されるとは限らない JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 54

Slide 55

Slide 55 text

Slide 56

Slide 56 text

Slide 57

Slide 57 text

ASトラフィック分析 • ピアリングの最適化に絶対必要な情報 – コスト・セービングにつながる • “Origin” vs “Peer” AS JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 57 AS 1 AS5 AS2 AS4 AS3 AS6 AS7 Src Orig AS Src Peer AS Dst Peer AS Dst Orig AS

Slide 58

Slide 58 text

Src AS問題 • Dst {Orig/Peer} ASについては、フローレコード中の dst IP addrをBGP経路テーブルでルックアップすればよい。 • Src {Orig/Peer} ASをはっきり特定することはできない。 – 経路の非対称性 – Src IPのSpoofの可能性 – フローレコード中のsrc IP addrをBGP経路テーブルでルックアップして、そこから来たであろうと「仮定」する（しかない）。 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 58

Slide 59

Slide 59 text

Src Peer AS問題解決方法 • Src Peer ASオーバーライド – BGP経路テーブルをルックアップせず、特定のインターフェースから入ってきたトラフィックは、特定のAS Peerトラフィックであると認識する。 – プライベートなPeerの場合は良いが、IXでPeerしているような場合は解決できない。 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 59 AS 1 AS5 AS2 IX AS3 AS6 AS7 Src Orig AS Src Peer AS AS8

Slide 60

Slide 60 text

商用コレクター製品（アルファベット順） • AdventNet – NetFlow Analyzer (N, I) • ARBOR Networks – peakflow (N, S, I) • Fluke Networks – NetFlow Tracker (N, S, I) • Foundry Networks – IronView (S) • GenieNRM – GenieATM (N, S, I) • InMon – InMon Traffic Sentinel (S, N, I) • Lancope – StealthWatch (N, S) • Plixer – Scrutinizer (N, S) JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 60

Slide 61

Slide 61 text

フリーコレクター製品（アルファベット順） • CAIDA – cflowd (N) • flow-tools & FlowScan(N) • InMon – sflowtools (S), sFlowTrend (S) • nfdump & NfSen (N) • ntop – ntop (N, S, I) • Many More!!! JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 61

Slide 62

Slide 62 text

flow-tools • ツールの集合 – flow-{capture, cat, dscan, expire, export, fanout, filter, gen, header, import, log2rrd, mask, merge, nfilter, print, receive, report, rpt2rrd, rptfmt, send, split, stat, tag, xlate} • NetFlow V1, V5, (V6), V7, V8 • 例） JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 62 % ./flow-receive 0/0/9990 | ./flow-print | head -10 Sif SrcIPaddress Dif DstIPaddress Pr SrcP DstP Pkts Octets 60 206.204.84.9 00 10.0.135.63 06 15 5f0 2 88 00 10.0.135.63 60 206.204.84.9 06 5f0 15 16 787 60 206.204.84.9 00 10.0.135.63 06 15 5f0 13 1742 00 10.0.155.25 60 204.62.245.167 06 50 bae5 15 948

Slide 63

Slide 63 text

FlowScan • cflowd / flow-tools / argus / lfapd (collector) + RRD (D/B) + RDDTools (visualization) • Platform : UNIX JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 63 http://www.caida.org/tools/utilities/flowscan/index.xmlより引用 http://www.caida.org/tools/utilities/flowscan/index.xmlより引用

Slide 64

Slide 64 text

Slide 65

Slide 65 text

Slide 66

Slide 66 text

Slide 67

Slide 67 text

Slide 68

Slide 68 text

Slide 69

Slide 69 text

Slide 70

Slide 70 text

IV. ケーススタディー

Slide 71

Slide 71 text

Slide 72

Slide 72 text

Slide 73

Slide 73 text

Slide 74

Slide 74 text

Slide 75

Slide 75 text

Slide 76

Slide 76 text

Slide 77

Slide 77 text

Slide 78

Slide 78 text

Slide 79

Slide 79 text

Blackhole Routing (a.k.a RTBH) JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 79 Regional Network Regional Network Flow Collector フローで攻撃を検出 1 BGP announcement 2 ip route 192.1.1.2 255.255.255.255 Null0 3 3 ip route 192.1.1.2 255.255.255.255 Null0 攻撃者被害者 192.1.1.2

Slide 80

Slide 80 text

Clean Centerを使ったソリューション JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 80 Regional Network Regional Network Clean Center Flow Collector Protected Network Zone1 フローで攻撃を検出 1 5 きれいになったトラフィックをネットワークに戻す攻撃者被害者 192.1.1.2 Clean Centerへトラフィックをフォワード 4 BGP announce 3 保護したいZoneの有効化 2

Slide 81

Slide 81 text

DDoS mitigationにフローを使うことのメリット • そもそもSNMPでは不可能 – 「何か」が起こっていることは分かるが、「何」が起こっているか分からない – 何が起こっているか分からないと対策できない • 分散検出することができる – インラインなソリューションよりスケールする JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 81

Slide 82

Slide 82 text

Slide 83

Slide 83 text

Slide 84

Slide 84 text

参考資料 • NetFlow 関連情報 – http://www.cisco.com/en/US/products/ps6601/products_i os_protocol_group_home.html • NetFlow V9 RFC 日本語訳 – http://www.fivefront.com/technology/flow/rfc3954- jp.html • ｓFlow 関連情報 – http://www.sflow.org/ • IPFIX – http://www.ietf.org/html.charters/ipfix-charter.html • 各種ツール – http://www.switch.ch/tf-tant/floma/software.html JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 84