Slide 1

Slide 1 text

フロー技術によるネットワーク管理 進藤 資訓 ヴイエムウェア株式会社 ニシラ・ディビジョン テクニカルリーダー [email protected]

Slide 2

Slide 2 text

I. 従来のネットワーク管理との違い

Slide 3

Slide 3 text

従来のネットワーク管理 • SNMPベース – MRTG – HP/OV – … • RMON or RMON2ベース JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 3

Slide 4

Slide 4 text

SNMPによるネットワーク管理 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 4 外部ネッ ト ワーク SNMP Manager SNMP Agent SNMP Agent SNMP Agent SNMP Agent Get Req/Resp Set Req Trap MIB

Slide 5

Slide 5 text

SNMPが提供するトラフィック情報 • (論理)インターフェース を通過したパケット数や バイト数 – IfInUcastPkts, IfOutUcastPkts – IfInOctets, IfOutOctets – … • “インターフェースベー ス” or “L2ベース”のネッ トワーク管理 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 5

Slide 6

Slide 6 text

SNMPが提供してくれないもの • 誰がトラフィックを流しているのか? – End to End トラフィックの把握 • どのようなトラフィックを流しているのか? – アプリケーションの把握 • ネットワーク型攻撃のすばやい検知 • ピアリング分析 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 6

Slide 7

Slide 7 text

RMON / RMON-2 • RMON – SNMP MIB-Ⅱの拡張 – “ネットワーク”のモニター – L2(MAC)レベルのvisibility • RMON-2 – RMONの拡張 – L3 / L4 レベルのvisibility JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 7

Slide 8

Slide 8 text

RMON / RMON-2によるネットワーク管理 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 8 外部ネッ ト ワーク RMON Management Console RMON Probe Get Req/Resp Set Req Trap RMON MIB RMON Probe RMON Probe

Slide 9

Slide 9 text

RMON / RMON-2の問題点 • RMON – Probe(Agent)志向 – 依然としてL3 / L4のvisibilityがない • RMON-2 – Probe(Agent)志向 • さらに複雑な実装 – サービスプロバイダのニーズを満たしていない – ライセンス料 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 9

Slide 10

Slide 10 text

Deep Packet Inspection (DPI) • パケットの「中身」を全て見て解析する • 理論的にはなんでも見える! JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 10

Slide 11

Slide 11 text

DPIの適用例 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 11 n ファイヤーウォール n IDS / IPS n 帯域制御装置 n トラフィック・アナライザ

Slide 12

Slide 12 text

DPI悩み • 見え過ぎる!? • インライン型ゆえの取り回し にくさ • 膨大なログ • 高速なインターフェースへの 追従 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 12

Slide 13

Slide 13 text

新たなネットワーク管理手法 • “フローベース”のネットワーク管理! – End to End の情報の把握 – アプリケーションの把握 – すばやい攻撃の検知 – AS の情報の把握 – … JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 13

Slide 14

Slide 14 text

フローによるネットワーク管理 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 14 外部ネッ ト ワーク Flow Collector Flow Exporter Flow Record Flow Exporter Flow Probe Flow Record Flow Record

Slide 15

Slide 15 text

代表的なフロー・プロトコル • NetFlow – Ciscoが開発した技術 – Cisco, Juniper, AlaxalA, etc. • sFlow – InMonが中心となって開発した技術 – Foundry, Extreme, AlaxalA, Force10, HP, etc. • IPFIX – IETFによる標準プロトコル – マルチベンダー – NetFlow V9がベース JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 15

Slide 16

Slide 16 text

3方式の比較 SNMP DPI Flow レイヤー L2 L1-L7 L3-L4 セキュリティー △ ◎ ○ 高速追従性 ◎ △ ○ ストレージサイズ ◎ △ ○ JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 16

Slide 17

Slide 17 text

フロー技術の適用分野 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 17 アプリケーションの把握 サービスプロバイダ エンタープライズ 攻撃の検知 QoSモニタリング 将来予測 課金 ピアリングの最適化 ユーザの挙動把握 フォレンジック トラフィック・ エンジニアリング 内部統制

Slide 18

Slide 18 text

II. プロトコル

Slide 19

Slide 19 text

代表的なフロー・プロトコル • NetFlow – Ciscoが開発した技術 – Cisco, Juniper, AlaxalA, etc. • sFlow – InMonが中心となって開発した技術 – Foundry, Extreme, AlaxalA, Force10, HP, etc. • IPFIX – IETFによる標準プロトコル – マルチベンダー – NetFlow V9がベース JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 19

Slide 20

Slide 20 text

NetFlowキャッシュ • NetFlowはキャッシュ・ベースのテクノロジー JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 20 Src IF Src IP Dst IF Dst IP Proto Bytes … Active Idle 10 a.a.a.a 24 x.x.x.x 6 1234 327 4 15 b.b.b.b 24 y.y.y.y 17 23456 1920 25 24 c.c.c.c 3 z.z.z.z 6 5678 54 10 フロー NetFlowキャッシュ コレクター ・Src / Dst IPアドレス ・Src /Dst ポート番号 ・プロトコルタイプ ・ToSバイト ・入力インターフェース

Slide 21

Slide 21 text

キャッシュなので・・・ • いつかはフラッシュする必要がある – Inactive Timer (default = 15秒) – Active Timer (default = 30分) – TCP FIN or RST – キャッシュが一杯になった時 • 実装依存 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 21 フロー 30分 15秒

Slide 22

Slide 22 text

NetFlowバージョン バージョン 特 徴 1 最初のバージョン。現在ではほとんど使われていない。 5 最も多く使われているバージョン(と思われる)。BGP ASとフローシーケンスをサポート。 7 Catalyst Switchシリーズのための拡張。 8 アグリゲーションをサポート。サポートしていないコレク ターが多い。 9 テンプレートベース。IPFIXのベース。 JPIXネットワーク運用管理 セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 22

Slide 23

Slide 23 text

NetFlow V5 PDU JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 23 Version バージョン フローレコード数 SysUptime unix-_secs unix-_nsecs フローシーケンス番号 エンジンタイプ エンジンID (サンプリングレート) フローレコード <1> フローレコード ・ ・ ・ ヘッダ フロー レコード 0 15 16 31

Slide 24

Slide 24 text

NetFlow V5 フローレコード JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 24 送信元IPアドレス 送信先IPアドレス 入力インタフェース番号 nexthop first 送信元ポート番号 パディング 出力インタフェース番号 パケット数 オクテット数 最初にフローが観測されたsysuptime 最後にフローが観測されたsysuptime 送信先ポート番号 TCPフラグ ToS プロトコル 送信元AS番号 送信先AS番号 送信元ネットマスク 送信先ネットマスク パディング 0 15 16 31

Slide 25

Slide 25 text

NetFlow V9 • テンプレート・ベース • RFC 3954 (Informational) • IPFIX のベースになった – 詳しくはのちほど IPFIX のところで説明 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 25

Slide 26

Slide 26 text

NetFlowパフォーマンス • オーバーヘッド – パケットの分類 – エクスポート処理 • 多くのCiscoハードウェアはパケットの分類をハードウェ アで処理することができる • バージョン(V5, V8, V9)にはほぼ非依存 • サンプリングは有効! • 例) – Cisco 12000、100:1サンプリングの場合、7~15% 程度のCPU負荷増 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 26

Slide 27

Slide 27 text

sFlow • NetFlow(Cisco流)への反発?? • RFC 3176 [sFlow V4] (Informational) JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 27

Slide 28

Slide 28 text

サンプリング • sFlowは“サンプルベース”のテクノロジー – NetFlowのようなフローキャッシュは持たない JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 28 コレクター sFlow エージェント sFlow PDU パケット ヘッダ I/F NextHop AS情報 I/F統計情報 ユーザ名 パケットキャプチャ Etc. インタフェース統計 サンプル フローサンプル 1つのインターフェース から入ってきて、スイッ チ/ルーティングモ ジュールを経由した後、 (1つ以上の)インター フェースから出て行く全 てのパケット

Slide 29

Slide 29 text

sFlowの特徴(vs NetFlow V5) • レイヤ2の情報を取得できる • IPv6を扱える • IP以外のプロトコル(IPX、AppleTalk、等)を扱える • パケットキャプチャができる • BGP関連機能のサポート – BGP Next Hop – Community – AS PATH – Local Preference • カウンタのサポート • 軽い Agent (エクスポータ)実装 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 29

Slide 30

Slide 30 text

sFlowのバージョン JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 30 バージョン 特 徴 2 最初のバージョン 4 BGP community の追加 (RFC 3176) 5 CPU/メモリ使用率、BGP nexthop、MPLS、NATサ ポート追加。Vendor-specific レコードで拡張可能。

Slide 31

Slide 31 text

IPFIX • IP Flow Information eXport – RFC 5101 (Protocol) – RFC 5102 (Information Model) • 歴史 – 49th IETF Dec. 2000, (rtfm2 – realtime traffic flow measurement 2 BOF) – 51st IETF August 2001 (ipfx BOF) • 候補:ARGUS, sFlow, NetFlow, LFAP, CRANE, Diameter, etc. • 関連WG – PSAMP (Packet Sampling) WG • 54th IETF July 2002 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 31

Slide 32

Slide 32 text

IPFIX アーキテクチャ JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 32 Metering Process 1 Observation Point 1 Exporting Process Metering Process n Observation Point m Metering Process 1 Observation Point 1 Metering Process n Observation Point m Collector Observation Domain 1 Observation Domain K Collector IPFIX機器 パケット ・・・ ・・・ ・・・ ・・・ ! ! ! ある期間のあ いだに、ネット ワーク中の“観 測ポイント”を 通過したIPパ ケットの集合 パケット

Slide 33

Slide 33 text

テンプレート • テンプレート・セット – データセットの“設計書”のようなもの – 拡張性を持たせる手段 • TLV でも実現できたが、オーバーヘッドが問題 • オプション・テンプレート・セット – フローには直接関係ないメタな情報を伝える JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 33

Slide 34

Slide 34 text

Template Flowset & Data Flowset の例 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 34 FlowSet ID = 0 Length = 28 bytes Template ID = 256 Field Count = 5 IPv4_SRCADDR Length = 4 IPv4_DSTADDR Length = 4 IPv4_NEXT_HOP Length = 4 IN_PKTS Length = 8 IN_BYTES Length = 8 FlowSet ID = 256 10.10.0.1 10.20.0.30 10.254.0.1 34947 5434325 Length = 60 10.10.0.3 10.33.5.124 10.254.0.1 3434 95048 Template Flowset Data Flowset 16bits 32bits Rec#1 Rec#2

Slide 35

Slide 35 text

IPFIX の新機能(NetFlow V9と比較して) • SCTP/PR-SCTPが必須のトランスポートになり、 UDP・TCPがオプションに • フィールド指定フォーマットの導入 – ベンダー拡張が可能 • 可変長IEのサポート • テンプレートを明示的に消去するTemplate Withdraw Messageの導入 • セキュリティー – IPsec or TLS (オプション) JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 35

Slide 36

Slide 36 text

サンプリング • 目的 – エクスポータのCPUやメモリの節約 – ネットワーク帯域の節約 – コレクターの性能の節約 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 36

Slide 37

Slide 37 text

サンプリング方式 • Systematic Sampling – Count-based – Time-based • Random Sampling – n-out-of-N – Uniform or Non-Uniform Probabilistic JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 37 N N N N N N

Slide 38

Slide 38 text

III. 運用

Slide 39

Slide 39 text

設定上の注意点 • SNMPとは根本的に違う考えをする必要があ る! JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 39

Slide 40

Slide 40 text

設定上の留意点 • フローは原則 “Ingress” のインターフェースで 効く – 一部、Egressで効く機器や設定可能な機器もある JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 40 FlowがenableなIF FlowがdisableなIF

Slide 41

Slide 41 text

Active timeout • Ciscoのデフォルトは30分、設定可能最小値 は1分 • ルータの負荷が心配? – 1分にするとフローレコードはどれくらい増えるの か? • 結論:可能なら1分、最低でもコレクターの統 計粒度以下にすべし! – ip flow-cache timeout active 1 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 41

Slide 42

Slide 42 text

Catalyst 6500系 • 最も多く使われているエクスポータと思われ る • 不幸な事に、フローの設定に関しては一番複 雑なハードウェア JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 42

Slide 43

Slide 43 text

Catalyst 6500アーキテクチャ JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 43 MSFC PFC

Slide 44

Slide 44 text

Cat6500固有の事情 • MSFC, PFCそれぞれにフローの設定が必要 – MSFCはサンプリングできない場合があり – V9以前のNetFlowでは1筐体で異なるサンプリン グレートを扱う事ができない! • フローマスクという概念がある – OutのifIndexが0で出てしまう – “interface-full” にすべし • TCPフラグを出せない – DoS検出時に注意が必要 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 44

Slide 45

Slide 45 text

期待したようにトラフィックが見えない • 全く出ない • SNMPと(若干)異なる JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 45

Slide 46

Slide 46 text

全く見えない場合 • インターフェースに設定が入っていない • OutのifIndexが出ない • 物理 vs 論理インターフェース – Link Aggregation、VLAN – IPインターフェース(Juniper) • Active timeoutの罠 • ifIndexが変わってしまった! – snmp-server ifindex persisit JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 46

Slide 47

Slide 47 text

SNMPとの差異要因 • L2ヘッダオーバーヘッド • Non-IPトラフィック • ブロードキャスト&マルチキャスト • Origin or Destinedトラフィック • ACL • サンプリング誤差 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 47

Slide 48

Slide 48 text

FAQその1 • 最適なサンプリングレートはどれくらいです か? – フローの使用目的によって異なる – ハードウェア・アシストの有無 – 典型的なのは1/100~1/数1,000 – 当然失われるものもある • フロー数 • スキャン等の振る舞い • ・・・ JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 48

Slide 49

Slide 49 text

FAQその2 • サンプリングレートが〇〇だとどれくらいの誤 差で収まりますか? – サンプリングレートで誤差率が決まるわけではな く、 “サンプル数”で決まる! JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 49

Slide 50

Slide 50 text

サンプリング理論 • 理論誤差= 196×sqrt( 1/c ) 注: 信頼区間95%の場合 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 50

Slide 51

Slide 51 text

具体例 • 前提 – トラフィック: 1Gbps – 平均パケットサイズ: 250バイト/パケット – 統計粒度: 5分 • 計算 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 51 $ irb >> 196 * Math::sqrt(1/(1.0*1000*1000*1000/8/250*5*60/1000)) => 0.506069823904436 >> 196 * Math::sqrt(1/(1.0*1000*1000*1000/8/250*5*60/10000)) => 1.60033329861834 >> >> 196 * Math::sqrt(1/(1.0*1000*1000*1000/8/250*5*60/4000)) => 1.01213964780887

Slide 52

Slide 52 text

サンプリングレート高い?低い? • 言う人によってまちまち!w • 「レート」なので、 – 1000、2000、とか言うのは正しくない。正しくは 1/1000、1/2000と言うべき – 従って、1/2000より1/1000のほうが“高い”サンプ リングレート JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 52

Slide 53

Slide 53 text

ダブルカウント問題 • 1つのフローに関する 情報を2つ以上のエク スポーターがエクス ポートしてしまい、コレ クターがそれらを重複 してカウントしてしまう 問題 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 53 外部ネッ ト ワーク Flow Record Flow Record

Slide 54

Slide 54 text

ダブルカウント問題解決方法(1) • 単純に考えると・・・ – 同一フローに関するフローレコードをコレクターが 消しこむ • が、一般的には難しい – サンプリングの可能性 • ハッシュベースのサンプリングで解決は可能だが、ま だ実装がない – 同一のコレクターに捕縛されるとは限らない JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 54

Slide 55

Slide 55 text

ダブルカウント問題解決方法(2) • モデル化による解決 – フローを“境界”で捕縛する – 境界を通過するフローの挙動が“予測可能”であ るようにネットワークをモデル化する JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 55

Slide 56

Slide 56 text

モデル化による解決の例 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 56 インタ ーネッ ト インターネット境界 ホームネットワーク

Slide 57

Slide 57 text

ASトラフィック分析 • ピアリングの最適化に絶対必要な情報 – コスト・セービングにつながる • “Origin” vs “Peer” AS JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 57 AS 1 AS5 AS2 AS4 AS3 AS6 AS7 Src Orig AS Src Peer AS Dst Peer AS Dst Orig AS

Slide 58

Slide 58 text

Src AS問題 • Dst {Orig/Peer} ASについては、フローレコード中の dst IP addrをBGP経路テーブルでルックアップすれば よい。 • Src {Orig/Peer} ASをはっきり特定することはできない。 – 経路の非対称性 – Src IPのSpoofの可能性 – フローレコード中のsrc IP addrをBGP経路テーブルでルック アップして、そこから来たであろうと「仮定」する(しかない)。 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 58

Slide 59

Slide 59 text

Src Peer AS問題解決方法 • Src Peer ASオーバーライド – BGP経路テーブルをルックアップせず、特定のインターフェースから 入ってきたトラフィックは、特定のAS Peerトラフィックであると認識する。 – プライベートなPeerの場合は良いが、IXでPeerしているような場合は 解決できない。 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 59 AS 1 AS5 AS2 IX AS3 AS6 AS7 Src Orig AS Src Peer AS AS8

Slide 60

Slide 60 text

商用コレクター製品(アルファベット順) • AdventNet – NetFlow Analyzer (N, I) • ARBOR Networks – peakflow (N, S, I) • Fluke Networks – NetFlow Tracker (N, S, I) • Foundry Networks – IronView (S) • GenieNRM – GenieATM (N, S, I) • InMon – InMon Traffic Sentinel (S, N, I) • Lancope – StealthWatch (N, S) • Plixer – Scrutinizer (N, S) JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 60

Slide 61

Slide 61 text

フリーコレクター製品(アルファベット順) • CAIDA – cflowd (N) • flow-tools & FlowScan(N) • InMon – sflowtools (S), sFlowTrend (S) • nfdump & NfSen (N) • ntop – ntop (N, S, I) • Many More!!! JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 61

Slide 62

Slide 62 text

flow-tools • ツールの集合 – flow-{capture, cat, dscan, expire, export, fanout, filter, gen, header, import, log2rrd, mask, merge, nfilter, print, receive, report, rpt2rrd, rptfmt, send, split, stat, tag, xlate} • NetFlow V1, V5, (V6), V7, V8 • 例) JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 62 % ./flow-receive 0/0/9990 | ./flow-print | head -10 Sif SrcIPaddress Dif DstIPaddress Pr SrcP DstP Pkts Octets 60 206.204.84.9 00 10.0.135.63 06 15 5f0 2 88 00 10.0.135.63 60 206.204.84.9 06 5f0 15 16 787 60 206.204.84.9 00 10.0.135.63 06 15 5f0 13 1742 00 10.0.155.25 60 204.62.245.167 06 50 bae5 15 948

Slide 63

Slide 63 text

FlowScan • cflowd / flow-tools / argus / lfapd (collector) + RRD (D/B) + RDDTools (visualization) • Platform : UNIX JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 63 http://www.caida.org/tools/utilities/flowscan/index.xmlより引用 http://www.caida.org/tools/utilities/flowscan/index.xmlより引用

Slide 64

Slide 64 text

NfSen • nfdumpのフロントエンド • Platform : UNIX JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 64 http://http://nfsen.sourceforge.net/details-graphs.pngより引用

Slide 65

Slide 65 text

GenieATM 6000 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 65 http://www.fivefront.com/products/genie/atm6000/function.htmlより引用

Slide 66

Slide 66 text

Fluke NetFlow Tracker JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 66 http://www.flukenetworks.com/enterprise-network/network-monitoring/OptiView-NetFlow-Trackerより引用

Slide 67

Slide 67 text

ARBOR peakflow JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 67 http://www.arbornetworks.com/products_x.phpより引用

Slide 68

Slide 68 text

InMon Traffic Sentinel JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 68 http://www.msol.co.jp/it/Inmon/i-tokucho.htmlより引用

Slide 69

Slide 69 text

Plixer Scrutinizer JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 69 http://www.plixer.com/products/netflow-sflow/scrutinizer-netflow-sflow.phpより引用

Slide 70

Slide 70 text

IV. ケーススタディー

Slide 71

Slide 71 text

フローを使った適用事例 • AS間トラフィック把握 • 社内ネットワークのトラフィック把握 • DDoS検知およびmitigation • ネットワーク費用按分(課金データ) • フォレンジック・データとしての使用 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 71

Slide 72

Slide 72 text

アプリケーションの把握 JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 72

Slide 73

Slide 73 text

ヘビートーカーを探せ! JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 73

Slide 74

Slide 74 text

JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 74 ワームの発見 ~異常発生~ アラーム 発生

Slide 75

Slide 75 text

JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 75 ワームの発見 ~PPS・FPSの上昇~ Packet per second Flow per second

Slide 76

Slide 76 text

JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 76 ワームの発見 ~アプリケーションの分析~ 特定のインターフェー スを指定 アプリケーションでの 分析を指示

Slide 77

Slide 77 text

JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 77 ワームの発見 ~原因判明~ 犯人はこ れだ!

Slide 78

Slide 78 text

JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 78 ワームの発見 ~攻撃者と被害者の特定~ 攻撃者 被害者

Slide 79

Slide 79 text

Blackhole Routing (a.k.a RTBH) JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 79 Regional Network Regional Network Flow Collector フローで攻撃を検出 1 BGP announcement 2 ip route 192.1.1.2 255.255.255.255 Null0 3 3 ip route 192.1.1.2 255.255.255.255 Null0 攻撃者 被害者 192.1.1.2

Slide 80

Slide 80 text

Clean Centerを使ったソリューション JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 80 Regional Network Regional Network Clean Center Flow Collector Protected Network Zone1 フローで攻撃を検出 1 5 きれいになったトラ フィックをネットワー クに戻す 攻撃者 被害者 192.1.1.2 Clean Centerへトラ フィックをフォワード 4 BGP announce 3 保護したいZoneの有効化 2

Slide 81

Slide 81 text

DDoS mitigationにフローを使うことのメリット • そもそもSNMPでは不可能 – 「何か」が起こっていることは分かるが、「何」が起 こっているか分からない – 何が起こっているか分からないと対策できない • 分散検出することができる – インラインなソリューションよりスケールする JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 81

Slide 82

Slide 82 text

仮想化環境の可視化(1) JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 82 http://blog.sflow.com/2010/02/virtual-routing.htmlより引用

Slide 83

Slide 83 text

仮想化環境の可視化(2) JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 83 http://openvswitch.org/より引用 Open vSwitchの例

Slide 84

Slide 84 text

参考資料 • NetFlow 関連情報 – http://www.cisco.com/en/US/products/ps6601/products_i os_protocol_group_home.html • NetFlow V9 RFC 日本語訳 – http://www.fivefront.com/technology/flow/rfc3954- jp.html • sFlow 関連情報 – http://www.sflow.org/ • IPFIX – http://www.ietf.org/html.charters/ipfix-charter.html • 各種ツール – http://www.switch.ch/tf-tant/floma/software.html JPIXネットワーク運用管理セミナー Copyright © 2012 Motonori Shindo, All Rights Reserved. 84