最先端の汎用シリコンがHigh Peformance仮想化基盤のネットワークインフラに最適な理由

For High Performance Virtual Infra Community Meetup #1

Transcript

1. Confidential. Copyright © Arista 2018. All rights reserved. Confidential. Copyright © Arista 2018. All rights reserved. 最先端の汎⽤シリコンがHigh Performance 仮想化基盤のネットワークインフラに最適な理由 2018年6⽉ アリスタネットワークスジャパン合同会社 野⽥ 真
2. Confidential. Copyright © Arista 2018. All rights reserved. 2 アリスタネットワークス概要 2004年 創業 2008年 製品出荷開始 2010年 ⽇本法⼈設⽴ 2014年 NYSEに上場 ・本社 :⽶国カリフォルニア州サンタクララ市 ・従業員 :2,000名+ ・顧客数 :5,000社+ ・売上 :1.4B USD (2017年度) 主にデータセンター、クラウドコンピューティング、HPC 向けのイーサネットスイッチソリューションを提供 実⾏能⼒→ ビジョン→ 2017年
3. Confidential. Copyright © Arista 2018. All rights reserved. アリスタのプラットフォーム戦略 • 世の中に現存する、その時々の 最⾼性能の汎⽤シリコンを採⽤ する • ⼀番の強みであるOS (EOS) で 汎⽤シリコンの性能を最⼤限に 引き出す • お客様の環境のスケール性、⾼ 密度、低遅延、低価格、低消費 電⼒を実現する
4. Confidential. Copyright © Arista 2018. All rights reserved. それぞれ特⾊を持った製品群 4 全てのプラットフォームにわたって、1つのEOSイメージ
5. Confidential. Copyright © Arista 2018. All rights reserved. 最先端の汎⽤シリコンで実現する HPVIに関する3つのソリューション (1) プログラマブル・データプレーン (2) ディープ・パケットバッファ (3) 400G イーサネット+ 5
6. Confidential. Copyright © Arista 2018. All rights reserved. Confidential. Copyright © Arista 2018. All rights reserved. 6 (1) プログラマブル・データプレーン
7. Confidential. Copyright © Arista 2018. All rights reserved. データプレーンのプログラマビリティとは 1. ⼊⼒ポートに到着し、Ingress MACに渡る 2. パケットを解析（パース処理） 3. テーブルに基づいた転送の決定 4. パケットメモリに格納され、送信のためにスケ ジューリング 5. 出⼒に際したパケットの変更など(TTLなど) 6. Egress MACから出⼒ポートへ渡され、送信 7 PCIe Control and configuration Common Queuing and Packet Data Buffers CPU MAC DMA Engines Reset and Clocks 10/40/100G Rx MACs Ingress Match-Action Pipeline Egress Match-Action Pipeline 10/40/100G Tx MACs 10/40/100G Rx MACs Ingress Match-Action Pipeline Egress Match-Action Pipeline 10/40/100G Tx MACs 10/40/100G Rx MACs Ingress Match-Action Pipeline Egress Match-Action Pipeline 10/40/100G Tx MACs 10/40/100G Rx MACs Ingress Match-Action Pipeline Egress Match-Action Pipeline 10/40/100G Tx MACs パイプライン処理をプログラム可能なデータプレーン
8. Confidential. Copyright © Arista 2018. All rights reserved. どうやってプログラムするのか？ 8 P4 = オープンソースの汎⽤データプレーン定義⾔語
9. Confidential. Copyright © Arista 2018. All rights reserved. 仮想環境におけるネットワーク処理の変遷 9 マルチコア x86サーバー ハイパーバイザー and/or vSwitch スマートNIC DPDK, SR-IOV, Kernelバイパス プログラマブル スイッチ インフラに重要な機能を埋め込む
10. Confidential. Copyright © Arista 2018. All rights reserved. アリスタ 7170シリーズ 販売開始 10 100G プログラマブル スイッチ • ハイパフォーマンス100GbEシステム - 最⼤5Bppsのスループット - 22MBのシェアードバッファとLANZによる監視 - サブusecのレイテンシー • データセンターに最適化 - データセンタースパインと次世代のリーフ - 100G ポートあたり5W未満の標準電⼒ - フレキシブルなデータプレーンテーブル - ⾼度なカプセル化とセグメンテーション • プログラマブル パイプライン - フレキシブルな機能とスケールを実現 64 Ports 100GbE – 12.8Tbps 32 Ports 100GbE – 6.4Tbps 販売中 今年中に 販売開始
11. Confidential. Copyright © Arista 2018. All rights reserved. ハイパフォーマンス仮想化基盤への適⽤例 11 7170 ネットワークセキュリティ • ある期間におけるSYNパケットの同時発⽣数 - DDoS検出 • アウトバウンド接続を開く • アプリケーション固有のカウンタを追加する • セッションの学習 • ネットワークポリシーを適⽤して新しい接続を削除/フィルタ リングする Server 1 2 3 4 block 5 http セキュリティエンフォースメント Intelligence 10.X 17.X Network Address Translation 10.1.1.10 17.1.1.10 7170 ラージスケールNATプロファイル • アドレスNAT、ポートNAT、マルチキャストNAT • NAT64 - V4からV6 • Twice NAT • 7170-32Cでは200Kエントリー その他にインライン・テレメトリー、新トンネル実装など
12. Confidential. Copyright © Arista 2018. All rights reserved. Confidential. Copyright © Arista 2018. All rights reserved. 12 (2) ディープ・パケットバッファ
13. Confidential. Copyright © Arista 2018. All rights reserved. パケットバッファが必要になるパターン Incast (多 -> 少) Speed Change (⾼速 -> 低速) - 分散ストレージ - VMの⾼密度化によるトラフィック集中 - ビッグデータ処理 (Hadoopなど) - オーバーサブスクリプション
14. Confidential. Copyright © Arista 2018. All rights reserved. ϊʔεɾα΢ετϥϑΟοΫ ཁҼͷϘτϧωοΫ (オーバーサブスクリプション) γϦΞϧԽʹΑΔ ϘτϧωοΫ (多フロー -> 1G) ϦʔϑͰͷϘτϧωοΫ (ホストへのTCP incast) εύΠϯͷϘτϧωοΫ (ストレージへのTCP incast) パケットバッファがボトルネックとなりやすいポイント
15. Confidential. Copyright © Arista 2018. All rights reserved. IPストレージ環境: Leafのパケットバッファの違いによるTCP再送回数の差
16. Confidential. Copyright © Arista 2018. All rights reserved. IPストレージ環境: 同じ試験でSpineをディープバッファ -> シャローバッファに変更
17. Confidential. Copyright © Arista 2018. All rights reserved. アプリケーションのレイテンシーも⼤幅に下がる “In late 2012 I wrote about the migration of DataSift's Hadoop cluster to Arista switches but what I didn't mention was that we also moved our real-time systems over to Arista too. [..] Simply by deploying Arista switches for our 'real-time' network we decreased augmentation latency from ~15,000µs down to 2200µs. ” Gareth Llewellyn, DataSift http://dev.datasift.com/blog/platform-performance-gains-arista-switches Latency - deepバッファースイッチ導入前: 15msec Latency - deepバッファスイッチを導入後: 2.2msec
18. Confidential. Copyright © Arista 2018. All rights reserved. ϢʔβʔྖҬ ओͳΞϓϦέʔγϣϯ όοϑΝͷ࠷େ࢖༻஋ (ϙʔτ͋ͨΓ) HPC ίϯϐϡʔλʔΫϥελ 33 MB Ξχϝʔγϣϯ IP Storage (NFS) 74.0 MB ιϑτ΢ΣΞ։ൃ ϋΠςΫ։ൃ 14.9 MB Ϗδωεղੳ Big Dataղੳ 52.3 MB ΤϯλʔϓϥΠζ Ծ૝Խ/VDI 52.4 MB *NS3 ʹΑͬͯγϛϡϨʔγϣϯɺඞཁྔΛࢉग़ ϦΞϧϫʔϧυσʔλ どの程度のパケットバッファが必要になるか？
19. Confidential. Copyright © Arista 2018. All rights reserved. Arista 7500E: Over 120MB per 10Gb port 必要量 vs 搭載量
20. Confidential. Copyright © Arista 2018. All rights reserved. Confidential. Copyright © Arista 2018. All rights reserved. 20 (3) 400G イーサネット+
21. Confidential. Copyright © Arista 2018. All rights reserved. イーサネット・スピードの進化 Lane Speed 10Gbps 25Gbps 50Gbps 100Gbps 1X 10GbE 25GbE 50GbE 100GbE 2X - 50GbE 100GbE 200GbE 4X 40GbE 100GbE 200GbE 400GbE 8X - - 400GbE 800GbE Availability 2011 2015 2018 2020 21 4 years 3 years 2 years
22. Confidential. Copyright © Arista 2018. All rights reserved. 今後、予想されるスイッチポートのスピード推移 22
23. Confidential. Copyright © Arista 2018. All rights reserved. ノード向けダウンリンクが 40ギガ あるいは 100ギガに 23
24. Confidential. Copyright © Arista 2018. All rights reserved. 昨年末のアナウンス 24
25. Confidential. Copyright © Arista 2018. All rights reserved. 最先端の汎⽤シリコンで実現する HPVIに関する3つのソリューション – まとめ 25 400Gイーサネット+ プログラマブル・ データプレーン ディープ・パケット バッファ 任意にデータプレーン・パイプラインを定義可能 カスタマイズされたインフラでHCVIを加速 意外な仮想化環境パフォーマンス不⾜を解消 100Gがダウンリンクとなる環境では⾃明
26. Confidential. Copyright © Arista 2018. All rights reserved. Confidential. Copyright © Arista 2018. All rights reserved. www.arista.com Thank You 26