mellanox_switch_shortreview_interop_2015.pdf

Transcript

1. Mellanox Ethernet Switch
   を触ってみた
   サイバーエージェント
   アドテク本部
   山本 孔明
   @Interop 2015
   

   View Slide

2. サイバーエージェントについて
   1998年の創業以来、インターネットを軸に事業を展開し
   現在では代表的なサービスである「Ameba」をはじめ、
   スマートフォン向けに多数のコミュニティサービスやゲームを提供しています。
   アドテク本部とは
   インターネット広告において、広告配信の最適化やメディアの収益最大化という観点から
   アドテクノロジーの重要度が高まっています。
   サイバーエージェントではアドテクノロジー分野におけるこれらのサービスについて
   各子会社を通じ開発しておりましたが、各サービスの開発部門を横断して組織化する専門部署として
   アドテク本部が設立されました。
   Interop Tokyo 2015
   「ネットワークを監視するZabbixの活用事例」
   https://speakerdeck.com/komeiy/it-infra-summit-2014-network-zabbix
   プロフィール
   昨年からアドテク本部のネットワークを担当。設計〜運用を担当。
   

   View Slide

3. なんでMellanox製スイッチ？
   • ローレイテンシー
   • 低消費電力
   • 自社製ASIC
   • 40Gbps ハーフラック
   スイッチ性能を追求
   Interop Tokyo 2015
   40Gbps/220ns
   SX1024 – 75W
   SX1012 – 50W
   

   View Slide

4. まずは機能検証をしてみた ~構成編~
   Interop Tokyo 2015
   SX1012 SX1024
   他社製スイッチ
   40G NIC
   40G NIC
   40G NIC
   Mellanox製スイッチ
   ECMP
   BGPv4
   Routed Interface
   （Static Route）
   VRRP/MGAP
   VLAN Interface
   MLAG
   正常試験
   障害試験
   バージョンアップ
   

   View Slide

5. まずは機能検証をしてみた ~結果編~
   Interop Tokyo 2015
   MLXOS 3.4.1100 MLXOS 3.4.1802
   3.4.1802
   正常系 show mlagでMLAGの
   peerがIPLアドレスで
   見えていること
   show mlag-vipでpeer
   のstateが見えている
   こと
   （略）
   障害①:
   Server1-
   >
   SX1012リ
   ンク断
   show int ethernet
   statusで該当Interface
   がdownしていること
   show int malg-
   portchannel summary
   で該当interfaceが
   downしていること
   (略)
   1. 最新版のMellanox OSをを使うべし
   • 3.4.1100から3.4.1800にかけてMLAGに関する大きな改修が入った
   • MLAGの改修が入り3.4.1100から3.4.1800へのバージョンアップには注意が必要
   2. MLAGを使用する際はVRRPではなくMAGPを使うべし
   • MLXOSではVRRPをEnhanceしたMAGPを実装している
   • MLAGとの組み合わせでは必ずMAGPを使用すること
   • GWはActive/Activeの動作になる
   3. Teamdとの接続時はadmin keyに注意すべし
   • MLXOSはデフォルトでAdmin keyが 0 を弾く仕様になっている
   • faeコマンドを入れて対応する
   細かいので割愛
   

   View Slide

6. まずは機能検証をしてみた ~Tips~
   Interop Tokyo 2015
   某社 Mellanox
   show version show verison
   show run show run
   show int status show int ethernet status
   show proc cpu show stats cpu
   switch-646a6c [axio-vip: standby] # show run
   ##
   ## Interface Ethernet configuration
   ##
   interface mlag-port-channel 1
   interface mlag-port-channel 2
   interface port-channel 99
   interface ethernet 1/1 channel-group 99 mode active
   interface ethernet 1/11 mlag-channel-group 1 mode active
   interface ethernet 1/12 mlag-channel-group 2 mode active
   interface mlag-port-channel 1 no shutdown
   interface mlag-port-channel 2 no shutdown
   ##
   ## VLAN configuration
   ##
   vlan 10
   vlan 20
   vlan 4000
   interface mlag-port-channel 1 switchport access vlan 10
   interface mlag-port-channel 2 switchport access vlan 20
   APIはXML
   Puppetで操作可能
   56Gbpsライセンス無償化
   

   View Slide

7. まとめと今後への期待
   Interop Tokyo 2015
   • ToRとしての機能試験は最新版Mellanox OSを使用し概ね良好（ルー
   ティング周りで1件確認中）
   • 分散ストレージなどのラックのToRにマッチするのでは？
   • パフォーマンス試験は今後アルティマ様と協業して実施予定
   • 一部実装して頂きたいshowコマンド/その他機能などあり継続してリク
   エストをあげていく
   • SX1710と同様のIntel CPUのラインナップの充実
   

   View Slide