mellanox_switch_shortreview_interop_2015.pdf

B722d457f803a630f3c55429b526510b?s=47 komeinw
February 02, 2016

 mellanox_switch_shortreview_interop_2015.pdf

B722d457f803a630f3c55429b526510b?s=128

komeinw

February 02, 2016
Tweet

Transcript

  1. Mellanox Ethernet Switch を触ってみた サイバーエージェント アドテク本部 山本 孔明 @Interop 2015

  2. サイバーエージェントについて 1998年の創業以来、インターネットを軸に事業を展開し 現在では代表的なサービスである「Ameba」をはじめ、 スマートフォン向けに多数のコミュニティサービスやゲームを提供しています。 アドテク本部とは インターネット広告において、広告配信の最適化やメディアの収益最大化という観点から アドテクノロジーの重要度が高まっています。 サイバーエージェントではアドテクノロジー分野におけるこれらのサービスについて 各子会社を通じ開発しておりましたが、各サービスの開発部門を横断して組織化する専門部署として アドテク本部が設立されました。

    Interop Tokyo 2015 「ネットワークを監視するZabbixの活用事例」 https://speakerdeck.com/komeiy/it-infra-summit-2014-network-zabbix プロフィール 昨年からアドテク本部のネットワークを担当。設計〜運用を担当。
  3. なんでMellanox製スイッチ? • ローレイテンシー • 低消費電力 • 自社製ASIC • 40Gbps ハーフラック

    スイッチ性能を追求 Interop Tokyo 2015 40Gbps/220ns SX1024 – 75W SX1012 – 50W
  4. まずは機能検証をしてみた ~構成編~ Interop Tokyo 2015 SX1012 SX1024 他社製スイッチ 40G NIC

    40G NIC 40G NIC Mellanox製スイッチ ECMP BGPv4 Routed Interface (Static Route) VRRP/MGAP VLAN Interface MLAG 正常試験 障害試験 バージョンアップ
  5. まずは機能検証をしてみた ~結果編~ Interop Tokyo 2015 MLXOS 3.4.1100 MLXOS 3.4.1802 3.4.1802

    正常系 show mlagでMLAGの peerがIPLアドレスで 見えていること show mlag-vipでpeer のstateが見えている こと (略) 障害①: Server1- > SX1012リ ンク断 show int ethernet statusで該当Interface がdownしていること show int malg- portchannel summary で該当interfaceが downしていること (略) 1. 最新版のMellanox OSをを使うべし • 3.4.1100から3.4.1800にかけてMLAGに関する大きな改修が入った • MLAGの改修が入り3.4.1100から3.4.1800へのバージョンアップには注意が必要 2. MLAGを使用する際はVRRPではなくMAGPを使うべし • MLXOSではVRRPをEnhanceしたMAGPを実装している • MLAGとの組み合わせでは必ずMAGPを使用すること • GWはActive/Activeの動作になる 3. Teamdとの接続時はadmin keyに注意すべし • MLXOSはデフォルトでAdmin keyが 0 を弾く仕様になっている • faeコマンドを入れて対応する 細かいので割愛
  6. まずは機能検証をしてみた ~Tips~ Interop Tokyo 2015 某社 Mellanox show version show

    verison show run show run show int status show int ethernet status show proc cpu show stats cpu switch-646a6c [axio-vip: standby] # show run ## ## Interface Ethernet configuration ## interface mlag-port-channel 1 interface mlag-port-channel 2 interface port-channel 99 interface ethernet 1/1 channel-group 99 mode active interface ethernet 1/11 mlag-channel-group 1 mode active interface ethernet 1/12 mlag-channel-group 2 mode active interface mlag-port-channel 1 no shutdown interface mlag-port-channel 2 no shutdown ## ## VLAN configuration ## vlan 10 vlan 20 vlan 4000 interface mlag-port-channel 1 switchport access vlan 10 interface mlag-port-channel 2 switchport access vlan 20 APIはXML Puppetで操作可能 56Gbpsライセンス無償化
  7. まとめと今後への期待 Interop Tokyo 2015 • ToRとしての機能試験は最新版Mellanox OSを使用し概ね良好(ルー ティング周りで1件確認中) • 分散ストレージなどのラックのToRにマッチするのでは?

    • パフォーマンス試験は今後アルティマ様と協業して実施予定 • 一部実装して頂きたいshowコマンド/その他機能などあり継続してリク エストをあげていく • SX1710と同様のIntel CPUのラインナップの充実