mellanox_switch_shortreview_interop_2015.pdf

Transcript

1. Mellanox Ethernet Switch を触ってみた サイバーエージェント アドテク本部 山本 孔明 @Interop 2015
2. サイバーエージェントについて 1998年の創業以来、インターネットを軸に事業を展開し 現在では代表的なサービスである「Ameba」をはじめ、 スマートフォン向けに多数のコミュニティサービスやゲームを提供しています。 アドテク本部とは インターネット広告において、広告配信の最適化やメディアの収益最大化という観点から アドテクノロジーの重要度が高まっています。 サイバーエージェントではアドテクノロジー分野におけるこれらのサービスについて 各子会社を通じ開発しておりましたが、各サービスの開発部門を横断して組織化する専門部署として アドテク本部が設立されました。 Interop Tokyo 2015 「ネットワークを監視するZabbixの活用事例」 https://speakerdeck.com/komeiy/it-infra-summit-2014-network-zabbix プロフィール 昨年からアドテク本部のネットワークを担当。設計〜運用を担当。
3. なんでMellanox製スイッチ？ • ローレイテンシー • 低消費電力 • 自社製ASIC • 40Gbps ハーフラック スイッチ性能を追求 Interop Tokyo 2015 40Gbps/220ns SX1024 – 75W SX1012 – 50W
4. まずは機能検証をしてみた ~構成編~ Interop Tokyo 2015 SX1012 SX1024 他社製スイッチ 40G NIC 40G NIC 40G NIC Mellanox製スイッチ ECMP BGPv4 Routed Interface （Static Route） VRRP/MGAP VLAN Interface MLAG 正常試験 障害試験 バージョンアップ
5. まずは機能検証をしてみた ~結果編~ Interop Tokyo 2015 MLXOS 3.4.1100 MLXOS 3.4.1802 3.4.1802 正常系 show mlagでMLAGの peerがIPLアドレスで 見えていること show mlag-vipでpeer のstateが見えている こと （略） 障害①: Server1- > SX1012リ ンク断 show int ethernet statusで該当Interface がdownしていること show int malg- portchannel summary で該当interfaceが downしていること (略) 1. 最新版のMellanox OSをを使うべし • 3.4.1100から3.4.1800にかけてMLAGに関する大きな改修が入った • MLAGの改修が入り3.4.1100から3.4.1800へのバージョンアップには注意が必要 2. MLAGを使用する際はVRRPではなくMAGPを使うべし • MLXOSではVRRPをEnhanceしたMAGPを実装している • MLAGとの組み合わせでは必ずMAGPを使用すること • GWはActive/Activeの動作になる 3. Teamdとの接続時はadmin keyに注意すべし • MLXOSはデフォルトでAdmin keyが 0 を弾く仕様になっている • faeコマンドを入れて対応する 細かいので割愛
6. まずは機能検証をしてみた ~Tips~ Interop Tokyo 2015 某社 Mellanox show version show verison show run show run show int status show int ethernet status show proc cpu show stats cpu switch-646a6c [axio-vip: standby] # show run ## ## Interface Ethernet configuration ## interface mlag-port-channel 1 interface mlag-port-channel 2 interface port-channel 99 interface ethernet 1/1 channel-group 99 mode active interface ethernet 1/11 mlag-channel-group 1 mode active interface ethernet 1/12 mlag-channel-group 2 mode active interface mlag-port-channel 1 no shutdown interface mlag-port-channel 2 no shutdown ## ## VLAN configuration ## vlan 10 vlan 20 vlan 4000 interface mlag-port-channel 1 switchport access vlan 10 interface mlag-port-channel 2 switchport access vlan 20 APIはXML Puppetで操作可能 56Gbpsライセンス無償化
7. まとめと今後への期待 Interop Tokyo 2015 • ToRとしての機能試験は最新版Mellanox OSを使用し概ね良好（ルー ティング周りで1件確認中） • 分散ストレージなどのラックのToRにマッチするのでは？ • パフォーマンス試験は今後アルティマ様と協業して実施予定 • 一部実装して頂きたいshowコマンド/その他機能などあり継続してリク エストをあげていく • SX1710と同様のIntel CPUのラインナップの充実