SONiCスイッチを商用サービスに入れてみた（三井情報株式会社）

SONiC Workshop Japan 2024
https://sonic.connpass.com/event/313138/
SONiCスイッチを商用サービスに入れてみた
三井情報株式会社　松本、芹田

Transcript

1. SONiCスイッチを商用サービスに入れてみた 三井情報株式会社 SONiC Workshop Japan 2024 (2024/05/24)
2. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 松本 直樹  三井情報株式会社  ソリューション第二技術本部 イノベーション推進部 第二技術室  ITインフラ関連の研究開発＋PoC案件対応  2002年 新卒入社～ (当時はネクストコム株式会社)  基本的にはNWエンジニア 主にFirewallやSLB、WebProxy等  出身:千葉県  趣味:子供と散歩、捕食系動画の鑑賞 自己紹介 2
3. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 自己紹介 3 芹田 大輔  三井情報株式会社  ソリューション第二技術本部 イノベーション推進部 第二技術室  L2/L3スイッチのネットワーク設計、構築、技術支援業務  2001年～ (当時はアダムネット株式会社)  L2/L3スイッチを取り扱うNWエンジニア  出身:秋田県  趣味:猫に世話をしてもらうこと
4. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. • ご紹介する題材の商用サービスと技術的なポイント • SONiCを触り始めたときに・・・ • ZTPを障害交換で活用したい Agenda 4
5. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. ご紹介する題材の商用サービスと技術的なポイント
6. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. Tokyo-1のコンセプト 6 最先端の GPUスパコン 最先端の 情報コミュニティ 最先端の 創薬DXソリューション • 創薬をデジタルで真剣に変革する イノベーションハブの形成を目指す。 • 変革に必要な 計算環境・ソリューション・コミュニティ を包括的に提供。 Tokyo-1 三井情報、創薬支援サービス「Tokyo-1」のIT環境を導入し、製薬会社に よる利用開始 | 2024/02/08 | MKI （三井情報株式会社）
7. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. Tokyo-1サービスの特⾧ 7 バースト利用:GPUサーバを一時的に期限付き追加 ※マルチノードGPU構成は今後提供予定 GPUサーバ、ネットワークストレージにおける ディスク暗号化で機密データを保護 利用者はVPN(SSL-VPN、IPSec)経由で 管理リソースへリモートアクセス 最先端のGPUサーバを オンプレ環境に近い形で占有利用できる フレキシブルなGPU計算機リソースの追加 顧客毎に秘匿化された顧客テナントと 顧客間で共有する共通サービスの提供
8. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. ポイント 8 Spine Spine Leaf Leaf Leaf Leaf Spine Spine Leaf Leaf Leaf Leaf Leaf Leaf GPUサーバ VM基盤 コンテナ基盤 NFS/Lustre ストレージ VPN ファイアウォール インターネット Compute Fabric 100GbE GPU Fabric 400GbE 当社として初めてSONiCによるEthernetファブリックを採用した商用サービスをリリース 2層IP Clos NetworkのVXLAN/EVPNによるL2/L3VPNマルチテナントNWを提供 SONiCの採用 VXLAN/EVPN以外に↓この辺を使ってます Port Breakout、SAG、LAG(EVPN Multihomingも!)、VRF、ACL(L3)、PFC、ECN
9. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. ポイント 9 GPU等の高負荷IT機器向けの高い 電力供給・冷却性能を持ったDCラック GPUサーバ/独自実装AOC/400G Ethernet スイッチによるマルチベンダ接続 構築中のラック周り GPU向けのデータセンタ オリジナルAOCによる配線 GPUサーバ筐体背面のOSFP接続部 OSFP-RHS to QSFP-DD接続、 2x200G BreakoutでGPU通信収容してます GPUサーバの電力・発熱は異次元でしたが NWも400G Transceiverとなれば結構な…
10. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. まずは自分達に余裕を持てるようにするため IaCやSREに取り組む! 現在の課題感 10 利用者を伸ばしていかないと 体制も拡充できない(させてくれない) サービスを充実させないと 利用者も伸ばせない サービス提供・運用をしているものの体制は少人数...
11. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. SONiCを触り始めたときに・・・
12. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. SONiCを触り始めたときに遭遇したこと 技術的な問題以前に ①frr.confが保存できていない ②プロンプトが帰って来なくなる、想定外のステータスになる そもそもの使い方を間違えているかの様な事象が発生 12 SONiCを触り始めたときに・・・
13. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. ①frr.confが保存できていない frr.confではないファイルに保存されている 13 SONiCを触り始めたときに・・・
14. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. ①frr.confが保存できていない 原因:enhanceされたメーカのdefault configurationを使っていなかった docker_routing_config_mode = “split”などの追加や修正がされている 14 SONiCを触り始めたときに・・・
15. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. ②プロンプトが帰って来なくなる、想定外のステータスになる プロンプトが帰ってこなくなり、何もできなくなる 想定外のステータスになる 15 SONiCを触り始めたときに・・・
16. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. ②プロンプトが帰って来なくなる、想定外のステータスになる 原因:各種コンテナが起動する前にコマンドを投入していた System readyを待つか、該当するコンテナの起動を待つ SONiCを触り始めたときに・・・
17. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. ①②について共通する反省点 SONiCの基本的なアーキテクチャを理解すること 17 SONiCを触り始めたときに・・・
18. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. ZTPを障害交換で活用したい
19. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 期待値 ・人為ミスの削減 ・現地作業者は物理作業のみ対応 ・現地作業者の作業項目が減る ・要求技術力の緩和 ・作業者に技術力が必要というハードルがなくなる 19 ZTPを障害交換で活用したい 遠隔確認 物理確認
20. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. ZTPの情報を探してみると・・・ 見つけられない情報 ・config_db.jsonに保存されていない設定 ・ZTPで呼び出すjsonやスクリプトの具体例 参考になる情報 ・config_db.json継承までの成功事例 20 ZTPを障害交換で活用したい ・DHCPサーバ ・MACアドレスによるホスト指定 ・NOSをDownloadするためのURLを記載 ・NOS起動後に読み込むZTP.jsonのURLを記載 ・HTTPサーバ ・NOS ・config_db.jsonとfrr.conf ・ZTP.json ・install.sh、install2.sh ・・・
21. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 躓いた点① MACアドレス 継承元のconfig_db.json上のMACアドレスとDHCPサーバ上のMACアドレスの差異 メーカナレッジを参考にし、スクリプトの中でMACアドレスを抽出、 テンポラリのディレクトリに保存したconfigを修正し/etc/sonicに上書き 21 ZTPを障害交換で活用したい #! /bin/bash # 1. mac change DUT_MAC=`show platform syseeprom | grep 'Base MAC Address' | awk '{print $6}‘` jq --arg dut_mac $DUT_MAC '.DEVICE_METADATA.localhost += {"mac": $dut_mac}' /home/admin/config_db.json > /etc/sonic/config_db.json
22. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 躓いた点② 対話型の設定への対処 Passwordの変更には対話型のコマンドが必要 1行で完結できる様に変更 22 ZTPを障害交換で活用したい #! /bin/bash ～省略～ # 2. password echo admin:$(LANG=C perl -e 'print crypt("MyPaSsWoRd", "salt"),"¥n"') | chpasswd – e 参考:How to Change the Password · sonic-net/SONiC Wiki · GitHub
23. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. ZTPを活用し人為ミスを削減していくために 済 :ZTPによる設定の継承 これから :サーバ（DHCP/HTTP）の中身を最新化 常に最新のconfig_db.jsonやfrr.confを置いておく dhcp.conf（DHCPサーバ）のMACアドレスを自動で修正する 23 ZTPを障害交換で活用したい
24. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 質疑応答