Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

SONiCスイッチを商用サービスに入れてみた(三井情報株式会社)

 SONiCスイッチを商用サービスに入れてみた(三井情報株式会社)

SONiC Workshop Japan 2024
https://sonic.connpass.com/event/313138/
SONiCスイッチを商用サービスに入れてみた
三井情報株式会社 松本、芹田

Tweet

More Decks by SONiC Users Group Japan

Other Decks in Technology

Transcript

  1. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 松本

    直樹  三井情報株式会社  ソリューション第二技術本部 イノベーション推進部 第二技術室  ITインフラ関連の研究開発+PoC案件対応  2002年 新卒入社~ (当時はネクストコム株式会社)  基本的にはNWエンジニア 主にFirewallやSLB、WebProxy等  出身:千葉県  趣味:子供と散歩、捕食系動画の鑑賞 自己紹介 2
  2. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 自己紹介

    3 芹田 大輔  三井情報株式会社  ソリューション第二技術本部 イノベーション推進部 第二技術室  L2/L3スイッチのネットワーク設計、構築、技術支援業務  2001年~ (当時はアダムネット株式会社)  L2/L3スイッチを取り扱うNWエンジニア  出身:秋田県  趣味:猫に世話をしてもらうこと
  3. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. •

    ご紹介する題材の商用サービスと技術的なポイント • SONiCを触り始めたときに・・・ • ZTPを障害交換で活用したい Agenda 4
  4. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. Tokyo-1のコンセプト

    6 最先端の GPUスパコン 最先端の 情報コミュニティ 最先端の 創薬DXソリューション • 創薬をデジタルで真剣に変革する イノベーションハブの形成を目指す。 • 変革に必要な 計算環境・ソリューション・コミュニティ を包括的に提供。 Tokyo-1 三井情報、創薬支援サービス「Tokyo-1」のIT環境を導入し、製薬会社に よる利用開始 | 2024/02/08 | MKI (三井情報株式会社)
  5. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. Tokyo-1サービスの特⾧

    7 バースト利用:GPUサーバを一時的に期限付き追加 ※マルチノードGPU構成は今後提供予定 GPUサーバ、ネットワークストレージにおける ディスク暗号化で機密データを保護 利用者はVPN(SSL-VPN、IPSec)経由で 管理リソースへリモートアクセス 最先端のGPUサーバを オンプレ環境に近い形で占有利用できる フレキシブルなGPU計算機リソースの追加 顧客毎に秘匿化された顧客テナントと 顧客間で共有する共通サービスの提供
  6. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. ポイント

    8 Spine Spine Leaf Leaf Leaf Leaf Spine Spine Leaf Leaf Leaf Leaf Leaf Leaf GPUサーバ VM基盤 コンテナ基盤 NFS/Lustre ストレージ VPN ファイアウォール インターネット Compute Fabric 100GbE GPU Fabric 400GbE 当社として初めてSONiCによるEthernetファブリックを採用した商用サービスをリリース 2層IP Clos NetworkのVXLAN/EVPNによるL2/L3VPNマルチテナントNWを提供 SONiCの採用 VXLAN/EVPN以外に↓この辺を使ってます Port Breakout、SAG、LAG(EVPN Multihomingも!)、VRF、ACL(L3)、PFC、ECN
  7. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. ポイント

    9 GPU等の高負荷IT機器向けの高い 電力供給・冷却性能を持ったDCラック GPUサーバ/独自実装AOC/400G Ethernet スイッチによるマルチベンダ接続 構築中のラック周り GPU向けのデータセンタ オリジナルAOCによる配線 GPUサーバ筐体背面のOSFP接続部 OSFP-RHS to QSFP-DD接続、 2x200G BreakoutでGPU通信収容してます GPUサーバの電力・発熱は異次元でしたが NWも400G Transceiverとなれば結構な…
  8. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. まずは自分達に余裕を持てるようにするため

    IaCやSREに取り組む! 現在の課題感 10 利用者を伸ばしていかないと 体制も拡充できない(させてくれない) サービスを充実させないと 利用者も伸ばせない サービス提供・運用をしているものの体制は少人数...
  9. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. SONiCを触り始めたときに遭遇したこと

    技術的な問題以前に ①frr.confが保存できていない ②プロンプトが帰って来なくなる、想定外のステータスになる そもそもの使い方を間違えているかの様な事象が発生 12 SONiCを触り始めたときに・・・
  10. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. ①frr.confが保存できていない

    frr.confではないファイルに保存されている 13 SONiCを触り始めたときに・・・
  11. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. ①frr.confが保存できていない

    原因:enhanceされたメーカのdefault configurationを使っていなかった docker_routing_config_mode = “split”などの追加や修正がされている 14 SONiCを触り始めたときに・・・
  12. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. ②プロンプトが帰って来なくなる、想定外のステータスになる

    プロンプトが帰ってこなくなり、何もできなくなる 想定外のステータスになる 15 SONiCを触り始めたときに・・・
  13. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. ②プロンプトが帰って来なくなる、想定外のステータスになる

    原因:各種コンテナが起動する前にコマンドを投入していた System readyを待つか、該当するコンテナの起動を待つ SONiCを触り始めたときに・・・
  14. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. ①②について共通する反省点

    SONiCの基本的なアーキテクチャを理解すること 17 SONiCを触り始めたときに・・・
  15. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 期待値

    ・人為ミスの削減 ・現地作業者は物理作業のみ対応 ・現地作業者の作業項目が減る ・要求技術力の緩和 ・作業者に技術力が必要というハードルがなくなる 19 ZTPを障害交換で活用したい 遠隔確認 物理確認
  16. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. ZTPの情報を探してみると・・・

    見つけられない情報 ・config_db.jsonに保存されていない設定 ・ZTPで呼び出すjsonやスクリプトの具体例 参考になる情報 ・config_db.json継承までの成功事例 20 ZTPを障害交換で活用したい ・DHCPサーバ ・MACアドレスによるホスト指定 ・NOSをDownloadするためのURLを記載 ・NOS起動後に読み込むZTP.jsonのURLを記載 ・HTTPサーバ ・NOS ・config_db.jsonとfrr.conf ・ZTP.json ・install.sh、install2.sh ・・・
  17. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 躓いた点①

    MACアドレス 継承元のconfig_db.json上のMACアドレスとDHCPサーバ上のMACアドレスの差異 メーカナレッジを参考にし、スクリプトの中でMACアドレスを抽出、 テンポラリのディレクトリに保存したconfigを修正し/etc/sonicに上書き 21 ZTPを障害交換で活用したい #! /bin/bash # 1. mac change DUT_MAC=`show platform syseeprom | grep 'Base MAC Address' | awk '{print $6}‘` jq --arg dut_mac $DUT_MAC '.DEVICE_METADATA.localhost += {"mac": $dut_mac}' /home/admin/config_db.json > /etc/sonic/config_db.json
  18. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 躓いた点②

    対話型の設定への対処 Passwordの変更には対話型のコマンドが必要 1行で完結できる様に変更 22 ZTPを障害交換で活用したい #! /bin/bash ~省略~ # 2. password echo admin:$(LANG=C perl -e 'print crypt("MyPaSsWoRd", "salt"),"¥n"') | chpasswd – e 参考:How to Change the Password · sonic-net/SONiC Wiki · GitHub
  19. ©2024 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. ZTPを活用し人為ミスを削減していくために

    済 :ZTPによる設定の継承 これから :サーバ(DHCP/HTTP)の中身を最新化 常に最新のconfig_db.jsonやfrr.confを置いておく dhcp.conf(DHCPサーバ)のMACアドレスを自動で修正する 23 ZTPを障害交換で活用したい