【SoftBank】 SONiC で 800G AEC ケーブルを検証してみた

Transcript

1. CONFIDENTIAL SONiC で 800G AEC ケーブルを検証してみた ～SONiC Workshop Japan 2025～ ソフトバンク株式会社 張 朝程、内田 泰広
2. © SoftBank Corp. All Rights Reserved. CONFIDENTIAL 張 朝程 (Chaocheng Chang) • 2025 ソフトバンク株式会社 中途入社 ◦ 共通プラットフォーム開発本部 ネットワーク開発部 AIネットワーク課 • 出身：台湾 ◦ 2016年から来日 • 業務内容 ◦ データセンターのネットワーク設計・構築 ◦ Multi-Vendor ネットワーク機器の検証 2
3. © SoftBank Corp. All Rights Reserved. CONFIDENTIAL AECケーブルを検証した経緯 • ソフトバンクは自社のデータセンターを利用してAI計算基盤を運用 • データセンターの消費電力は大きいため運用コストが高騰 • 消費電力を削減する選択肢の一つにAECケーブルを知る 実際にAECケーブルを導入するメリットがあるのかを確認したい！ しかし、動作確認中に様々な問題が発生 ⚫ 相互接続性の問題 ⚫ 消費電力を計測する時の問題 3
4. © SoftBank Corp. All Rights Reserved. AECケーブル相互接続性確認 4
5. © SoftBank Corp. All Rights Reserved. CONFIDENTIAL AECケーブルとは • 電気信号を増幅して伝送距離を伸ばすことができるケーブル • DSP内蔵のため信号劣化を補正できる • OE変換(電気/光変換)がなく消費電力が抑えられる Passive Direct Attach Cable (DAC) Active Optical Cable (AOC) DSP DSP Active Electrical Cable (AEC) DSP DSP 5
6. © SoftBank Corp. All Rights Reserved. CONFIDENTIAL 検証内容 検証1: SONiC スイッチ間でリンクアップを検証 • 二社の SONiC で比較確認 検証2: AEC ケーブルの消費電力を確認 • 光モジュールより低いことを確認 6
7. © SoftBank Corp. All Rights Reserved. CONFIDENTIAL 検証1: SONiC スイッチ間でリンクアップを確認 Y社 SONiCでリンクしなかった！！ SONiC の CLI から得られる情報だけで解決するのは困難 ⇒ CLI以外の切り分け方法を知りたい ⇒ CMISのログを確認し切り分けを実施 TH5 #4 Y社 SONiC TH5 #3 Y社 SONiC port port 800G AEC TH5 #2 X社 SONiC TH5 #1 X社 SONiC port port 800G AEC 検証構成 7
8. © SoftBank Corp. All Rights Reserved. CONFIDENTIAL CMIS とは CMIS (Common Management Interface Specification) - ネットワーク機器間でやり取りするための共通の通信仕様 SONiC と AEC ケーブルの CMIS 対応 - 両方ともCMIS 4.0以降をサポート SONiC で CMIS 関連のログを確認 （参考）CMIS Application Initialization HLD 8
9. © SoftBank Corp. All Rights Reserved. CONFIDENTIAL 検証1: 切り分け – SONiC で CMIS 関連のログを確認 CMIS関連ログ: 正常動作の例 (X社スイッチ) • 対象のポートに関するCMISメッセージだけを絞り込む `show logging xcvrd |grep CMIS |grep ${interface_name}` • モジュールの CMIS 初期化プロセスは READY になったか確認 SONiC CMIS Application Initialization HLD: CMIS State 9
10. © SoftBank Corp. All Rights Reserved. CONFIDENTIAL 検証1: 切り分け – CMIS 関連のログを確認 CMIS関連ログ: 異常動作の例 (Y社スイッチ) 被疑箇所 1. 初期化失敗？ 2. Tx power 失敗？ 参考：SONiC CMIS Application Initialization HLD: CMIS State（一部抜粋） SONiC 仕様: 10
11. © SoftBank Corp. All Rights Reserved. CONFIDENTIAL 検証1: 切り分け – レジスタで被疑箇所を確認 CMIS Module Memory Tx Output Controls Tx状態の情報 … Page 10h Data Path initialization control 初期化状態の情報 • モジュールの情報はレジスタに格納される • SONiCでの操作方法 ◦ i2cdump：レジスタ値の読み込み ◦ i2cset： レジスタ値の書き換え • AEC視点からレジスタを読み込み ◦ 基本単位 1Byte ◦ 800G AECモジュールの 8 レーン ▪ レーンごとの状態を1ビットずつで表示 参考：SONiC CMIS Application Initialization HLD: CMIS State（一部抜粋） OIF-CMIS-05.2 – Common Management Interface Specification (CMIS) 11
12. © SoftBank Corp. All Rights Reserved. CONFIDENTIAL Data Path initialization control レジスタ 検証1: 切り分け – レジスタで被疑箇所を確認 参考：OIF-CMIS-05.2 – Common Management Interface Specification (CMIS) Revision 5.2 全てのレーンは正常に初期化されていることを確認 Lane#7(bit7) = 0 Initialized Lane#6(bit6) = 0 Initialized Lane#5(bit5) = 0 Initialized Lane#4(bit4) = 0 Initialized Lane#3(bit3) = 0 Initialized Lane#2(bit2) = 0 Initialized Lane#1(bit1) = 0 Initialized Lane#0(bit0) = 0 Initialized レジスタの値 = 0x00 (0000 0000) • 0 = Initialized • 1 = Deinitialized モジュールの各レーンの初期化状態 (Data Path initialization) を i2cdump コマンドで確認 38 は port38の i2c bus id 0x50 は CMIS の i2c bus id i2cdump で CMIS の bus id を指定 12
13. © SoftBank Corp. All Rights Reserved. CONFIDENTIAL Tx Output Controls レジスタ 検証1: 切り分け – レジスタで被疑箇所を確認 Lane#7(bit7) = 1 Tx Disabled Lane#6(bit6) = 1 Tx Disabled Lane#5(bit5) = 1 Tx Disabled Lane#4(bit4) = 1 Tx Disabled Lane#3(bit3) = 1 Tx Disabled Lane#2(bit2) = 1 Tx Disabled Lane#1(bit1) = 1 Tx Disabled Lane#0(bit0) = 1 Tx Disabled レジスタの値 = 0xff (1111 1111) • 0 = Tx Enabled • 1 = Tx Disabled モジュールの各レーンのTX状態 (Tx Output Controls) を i2cdump コマンドで確認 全てのTxレーンが無効になっている !! Root cause 発見!! 38 は port38の i2c bus id 0x50 は CMIS の i2c bus id i2cdump で CMIS の bus id を指定 参考：OIF-CMIS-05.2 – Common Management Interface Specification (CMIS) Revision 5.2 13
14. © SoftBank Corp. All Rights Reserved. CONFIDENTIAL Tx Output Controls レジスタ 検証1: 切り分け – レジスタで被疑箇所を確認 Lane#7(bit7) = 0 Tx Enabled Lane#6(bit6) = 0 Tx Enabled Lane#5(bit5) = 0 Tx Enabled Lane#4(bit4) = 0 Tx Enabled Lane#3(bit3) = 0 Tx Enabled Lane#2(bit2) = 0 Tx Enabled Lane#1(bit1) = 0 Tx Enabled Lane#0(bit0) = 0 Tx Enabled レジスタの値 = 0x00 (0000 0000) • 0 = Tx Enabled • 1 = Tx Disabled モジュールの各レーンのTX状態 (Tx Output Controls) を i2cset コマンドで変更 無事Link up!! 解決!! i2cset でレジスタ値を調整 0x82 は Tx Output Controls の アドレス 0x00 は 各レーン bits に 0000 0000 に変更 参考：OIF-CMIS-05.2 – Common Management Interface Specification (CMIS) Revision 5.2 14
15. © SoftBank Corp. All Rights Reserved. AECケーブルの消費電力 15
16. © SoftBank Corp. All Rights Reserved. CONFIDENTIAL 検証2: AEC ケーブルの消費電力を確認 ベンダーと協力を行い効果測定を実施 SONiC コマンド実行 • PSU単位で電力測定は可能 • ポート単位で電力測定不可 （スイッチのHW依存） 専用のテスターで計測 TH5 SONiC EVB* oscilloscope AEC AEC Current and Voltage Probe *Evaluation board TH5 SONiC AEC AEC TH5 SONiC 16
17. © SoftBank Corp. All Rights Reserved. CONFIDENTIAL 消費電力測るには – 専用のテスターで計測 Module Media Interface Load 0% Load 100% AEC Copper 10.94 W 11.04 W Optics (SR8) VCSEL 12.85 W 12.92 W Optics (DR8) EML 13.90 W 13.99 W TH5 SONiC EVB* oscilloscope AEC AEC Current and Voltage Probe 専用のテスターで計測 Test Environment Hardware TH5 搭載 スイッチ Software SONiC 202211-based branch Traffic Type Layer 2 Traffic, Frame Size: 1500 bytes *Evaluation board 17 ↓21% ↓15%
18. © SoftBank Corp. All Rights Reserved. CONFIDENTIAL まとめ ▪ 相互接続性の確認 • AECケーブルはオープン仕様に準拠しており、各ベンダー間でそれぞれ利用可能 • CMIS の基本を把握することで、SONiC 環境における切り分けに役に立てる ▪ 消費電力の測定と課題 • SONiC 上で電力測定できる仕組みが望ましい ▪ AECケーブルの可能性 • AEC ケーブルは消費電力削減の選択肢の一つ • ケーブル長さの制限で、使用できる場面は限定的 Special Thanks!! Credo Semiconductor Inc.、ネットワンシステムズ株式会社 18
21. © SoftBank Corp. All Rights Reserved. Appendix 21
22. © SoftBank Corp. All Rights Reserved. CONFIDENTIAL （参考）CMISの「Page」構造を理解 Page 00h VendorName VendorPN VendorSN … CMISには、モジュールの情報を整理するための「Page」のような役割を果たす Page 01h Supported link length Wavelength Information Module Characteristics … … Tx Output Controls Rx Output Controls Data Path initialization control … Page 10h 128 ~ 256-byte (upper memory) 0 ~ 127-byte (lower memory) PageSelect Register: 00h … CMIS Module Memory 参考：OIF-CMIS-05.2 – Common Management Interface Specification (CMIS) Revision 5.2 22
23. © SoftBank Corp. All Rights Reserved. CONFIDENTIAL （参考）CMISの「Page」参照先を変更 「PageSelect Register」の値の調整より、目標の「Page」への参照は可能 Page 00h VendorName VendorPN VendorSN … Page 01h Supported link length Wavelength Information Module Characteristics … … Tx Output Controls Data Path initialization control … Page 10h 128 ~ 256-byte (upper memory) 0 ~ 127-byte (lower memory) PageSelect Register: 10h … CMIS Module Memory 参考：OIF-CMIS-05.2 – Common Management Interface Specification (CMIS) Revision 5.2 23
24. © SoftBank Corp. All Rights Reserved. CONFIDENTIAL （参考）CMISの「Page」構造を理解 – i2cdump Page 00h VendorName VendorPN VendorSN … i2cdump コマンドで CMIS の Page 00h ページ情報を参照 38 は port38 の i2c bus id PageSelect Register: 00h CMIS Module Memory (0x50) CMIS i2c アドレス Page 00h 24
25. © SoftBank Corp. All Rights Reserved. CONFIDENTIAL （参考）CMISの「Page」参照先を変更 - i2cset i2cset コマンドで PageSelect Registerを設定し、参照のページを変更 Page 00h Page 10h Page 00h VendorName VendorPN VendorSN … PageSelect Register: 00h Tx Output Controls Data Path initialization control Page 10h … i2cset -f -y 38 0x50 0x7f 0x10 PageSelect Register: 10h 25
26. © SoftBank Corp. All Rights Reserved. CONFIDENTIAL （参考）CMIS Data Path initialization レジスタ定義 参考：OIF-CMIS-05.2 – Common Management Interface Specification (CMIS) Revision 5.2 Page 10h Data Path initialization control PageSelect Register: 10h CMIS Module Memory (0x50) Address 128 (0x80) 26 • モジュールの内部処理（クロック、シリアライザ、電源など）は初期化完了 している。 • Tx信号の出力はまだミュート（squelched）または無効（disabled）になって いる可能性がある。この状態では Txの出力波形は出てこない。
27. © SoftBank Corp. All Rights Reserved. CONFIDENTIAL （参考）CMIS Tx Output Controls レジスタ定義 参考：OIF-CMIS-05.2 – Common Management Interface Specification (CMIS) Revision 5.2 Page 10h Tx Output Controls PageSelect Register: 10h CMIS Module Memory (0x50) Address 130 (0x82) 27
28. © SoftBank Corp. All Rights Reserved. CONFIDENTIAL （参考）検証1 の Root cause を推論した根拠 Tx出力無効化機能は、通常ホスト（e.g Switch NOS）のみが制御 Y社スイッチ SONiCは、おそらく Tx出力に対し無効のままだと推測 参考：OIF-CMIS-05.2 – Common Management Interface Specification (CMIS) Revision 5.2