SONiCイントロダクション Nov 28, 2018 Masaru OKI @masaru0714

Agenda ● ホワイトボックススイッチ、NOSについて ● SONiCの紹介、使い方 ● SONiCの内部 ● 実機なしで動かすSONiC ● SONiCの機能や性能 ● SONiCのビルド ● まとめ 2

Disclaimer 本資料での解説内容は、著者の独自調査に基づくものです SONiCプロジェクトや所属組織の公式見解ではありません 著者はSONiCに関しては素人なのですが、公開情報に基づきまとめています なるべく正確であるよう努めていますが、補足や訂正などありましたら歓迎します 2018年11月現在の状況について解説しています 将来のバージョンにおいては本資料の記述と合致しない可能性があります 3

ホワイトボックススイッチ、NOSについて 4

パケット転送箱いろいろ ● 外観は似ている ● しかし中身や扱いは異なる 5 複数NICなPC メーカー製スイッチ ホワイトボックススイッチ パケット処理H/W CPU(遅い) メーカー謹製ASIC 外販されるASIC OS 選んで入れる メーカー謹製 選んで入れる ルーティングエンジン OS次第、選んで入れる メーカー謹製 OS次第、選んで入れる サポート ハードウェアのみ 製品丸ごと ハードウェアのみ 機能追加・バグ修正 自前 or OSベンダー メーカー(不自由) 自前 or OSベンダー

● 基本、PC - Video(KVM) + スイッチASIC(マーチャントシリコン) ● シリアルコンソール ● 管理用NIC ● ストレージ小さめ(8GB等) ● USBはだいたいついてる ● 製品によってはIPMIあり ● OSは入っていない ● OSインストーラ ONIEがよく使われている ホワイトボックススイッチ 6 CPU SSD DDR4 スイッチ ASIC PCIe SerDes Mgmt NIC

プロセッサからASICはどのように見えるか ● PCIe経由で接続される ● ドライバはチップごとに違う ○ Broadcom Trident, 2, 2+, 3, ○ Broadcom Tomahawk, 2, ○ Broadcom Jericho, ○ Barefoot Tofino ○ (Cavium XPliant) ○ Mellanox Spectrum, 2, ○ etc. スイッチASIC PCIe メモリ (NOSを載せて使う) 7

NOSの一般的な階層構成 ● その他(LED等含む) PCIe / i2c / GPIO / ... Linux kernel デバイスドライバ ライブラリ ASIC SDK CLI API SNMP config DB other processes プロトコルデー モン(bgpd等) スイッチASIC ハードウェア カーネル空間 ユーザ空間 ASICベンダーが提供 ASICベンダーが提供 NOS インストールイメージ 8

NOSいろいろ ● 商用 ○ Cumulus Linux (Cumulus Networks) ○ OcNos (IP infusion) ○ PicOS (Pica8) ○ Switch Light OS (Big Switch Networks) ○ OS10 (Dell) ○ Onyx (Mellanox) ○ 他 ● OSS ○ Open Network Linux ○ SONiC ○ OpenSwitch ● ??? ○ SnapRoute (以前OSSだったがgithub repoが削除され、現在は水面下で活動中らしい ) 9

商用 vs OSS ● 商用 ○ サポートしてくれる ○ 購入、保守に費用がかかる ○ 機能拡張やバグ修正などはメーカー依存で時間を要する ○ ハードウェアにインストールされた状態で出荷されるケースもある ● OSS ○ サポートはない(サポートのついたものを商用としているメーカーもある ) ○ インストールや保守は基本自前 ○ 自由に変更や機能拡張が可能だが、それができる技術が必要 ○ 周りで使われなくなると孤立する ○ ASIC SDKがないとビルドできない (あるいはバイナリイメージ提供されるものを使う ) ● どちらも ○ 動かせるハードウェアは (それぞれで違うが)決まっている(OSSなら頑張れば移植は可能 ?) 10

代表的なOSSの比較 Open Network Linux https://opennetlinux.org/ SONiC http://azure.github.io/SONiC/ OpenSwitch (OPX) https://www.openswitch.net/ 管理団体 OCP OCP OpenSwitch (事実上Dell) 利用事例 ONF CORD and Stratum Microsoft datacenter (Dell OS10) 対応スイッチベンダー accton(edgecore), alphanetworks, celestica, dell, DNI(delta), hpe, ingrasys, inventec, mellanox, netberg, quanta https://opennetlinux.org/hcl accton(edgecore), alphanetworks, arista, barefoot, celestica, centec, dell, DNI(delta), embedway, facebook, ingrasys, inventec, marvell, mellanox, mitac, quanta, wnc https://github.com/Azure/SONiC/wiki/Support ed-Devices-and-Platforms accton(edgecore), dell https://github.com/open-switch/opx-do cs/wiki/hardware-support 対応ASIC 自分でSDK等入手して使う。OF-DPA, OpenNSL, SAIは使えるとのこと。ほぼ broadcomのみ SAIを使ったものなら対応する barefoot, broadcom, cavium, centec, generic, marvell, mellanox, nephos SAIを使ったものに対応とのことだが 現状broadcom のみ ルーティングエンジン 自分で載せて使う。SONiCも載る。 ビルド時はQuagga, FRR, goBGPから選べる (SONiCのパッケージに含まれている) 自分で載せて使う。quaggaを使用する 例がある 設定インタフェース - CLIあるいはJSON変換でredisへの書き込み Linux command, C++,Python API 特徴 スイッチで動くLinux distribution ASICサポートは別途必要 インストールイメージはLinux kernelを含むが、 基本はプログラムパッケージ(*.debの集合) ASIC portをCumulus LinuxのようにNIC に見せていてip(8)等で操作可能 11

SONiCの紹介、使い方 12

SONiCとは Software for Open Network in the Cloud ● クラウドデータセンター向けに、必要なL3機能を盛り込んだソフトウェアの集合。 ● Microsoft, Dell, MellanoxおよびAristaにより2016年8月に仕様が提出された。 ● Open Compute Project (OCP)に寄贈されている。 ● ライセンスはApache v2 ○ Linux kernel moduleはGPLv2。 ● サポートはコミュニティベース。有償サポートは現在提供されていない。 13

SONiC実際にはどんなものか ● ホワイトボックススイッチ上で動作する、 Debianの上に構築された、 スイッチASICを制御するライブラリ(SAI)を呼び出し、 IPアドレス設定やFDB設定、BGPプロトコル等の橋渡しをする、 プログラムの集合。 ● 全部入りバイナリイメージが入手可能で、ONIEを使ってインストールできる ○ バイナリイメージはプラットフォームごとに異なる。 ○ バイナリイメージのサイズは 400MB前後。 ● ソースコードはgithubで公開されている。 14

SONiCは、どこまでなにができるのか ● 物理インタフェース、VLANインタフェースの設定 ● VLANの設定 ● L3 VRFの設定 ● BGPによる経路交換 ● ACLの設定 ● SNMP, gRPCによる統計情報取得 ● syslog、ntpの設定 ● CLIによる設定変更、コンフィグの保存とロード ● Debian上で動くため、Linux上の各種アプリと連携可能 15

SONiCの触り方 ● 実機にインストールする方法 ○ ONIE(Open Network Install Environment)経由でインストール ○ https://github.com/Azure/SONiC/wiki/Supported-Devices-and-Platforms ● 実機にインストール済みの場合 ○ ユーザ名admin、パスワードYourPaSsWoRdでログイン ■ 古いビルドだとadmin, PaSsWoRd ■ ユーザ名とパスワードは、ビルド時に変更可能 ○ bashが起動するので各種 Linuxコマンドを実行できる ● ソフトウェア実装の場合(3種類ある) ○ SONIC-P4, SONiC-VS(docker)の場合は、docker exec -it コンテナ名 bash ○ SONiC-VS(KVM)の場合、ホストからtelnet 127.0.0.1 7000で接続し、実機と同じ手順でログイン ● 共通 ○ SONiC専用にconfigコマンド、showコマンドが用意されている 16

configコマンド、showコマンド Usage: config [OPTIONS] COMMAND [ARGS]... SONiC command line - 'config' command Options: --help Show this message and exit. Commands: aaa AAA command line acl ACL-related configuration tasks bgp BGP-related configuration tasks ecn ECN-related configuration tasks interface Interface-related configuration tasks interface_naming_mode Modify interface naming mode for interacting… load Import a previous saved config DB dump file. load_mgmt_config Reconfigure hostname and mgmt interface based… load_minigraph Reconfigure based on minigraph. mirror_session platform Platform-related configuration tasks qos 以下略 Usage: show [OPTIONS] COMMAND [ARGS]... SONiC command line - 'show' command Options: -?, -h, --help Show this message and exit. Commands: aaa Show AAA configuration acl Show ACL related information arp Show IP ARP table clock Show date and time ecn Show ECN configuration environment Show environmentals (voltages, fans, temps) interfaces Show details of the network interfaces ip Show IP (IPv4) commands ipv6 Show IPv6 commands line Show all /dev/ttyUSB lines and their info lldp LLDP (Link Layer Discovery Protocol)... logging Show system log mac Show MAC (FDB) entries mirror Show mirroring (Everflow) information 以下略 17

SONiCのconfig (JSON) ● /etc/sonic/config_db.jsonに書かれたものを起動時に読み込みredisに格納。 ● config load, config saveでJSONとredisの相互変換を行う。 "BGP_NEIGHBOR": { "10.0.0.61": { "local_addr": "10.0.0.60", "asn": 64015, "name": "ARISTA15T0" }, "10.0.0.49": { "local_addr": "10.0.0.48", "asn": 64009, "name": "ARISTA09T0" }, ... } 18

SONiCの内部 19

SONiCの内部構成(概略) ● Software for Open Networkinig in the Cloud ● bgpdなどのrouting daemonや設定DBと、ASIC設定の橋渡しが主な役割。 ● 設定DBはredis、routing daemonからの情報取得はnetlinkで。 ● ASIC設定にはSAI (Switch Abstraction Interface)を使う。 ● カーネルやRouting dameon等込みのインストールイメージが提供される。 ASIC SDK SAI SONiC orchestration processes Routing daemons Linux kernel libraries utilities 20

SONiC内部動作の基本 1. 各種プロセスはredisにsubscribeして変更を待つ 2. redisが変更されたことを通知されたら、変更内容に従って処理を行う 複数のプロセスが、複数のredisと連携して動作する。 また、SONiCの内部サービスを構成するプロセスは、それぞれ独立したdockerコンテナ として動作する。show servicesやdocker psといったコマンドで観察できる。 21

SONiCによる設定反映フロー 1. SONiCは、config databaseとしてredisを使っている 2. 設定変更はconfig dbの中身を変更(たとえばjsonを書いて”config load”) 3. config dbにsubscribeしたプロセスが通知を受け、SAIのAPIパラメータに変換 4. 変換結果はasic dbに書き込まれる 5. asic dbにsubscribeしたプロセスがSAIを呼び出し(直接or thrift RPC経由) 6. SAIによってASICの設定が変更される config db asic db orchagent syncd saiserver ASIC 22

SONiCによる状態反映フロー 1. bgpd等により変更がnetdev(Ethernet0等)に指示される 2. netlink経由でSONiCの同期daemonがappl dbに状態を書き込む 3. appl dbにsubscribeしたプロセスが変更を検知し、SAIのAPIパラメータに変換 4. 変換結果はasic dbに書き込まれる 5. asic dbにsubscribeしたプロセスがSAIを呼び出し(直接or thrift RPC経由) 6. SAIによってASICの設定が変更される appl db asic db orchagent syncd saiserver ASIC intfsyncd neighsyncd etc. bgpd etc. netlink 23

Processes, scripts and Databases in SONiC CONFIG_DB APPL_DB ASIC_DB orchagent syncd saiserver intfsyncd neighsyncd fpmsyncd lldp_syncd portsyncd teamsyncd arp_update ntp-config.sh rsyslog-config.sh switch ASIC netlink STATE_DB portmgrd intfmgrd vlanmgrd netdev intfs config_db.json ntpd.conf rsyslogd.conf bgpd bgpcfgd ntpd rsyslogd config command show command sonic-cfggen config save config load hostcfgd /etc/pam.d/commo n-auth-sonic tacplus_nss.conf nsswitch.conf COUNTER_DB warmstart vtysh snmp i.e. ip(8) shadow SAI thrift RPC 24

実機なしで使うSONiC 25

実機なしにSONiCを使う方法 1. SONiC-P4 ○ https://github.com/Azure/SONiC/wiki/SONiC-P4-Software-Switch ○ SAIの実装として、https://github.com/Mellanox/SAI-P4-BM を利用。 ○ P4言語ソフトウェアエミュレーションで router.p4とswitch.p4を動かし、SAI thrift RPCで制御。 ○ 解説に沿ってやれば、解説の通りには動く。 ○ SAI-P4-BMが更新されず、SONiC本体と使用するSAIのバージョンが不一致でビルドできず。 ○ 解説で参照しているバイナリはバージョンが古く、最新に追従できない (例: config bgpがない)。 2. SONiC-VS (Virtual Switch) ○ https://github.com/Azure/sonic-buildimage/tree/master/platform/vs ○ 独自データプレーンを実装。実体は src/sonic-sairedis/vslib ○ dockerコンテナの中で動作する。 ○ 2018年11月にKVMイメージも追加された。 ○ 最新ツリーでもビルドできるので、 PoCレベルの検証などにはこれを使っている。 26

SONiC-VSの使い方 (docker) 1. docker環境を整える。 2. docker-sonic-vs.gzを入手する。 a. ソースコードを拾ってビルドする、あるいは b. 定期ビルドの結果を拾う 3. gzip -dc docker-config-vs.gz | docker load 4. README.vsdocker.md の手順に従ってコンテナを作って動作確認できる。 注意点: 現時点ではstatusを正しく取得できない(link up/downやカウンターなど) 27

SONiC-VSの使い方(KVM) 1. sonic-vs.imgとsonic.xmlを入手する。 ○ ソースコードを拾ってビルドする、あるいは ○ 定期ビルドの結果を拾う 2. sonlc.xmlを編集する。 ○ sonic-vs.imgのパスを合わせる。 3. README.vsvm.md に従いVMを作る。 ○ virsh create sonic.xml 4. telnet 127.0.0.1 7000 ○ admin, YourPaSsWoRdでログイン。 docker版より実機環境に近い。 2018年11月20日に追加されたばかり。 28

SONiC-VSの内部構成(docker) ● swがASIC相当、vEthernet*がASIC port相当でパケット送受信する。 ● vs上のEthernet*は実機のSONiCと同様tapで、netlinkのために用意される。 ● vEthernet*は、--network container:swによりswとvsとで共有される。 sw (docker container) vs (docker container) vEthernet0 vEthernet4 vEthernet8 vEthernet0 vEthernet4 vEthernet8 Ethernet0 Ethernet4 Ethernet8 dataplane (vslib) bgpd sw-srv0 sw-srv2 作例ではnetnsを32個作っている sw-srv*はnetns vethを作って片方をswに もう片方はnetns内で名前はeth0 eth0 vEthernet*はvethでなくてもよい たとえば物理NICのリネームもOK ip link set ens0 name vEthernet0 29 eth0

● ホストOS上にvnet0, vnet1, が作られ、VM内のeth1, eth2, とつながっている。 ● ナンバリングがずれているので注意。(VMのeth0が管理用に使われるため) ホストOS vnet0 vnet1 vnet2 SONIC-VSの内部構成(KVM) 30 sonic (VM) eth1 eth2 eth3 Ethernet0 Ethernet4 Ethernet8 dataplane (vslib) bgpd

SONiCの機能や性能 31

SONiCの現状 ● VRF, VXLAN対応はこれから。作ったりはできるが設定内容がまだ不足。 ● 設定の動的反映、現状できるのはIP, LAG, Portとlinkのup/downのみ。 ○ 起動時にconfigの設定を読み出して、 jinja2テンプレートを使いxxxx.confを吐く機能が多い ● REST APIも提案はされているものの未着手の模様。 ○ https://github.com/Azure/SONiC/wiki/OCP-Summit-2018--and-SONiC-SAI-Workshop-Slide-Col lection ● ロードマップ https://github.com/Azure/SONiC/wiki/Sonic-Roadmap-Planning ● ドキュメントが、完備ではない、わりと不足気味。 ○ 概略は公式wikiである程度把握できるが、具体例などが見つからない。 ○ config dbのschemaがどうなっているかもソースコードで確認。 ○ 前出の内部関係図もソースコードを調べないとわからなかった。 ● コミュニティMailing Listは日に数通レベル。 32

SONiCの性能 ASICに設定が反映され、ハードウェアスイッチングする場合は、当然速い。 要検証 ● 設定投入速度(たとえば100万経路を注入するのにどれだけかかる?) ● CPUを経由するパケット入出力(ARPやプロトコル処理など) ● 統計情報取得(SNMP GETなど) 33

SONiCのビルド 34

SONiCのソースコードとビルド方法 ● 基本C, C++とPythonで記述されている。 ● 実機用のビルドの場合、ASIC制御ライブラリのランタイムが使われる。 ○ たとえばbroadcomだとlibsaibcm_3.1.3.5-11_amd64.debを外部から取得する。 ● ビルド方法 (環境にもよるがクリーンビルドに1.5～2時間ほどかかる) ○ git clone https://github.com/Azure/sonic-buildimage; cd sonic-buildimage ○ make init ○ make configure PLATFORM=xxx (xxx=broadcom, mellanox, …, p4 or vs) ○ make all ● rules/configファイルを変更することでカスタマイズ可能 ○ たとえば、デフォルトの routing stackはquaggaだが、frrやgobgpに変更できる ● 実機用だとONIE用のインストーラとインストールイメージが作られる ● SONiC-VSだと、dockerイメージ(docker-sonic-vs.gz)が作られる 35

SONiCビルド時の注意 ● インターネット接続環境が必要。 ○ git submoduleなどで、必要なソースコードやパッケージを取得するため ● docker環境が要求される。 ○ ビルドするユーザーに docker操作権限を与えること。 ○ docker上でビルドが走るので、環境の差は基本 dockerで吸収される。 ● ストレージの空きを要求される。 ○ 厳密にどのくらい必要か計測してないが、空き 100GBでNo space left on diskが出ることも ○ /tmpも大きくないとダメそう。空き 40GBで、ときどきNo space left on diskが出る ● ローカルな変更をしているとsubmodule同期に失敗することがある。 ○ git submodule deinit -f --allできれいにしてからrebaseするとうまくいく ● ソースを変更しないならJenkinsの定期ビルド結果を拾うのでもいいかも。 ○ https://sonic-jenkins.westus2.cloudapp.azure.com/ 36

まとめ 37

まとめ ● SONiCは、ホワイトボックススイッチを幅広くサポートするOSS ● 実機用のほか、ソフトウェア実装もありVM上で試すこともできる ● 設定の動的即時反映など、実装がこれからの部分も多い ● ドキュメントは概略、具体的に知りたい場合はソースコードを読むことに ● サポートの手厚さよりもフットワークの軽さを優先する場合有効な選択肢 ● 不足する機能があれば自分で作っていく気概のある人向け 38