Network Topologies - Direct vs Indirect
Pictures taken from “Cloud Data Centers and Cost Modeling”, by Morgan Kaufmann, 2015
Slide 12
Slide 12 text
Indirect
Network
Past and Present
Slide 13
Slide 13 text
Crossbar Switch
https://en.wikipedia.org/wiki/Crossbar_switch The art of multiplexing
https://medium.com/@marceloboeira/the-art-of-multiplexing-36fc5b22a34e
Rearrangeable
https://packetpushers.net/demystifying-dcn-topologies-clos-fat-trees-part1/
既存のパスを再配置(リアレンジ)する
A -> F のパスも利⽤可能になる
B -> H, D -> E が占有中のため、A -> F の利⽤可能なパスが無い
Issues of MINs
スイッチングエレメントの相互接続の複雑さ
全体のパスを決定することの複雑さ
複数の接続要求を同時に満たすことができるかどうかを判断する難しさ
再配置するパスとそれらを移動する場所を⾒つけることの難しさ (Slepian-Duguid定理)
Slide 43
Slide 43 text
Clos Network
C. Clos, “A Study of Non-Blocking Switching Networks”,
Bell System Technical Journal, The, vol 32, no 2, bll 406–
424, Mrt 1953.
1938年にEdson Erwinが発明した概念
1952年にCharles Closが形式化し発表
最⼩3ステージで構成される完全結合MIN
対称ネットワークで⼊⼒数は⼆乗 (N = n^2)
中間ステージの数でブロッキング特性を調節可能
Slide 44
Slide 44 text
Clos Network - Crosspoint growth
クロスバーファブリックと⽐較すると、
N=36 を境にクロスポイント数が逆転する。
Nが⼤きくなるにつれてクロスポイントが節約される
C. Clos, “A Study of Non-Blocking Switching Networks”, Bell System Technical Journal,
The, vol 32, no 2, bll 406–424, Mrt 1953.
Slide 45
Slide 45 text
Clos Network
⼊出⼒数をn, 中間ステージのスイッチ数をmとして
以下の条件でネットワークの性質が決定する。
Non-Blocking: m ≧ 2n -1
Rearrangeable: m ≧ n
Blocking: m ＜ n
スイッチの⼊出⼒数と個数がすべてのステージで異なっても良い
Tree Topology
典型的なDCNWはツリートポロジ
階層が深いほどボトルネックになりやすい
上位のスイッチほど⾼価になる(コスト増)
⼤量のコモディティイーサネットスイッチを活⽤して、⾼性能・低コストのDCNWを⽬指す流れに
Pictures taken from “Cloud Data Centers and Cost Modeling”, by Morgan Kaufmann, 2015
Slide 58
Slide 58 text
A scalable, commodity data center network architecture
Al-Fares M, Loukissas A, Vahdat A. A scalable, commodity data center network architecture, SIGCOMMʼ08, August 17–22, 2008, pp. 63–74.
⾮常に有名な論⽂
Slide 59
Slide 59 text
Fat Tree – Special Instance of a Clos Network
https://packetpushers.net/demystifying-dcn-topologies-clos-fat-trees-part2/
⼀⽅向ファブリックから双⽅向ファブリック(パケット交換)への転換
Folded Clos は Spine-Leafトポロジとして知られ、
⼊出⼒数の⼤きいスイッチを使うネットワークを High Radix Network と呼ぶ。
中央で折りたたむ
Folded Clos
(Non-Folded) Clos
Slide 60
Slide 60 text
From Clos to “Leaf and Spine” topology
Clos Topology Spine-Leaf Topology
スイッチモジュールは⼀⽅向
すべてのパスは3つのモジュールを経由する
スイッチモジュールは双⽅向
すべてのパスは1もしくは3つのモジュールを経由する
Slide 61
Slide 61 text
Unidirectional vs Bidirectional
Unidirectional MIN Bidirectional MIN
Pictures taken from “Interconnection Networks: An Engineering Approach”, by Duato, Yalamanchili and Ni, 2003
Slide 62
Slide 62 text
Fat Tree
C. E. Leiserson, “Fat-Trees: Universal Networks for Hardware-Efficient Supercomputing”,
IEEE Trans. Comput., vol 34, no 10, bll 892–901, 1985.
ネットワークがツリー構造で配置され、
プロセッサがリーフノードとして機能する。
ツリーを上に移動すると、スイッチ間でより多くの帯域幅
を利⽤できる。
https︓//en.wikipedia.org/wiki/Fat_tree
Radix
Levels
Slide 63
Slide 63 text
High Radix, High Levels Network
Radix
Levels
Levels
Radix
Slide 64
Slide 64 text
Fat Tree
k個のレベルを持つバイナリファットツリーに接続されているノードの総数（N）
K=4
N(4)=15
Pictures taken from “Cloud Data Centers and Cost Modeling”, by Morgan Kaufmann, 2015
Slide 65
Slide 65 text
K-ary Fat Tree
1種類のコモディティスイッチでNWを構成
すべてのスイッチでポート数が等しいと仮定
スイッチのポート数 = Pod数 = K
4-ary Fat Tree
Slide 66
Slide 66 text
From Clos to “K-ary Fat Tree” topology
https://packetpushers.net/demystifying-dcn-topologies-clos-fat-trees-part2/
Slide 67
Slide 67 text
K-ary Fat Tree
4-ary Fat Tree
Slide 68
Slide 68 text
K-ary Fat Tree
hTps://packetpushers.net/demysUfying-dcn-topologies-clos-fat-trees-part2/
Fat Tree(Clos NW)の⼀般化公式
Slide 69
Slide 69 text
K-ary Fat Tree
現実の制約(空間, 電⼒)を無視した設計
⼤量のHWとケーブリングコストが発⽣
オーバサブスクリプションを未考慮
コストが莫⼤になるため、そのままの適⽤は困難
K=48 の Fat Tree
Pictures taken from “Cloud Data Centers and Cost Modeling”, by Morgan Kaufmann, 2015