を支える グローバルネットワーク

Etsuji Nakai Solutions Architect, Google Cloud Twitter @enakai00 $ who am i

GCP のコンセプト

GCP のコンセプト ● Google のソフトウェアエンジニアは、分散コンピューティング技術を用いた独自のア プリケーション開発・実行プラットフォームにより、検索エンジンを始めとする自社サー ビスを提供 ● Google のソフトウェアエンジニアと同じ体験を一般のデベロッパーにもパブリッククラ ウドとして開放 Datacenter as a Computer!

Google のインフラを支える技術群 VIRTUAL NETWORK LOAD BALANCING CDN DNS INTERCONNECT Management Compute Storage Networking Data Machine Learning STACKDRIVER IDENTITY AND ACCESS MANAGEMENT CLOUD MLE SPEECH API VISION API TRANSLATE API NATURAL LANGUAGE API Kubernetes Engine

決して「謎技術」ではありません

公開論文から読み解くインフラ技術の「思想」 ● 「謎技術」の実体は、徹底的な合理主義　 ● 「技術的制約」に対する恐ろしいほどの洞察力 ○ この制約を受けいれることが何が可能になるのか？ ○ この制約を打破することで何が可能になるのか？ http://www.school.ctc-g.co.jp/columns/nakai2/

Google を支える グローバル ネットワーク

専用回線によるグローバルネットワーク

● エンドユーザーからのトラフィックは、PoP を 通じて専用回線に入った後に、Google の データセンターへと到達 ● グローバルロードバランサーにより、「単一 のIPアドレス」へのアクセスを全世界のデー タセンターにロードバランス https://peering.google.com/#/infrastructure 専用回線によるグローバルネットワーク

● データセンターネットワーク ○ 複数のサーバークラスターを均一な帯域で接続する高速ネットワーク ○ ソフトウェア制御の Clos トポロジーによるロードバランシング ● B2 ネットワーク ○ インターネットと相互接続するためのグローバルネットワーク ● B4 ネットワーク ○ データセンター間を相互接続するグローバルな内部ネットワーク ○ OpenFlow を用いたトラフィックエンジニアリングにより、パケットの優先順位に 応じてパケットの経路と帯域を自動制御 Google ネットワークの全体像

データセンター ネットワーク

Google データセンターにおけるネットワーク スイッチの変遷 Firehose 1.1 (2006) Watchtower (2008) Saturn (2009) Jupiter (2012)

データセンター内トラフィックの増加 Traffic generated by servers in our datacenters Aggregate traffic 50x 1x Jul ‘08 Jun ‘09 May ‘10 Apr ‘11 Mar ‘12 Feb ‘13 Dec ‘13 Nov ‘14 Time

● Clos トポロジー：メッシュ型の多重経路で接続された L2 ネットワーク ● 複数経路をロードバランスすることで、特定のリンクがボトルネックになることを回避 ● ロードバランスのための経路情報をソフトウェアで自動制御 データセンターネットワークの特徴

Edge Aggregation Block 1 Edge Aggregation Block 2 Edge Aggregation Block N Spine Block 1 Spine Block 2 Spine Block 3 Spine Block 4 Spine Block M ● 2012 年：最大構成で総帯域 1.3Pbps を達成 Jupiter ネットワーク

グローバル SDN を 実現した B4 ネットワーク

B4 : Google の SDN ベース の広域ネットワーク B4: [Jain et al, SIGCOMM 13] BwE: [Jain et al, SIGCOMM 15]

B4 のアーキテクチャー Central TE server Links to other B4 sites SDN Gateway OpenFlow Controller OFA OFA OFA OFA OFA OFA OFA OFA B4 site controller B4 site switches OFA: OpenFlow Agent Datacenters

TEの最適化アルゴリズム ● FG（Flow Group）への公平な帯域の 割り当て ● 最短経路を優先的に選択し、必要に 応じて長い経路に変更 ● 例 : FG1 HIPRI, FG2 LOPRI ● SPF ルーティングに比べて平均 20% のスループット向上

TE のメリットと帯域制御 ● 高価なリンクを有効利 用できるようにする ● 優先順位の高いトラ フィックでパケット ロス が生じないようにする

技術を根本から理解して使いこなす喜びを！ VIRTUAL NETWORK LOAD BALANCING CDN DNS INTERCONNECT Management Compute Storage Networking Data Machine Learning STACKDRIVER IDENTITY AND ACCESS MANAGEMENT CLOUD MLE SPEECH API VISION API TRANSLATE API NATURAL LANGUAGE API Kubernetes Engine

● Jupiter Rising: A Decade of Clos Topologies and Centralized Control in Google’s Datacenter Network (Sigcomm 2015) ● B4: Experience with a Globally-Deployed Software Defined WAN (Sigcomm 2013) ● BwE: Flexible, Hierarchical Bandwidth Allocation for WAN Distributed Computing (Sigcomm 2015) ● Evolve or Die: High-Availability Design Principles Drawn from Google's Network Infrastructure (Sigcomm 2016) 参考文献

Thank You.