Googleを支えるグローバルネットワーク

 Googleを支えるグローバルネットワーク

GCPUG in Osaka #7 での発表予定資料です。
https://gcpug-osaka.connpass.com/event/85691/

Da467feb3ca0106d571915faedb714f2?s=128

Etsuji Nakai

June 05, 2018
Tweet

Transcript

  1. を支える グローバルネットワーク

  2. Etsuji Nakai Solutions Architect, Google Cloud Twitter @enakai00 $ who

    am i
  3. GCP のコンセプト

  4. GCP のコンセプト • Google のソフトウェアエンジニアは、分散コンピューティング技術を用いた独自のア プリケーション開発・実行プラットフォームにより、検索エンジンを始めとする自社サー ビスを提供 • Google のソフトウェアエンジニアと同じ体験を一般のデベロッパーにもパブリッククラ

    ウドとして開放 Datacenter as a Computer!
  5. Google のインフラを支える技術群 VIRTUAL NETWORK LOAD BALANCING CDN DNS INTERCONNECT Management

    Compute Storage Networking Data Machine Learning STACKDRIVER IDENTITY AND ACCESS MANAGEMENT CLOUD MLE SPEECH API VISION API TRANSLATE API NATURAL LANGUAGE API Kubernetes Engine
  6. 決して「謎技術」ではありません

  7. 公開論文から読み解くインフラ技術の「思想」 • 「謎技術」の実体は、徹底的な合理主義  • 「技術的制約」に対する恐ろしいほどの洞察力 ◦ この制約を受けいれることが何が可能になるのか? ◦ この制約を打破することで何が可能になるのか? http://www.school.ctc-g.co.jp/columns/nakai2/

  8. Google を支える グローバル ネットワーク

  9. 専用回線によるグローバルネットワーク

  10. • エンドユーザーからのトラフィックは、PoP を 通じて専用回線に入った後に、Google の データセンターへと到達 • グローバルロードバランサーにより、「単一 のIPアドレス」へのアクセスを全世界のデー タセンターにロードバランス

    https://peering.google.com/#/infrastructure 専用回線によるグローバルネットワーク
  11. • データセンターネットワーク ◦ 複数のサーバークラスターを均一な帯域で接続する高速ネットワーク ◦ ソフトウェア制御の Clos トポロジーによるロードバランシング • B2

    ネットワーク ◦ インターネットと相互接続するためのグローバルネットワーク • B4 ネットワーク ◦ データセンター間を相互接続するグローバルな内部ネットワーク ◦ OpenFlow を用いたトラフィックエンジニアリングにより、パケットの優先順位に 応じてパケットの経路と帯域を自動制御 Google ネットワークの全体像
  12. データセンター ネットワーク

  13. Google データセンターにおけるネットワーク スイッチの変遷 Firehose 1.1 (2006) Watchtower (2008) Saturn (2009)

    Jupiter (2012)
  14. データセンター内トラフィックの増加 Traffic generated by servers in our datacenters Aggregate traffic

    50x 1x Jul ‘08 Jun ‘09 May ‘10 Apr ‘11 Mar ‘12 Feb ‘13 Dec ‘13 Nov ‘14 Time
  15. • Clos トポロジー:メッシュ型の多重経路で接続された L2 ネットワーク • 複数経路をロードバランスすることで、特定のリンクがボトルネックになることを回避 • ロードバランスのための経路情報をソフトウェアで自動制御 データセンターネットワークの特徴

  16. Edge Aggregation Block 1 Edge Aggregation Block 2 Edge Aggregation

    Block N Spine Block 1 Spine Block 2 Spine Block 3 Spine Block 4 Spine Block M • 2012 年:最大構成で総帯域 1.3Pbps を達成 Jupiter ネットワーク
  17. グローバル SDN を 実現した B4 ネットワーク

  18. B4 : Google の SDN ベース の広域ネットワーク B4: [Jain et

    al, SIGCOMM 13] BwE: [Jain et al, SIGCOMM 15]
  19. B4 のアーキテクチャー Central TE server Links to other B4 sites

    SDN Gateway OpenFlow Controller OFA OFA OFA OFA OFA OFA OFA OFA B4 site controller B4 site switches OFA: OpenFlow Agent Datacenters
  20. TEの最適化アルゴリズム • FG(Flow Group)への公平な帯域の 割り当て • 最短経路を優先的に選択し、必要に 応じて長い経路に変更 • 例

    : FG1 HIPRI, FG2 LOPRI • SPF ルーティングに比べて平均 20% のスループット向上
  21. TE のメリットと帯域制御 • 高価なリンクを有効利 用できるようにする • 優先順位の高いトラ フィックでパケット ロス が生じないようにする

  22. 技術を根本から理解して使いこなす喜びを! VIRTUAL NETWORK LOAD BALANCING CDN DNS INTERCONNECT Management Compute

    Storage Networking Data Machine Learning STACKDRIVER IDENTITY AND ACCESS MANAGEMENT CLOUD MLE SPEECH API VISION API TRANSLATE API NATURAL LANGUAGE API Kubernetes Engine
  23. • Jupiter Rising: A Decade of Clos Topologies and Centralized

    Control in Google’s Datacenter Network (Sigcomm 2015) • B4: Experience with a Globally-Deployed Software Defined WAN (Sigcomm 2013) • BwE: Flexible, Hierarchical Bandwidth Allocation for WAN Distributed Computing (Sigcomm 2015) • Evolve or Die: High-Availability Design Principles Drawn from Google's Network Infrastructure (Sigcomm 2016) 参考文献
  24. Thank You.