Googleを支えるグローバルネットワーク

GCPUG in Osaka #7 での発表予定資料です。
https://gcpug-osaka.connpass.com/event/85691/

Transcript

1. を支える
   グローバルネットワーク
   

   View Slide

2. Etsuji Nakai
   Solutions Architect, Google Cloud
   Twitter @enakai00
   $ who am i
   

   View Slide

3. GCP のコンセプト
   

   View Slide

4. GCP のコンセプト
   ● Google のソフトウェアエンジニアは、分散コンピューティング技術を用いた独自のア
   プリケーション開発・実行プラットフォームにより、検索エンジンを始めとする自社サー
   ビスを提供
   ● Google のソフトウェアエンジニアと同じ体験を一般のデベロッパーにもパブリッククラ
   ウドとして開放
   Datacenter as a Computer!
   

   View Slide

5. Google のインフラを支える技術群
   VIRTUAL NETWORK
   LOAD BALANCING
   CDN
   DNS
   INTERCONNECT
   Management Compute Storage Networking Data
   Machine
   Learning
   STACKDRIVER
   IDENTITY AND
   ACCESS
   MANAGEMENT
   CLOUD MLE
   SPEECH API
   VISION API
   TRANSLATE API
   NATURAL
   LANGUAGE API
   Kubernetes Engine
   

   View Slide

6. 決して「謎技術」ではありません
   

   View Slide

7. 公開論文から読み解くインフラ技術の「思想」
   ● 「謎技術」の実体は、徹底的な合理主義　
   ● 「技術的制約」に対する恐ろしいほどの洞察力
   ○ この制約を受けいれることが何が可能になるのか？
   ○ この制約を打破することで何が可能になるのか？
   http://www.school.ctc-g.co.jp/columns/nakai2/
   

   View Slide

8. Google を支える
   グローバル
   ネットワーク
   

   View Slide

9. 専用回線によるグローバルネットワーク
   

   View Slide

10. ● エンドユーザーからのトラフィックは、PoP を
    通じて専用回線に入った後に、Google の
    データセンターへと到達
    ● グローバルロードバランサーにより、「単一
    のIPアドレス」へのアクセスを全世界のデー
    タセンターにロードバランス
    https://peering.google.com/#/infrastructure
    専用回線によるグローバルネットワーク
    

    View Slide

11. ● データセンターネットワーク
    ○ 複数のサーバークラスターを均一な帯域で接続する高速ネットワーク
    ○ ソフトウェア制御の Clos トポロジーによるロードバランシング
    ● B2 ネットワーク
    ○ インターネットと相互接続するためのグローバルネットワーク
    ● B4 ネットワーク
    ○ データセンター間を相互接続するグローバルな内部ネットワーク
    ○ OpenFlow を用いたトラフィックエンジニアリングにより、パケットの優先順位に
    応じてパケットの経路と帯域を自動制御
    Google ネットワークの全体像
    

    View Slide

12. データセンター
    ネットワーク
    

    View Slide

13. Google データセンターにおけるネットワーク スイッチの変遷
    Firehose 1.1
    (2006)
    Watchtower
    (2008)
    Saturn
    (2009)
    Jupiter
    (2012)
    

    View Slide

14. データセンター内トラフィックの増加
    Traffic generated by servers in our datacenters
    Aggregate traffic
    50x
    1x
    Jul ‘08 Jun ‘09 May ‘10 Apr ‘11 Mar ‘12 Feb ‘13 Dec ‘13 Nov ‘14
    Time
    

    View Slide

15. ● Clos トポロジー：メッシュ型の多重経路で接続された L2 ネットワーク
    ● 複数経路をロードバランスすることで、特定のリンクがボトルネックになることを回避
    ● ロードバランスのための経路情報をソフトウェアで自動制御
    データセンターネットワークの特徴
    

    View Slide

16. Edge Aggregation
    Block 1
    Edge Aggregation
    Block 2
    Edge Aggregation
    Block N
    Spine
    Block 1
    Spine
    Block 2
    Spine
    Block 3
    Spine
    Block 4
    Spine
    Block M
    ● 2012 年：最大構成で総帯域 1.3Pbps を達成
    Jupiter ネットワーク
    

    View Slide

17. グローバル SDN を
    実現した
    B4 ネットワーク
    

    View Slide

18. B4 : Google の SDN ベース の広域ネットワーク
    B4: [Jain et al, SIGCOMM 13] BwE: [Jain et al, SIGCOMM 15]
    

    View Slide

19. B4 のアーキテクチャー
    Central TE server
    Links to
    other B4
    sites
    SDN Gateway
    OpenFlow
    Controller
    OFA
    OFA
    OFA
    OFA
    OFA
    OFA
    OFA
    OFA
    B4 site controller
    B4 site switches
    OFA:
    OpenFlow
    Agent
    Datacenters
    

    View Slide

20. TEの最適化アルゴリズム
    ● FG（Flow Group）への公平な帯域の
    割り当て
    ● 最短経路を優先的に選択し、必要に
    応じて長い経路に変更
    ● 例 : FG1 HIPRI, FG2 LOPRI
    ● SPF ルーティングに比べて平均 20%
    のスループット向上
    

    View Slide

21. TE のメリットと帯域制御
    ● 高価なリンクを有効利
    用できるようにする
    ● 優先順位の高いトラ
    フィックでパケット ロス
    が生じないようにする
    

    View Slide

22. 技術を根本から理解して使いこなす喜びを！
    VIRTUAL NETWORK
    LOAD BALANCING
    CDN
    DNS
    INTERCONNECT
    Management Compute Storage Networking Data
    Machine
    Learning
    STACKDRIVER
    IDENTITY AND
    ACCESS
    MANAGEMENT
    CLOUD MLE
    SPEECH API
    VISION API
    TRANSLATE API
    NATURAL
    LANGUAGE API
    Kubernetes Engine
    

    View Slide

23. ● Jupiter Rising: A Decade of Clos Topologies
    and Centralized Control in Google’s
    Datacenter Network (Sigcomm 2015)
    ● B4: Experience with a Globally-Deployed
    Software Defined WAN (Sigcomm 2013)
    ● BwE: Flexible, Hierarchical Bandwidth
    Allocation for WAN Distributed Computing
    (Sigcomm 2015)
    ● Evolve or Die: High-Availability Design
    Principles Drawn from Google's Network
    Infrastructure (Sigcomm 2016)
    参考文献
    

    View Slide

24. Thank You.
    

    View Slide