Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Googleを支えるグローバルネットワーク

 Googleを支えるグローバルネットワーク

GCPUG in Osaka #7 での発表予定資料です。
https://gcpug-osaka.connpass.com/event/85691/

Etsuji Nakai

June 05, 2018
Tweet

More Decks by Etsuji Nakai

Other Decks in Technology

Transcript

  1. を支える
    グローバルネットワーク

    View full-size slide

  2. Etsuji Nakai
    Solutions Architect, Google Cloud
    Twitter @enakai00
    $ who am i

    View full-size slide

  3. GCP のコンセプト

    View full-size slide

  4. GCP のコンセプト
    ● Google のソフトウェアエンジニアは、分散コンピューティング技術を用いた独自のア
    プリケーション開発・実行プラットフォームにより、検索エンジンを始めとする自社サー
    ビスを提供
    ● Google のソフトウェアエンジニアと同じ体験を一般のデベロッパーにもパブリッククラ
    ウドとして開放
    Datacenter as a Computer!

    View full-size slide

  5. Google のインフラを支える技術群
    VIRTUAL NETWORK
    LOAD BALANCING
    CDN
    DNS
    INTERCONNECT
    Management Compute Storage Networking Data
    Machine
    Learning
    STACKDRIVER
    IDENTITY AND
    ACCESS
    MANAGEMENT
    CLOUD MLE
    SPEECH API
    VISION API
    TRANSLATE API
    NATURAL
    LANGUAGE API
    Kubernetes Engine

    View full-size slide

  6. 決して「謎技術」ではありません

    View full-size slide

  7. 公開論文から読み解くインフラ技術の「思想」
    ● 「謎技術」の実体は、徹底的な合理主義 
    ● 「技術的制約」に対する恐ろしいほどの洞察力
    ○ この制約を受けいれることが何が可能になるのか?
    ○ この制約を打破することで何が可能になるのか?
    http://www.school.ctc-g.co.jp/columns/nakai2/

    View full-size slide

  8. Google を支える
    グローバル
    ネットワーク

    View full-size slide

  9. 専用回線によるグローバルネットワーク

    View full-size slide

  10. ● エンドユーザーからのトラフィックは、PoP を
    通じて専用回線に入った後に、Google の
    データセンターへと到達
    ● グローバルロードバランサーにより、「単一
    のIPアドレス」へのアクセスを全世界のデー
    タセンターにロードバランス
    https://peering.google.com/#/infrastructure
    専用回線によるグローバルネットワーク

    View full-size slide

  11. ● データセンターネットワーク
    ○ 複数のサーバークラスターを均一な帯域で接続する高速ネットワーク
    ○ ソフトウェア制御の Clos トポロジーによるロードバランシング
    ● B2 ネットワーク
    ○ インターネットと相互接続するためのグローバルネットワーク
    ● B4 ネットワーク
    ○ データセンター間を相互接続するグローバルな内部ネットワーク
    ○ OpenFlow を用いたトラフィックエンジニアリングにより、パケットの優先順位に
    応じてパケットの経路と帯域を自動制御
    Google ネットワークの全体像

    View full-size slide

  12. データセンター
    ネットワーク

    View full-size slide

  13. Google データセンターにおけるネットワーク スイッチの変遷
    Firehose 1.1
    (2006)
    Watchtower
    (2008)
    Saturn
    (2009)
    Jupiter
    (2012)

    View full-size slide

  14. データセンター内トラフィックの増加
    Traffic generated by servers in our datacenters
    Aggregate traffic
    50x
    1x
    Jul ‘08 Jun ‘09 May ‘10 Apr ‘11 Mar ‘12 Feb ‘13 Dec ‘13 Nov ‘14
    Time

    View full-size slide

  15. ● Clos トポロジー:メッシュ型の多重経路で接続された L2 ネットワーク
    ● 複数経路をロードバランスすることで、特定のリンクがボトルネックになることを回避
    ● ロードバランスのための経路情報をソフトウェアで自動制御
    データセンターネットワークの特徴

    View full-size slide

  16. Edge Aggregation
    Block 1
    Edge Aggregation
    Block 2
    Edge Aggregation
    Block N
    Spine
    Block 1
    Spine
    Block 2
    Spine
    Block 3
    Spine
    Block 4
    Spine
    Block M
    ● 2012 年:最大構成で総帯域 1.3Pbps を達成
    Jupiter ネットワーク

    View full-size slide

  17. グローバル SDN を
    実現した
    B4 ネットワーク

    View full-size slide

  18. B4 : Google の SDN ベース の広域ネットワーク
    B4: [Jain et al, SIGCOMM 13] BwE: [Jain et al, SIGCOMM 15]

    View full-size slide

  19. B4 のアーキテクチャー
    Central TE server
    Links to
    other B4
    sites
    SDN Gateway
    OpenFlow
    Controller
    OFA
    OFA
    OFA
    OFA
    OFA
    OFA
    OFA
    OFA
    B4 site controller
    B4 site switches
    OFA:
    OpenFlow
    Agent
    Datacenters

    View full-size slide

  20. TEの最適化アルゴリズム
    ● FG(Flow Group)への公平な帯域の
    割り当て
    ● 最短経路を優先的に選択し、必要に
    応じて長い経路に変更
    ● 例 : FG1 HIPRI, FG2 LOPRI
    ● SPF ルーティングに比べて平均 20%
    のスループット向上

    View full-size slide

  21. TE のメリットと帯域制御
    ● 高価なリンクを有効利
    用できるようにする
    ● 優先順位の高いトラ
    フィックでパケット ロス
    が生じないようにする

    View full-size slide

  22. 技術を根本から理解して使いこなす喜びを!
    VIRTUAL NETWORK
    LOAD BALANCING
    CDN
    DNS
    INTERCONNECT
    Management Compute Storage Networking Data
    Machine
    Learning
    STACKDRIVER
    IDENTITY AND
    ACCESS
    MANAGEMENT
    CLOUD MLE
    SPEECH API
    VISION API
    TRANSLATE API
    NATURAL
    LANGUAGE API
    Kubernetes Engine

    View full-size slide

  23. ● Jupiter Rising: A Decade of Clos Topologies
    and Centralized Control in Google’s
    Datacenter Network (Sigcomm 2015)
    ● B4: Experience with a Globally-Deployed
    Software Defined WAN (Sigcomm 2013)
    ● BwE: Flexible, Hierarchical Bandwidth
    Allocation for WAN Distributed Computing
    (Sigcomm 2015)
    ● Evolve or Die: High-Availability Design
    Principles Drawn from Google's Network
    Infrastructure (Sigcomm 2016)
    参考文献

    View full-size slide