Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Kubernetes Meetup Tokyo #26 / Recap: Kubecon Keynote by Walmart

jyoshise
December 03, 2019

Kubernetes Meetup Tokyo #26 / Recap: Kubecon Keynote by Walmart

jyoshise

December 03, 2019
Tweet

More Decks by jyoshise

Other Decks in Technology

Transcript

  1. Keynote: Seamless Customer
    Experience at Walmart Stores
    Powered by Kubernetes@Edge
    Kubernetes Meetup Tokyo #26
    @jyoshise

    View full-size slide

  2. whoami
    2
    • Junichi Yoshise / 吉瀬 淳一
    • @jyoshise
    • Chief Architect,
    Cloud Native Computing
    • Hewlett Packard Enterprise
    jyoshiseの所在
    日本 それ以外

    View full-size slide

  3. セッション紹介
    3

    View full-size slide

  4. 4
    Maneesh Vittolia
    Principal Architect, Walmart
    Sriram Komma
    Principal Product Owner, Walmart
    Slide:
    https://static.sched.com/hosted_files/kccncna19/20/3%20Manesh%20and%20Siram%20Ne
    w%20V2.pptx.pdf
    Video:
    https://www.youtube.com/watch?v=sfPFrvDvdlk

    View full-size slide

  5. 5
    https://static.sched.com/hosted_files/kccncna19/20/3%20Manesh%20and%20Siram%20New%20V2.pptx.pdf

    View full-size slide

  6. 6
    https://static.sched.com/hosted_files/kccncna19/20/3%20Manesh%20and%20Siram%20New%20V2.pptx.pdf

    View full-size slide

  7. 7
    https://static.sched.com/hosted_files/kccncna19/20/3%20Manesh%20and%20Siram%20New%20V2.pptx.pdf

    View full-size slide

  8. 8
    https://static.sched.com/hosted_files/kccncna19/20/3%20Manesh%20and%20Siram%20New%20V2.pptx.pdf

    View full-size slide

  9. 9
    https://static.sched.com/hosted_files/kccncna19/20/3%20Manesh%20and%20Siram%20New%20V2.pptx.pdf

    View full-size slide

  10. 10
    https://static.sched.com/hosted_files/kccncna19/20/3%20Manesh%20and%20Siram%20New%20V2.pptx.pdf

    View full-size slide

  11. Edge ComputingにおけるKubernetesの活用
    11

    View full-size slide

  12. Disclaimer
    • ここからの話は一般論です。察してください。
    12

    View full-size slide

  13. クラウドネイティブ化の動機
    • Dynamic deployment
    • アプリケーションの開発サイクルを早め、機能追加・変更を容易なものとし、頻繁にリリー
    スしたい。
    • Scalability
    • 容易にスケールできるアーキテクチャとしたい。
    • Resiliency
    • 自己修復性のあるアーキテクチャにより運用効率を高めたい。
    • Observability
    • システム全体の可観測性を高め、予測可能な運用としたい。
    13

    View full-size slide

  14. エッジコンピューティングの動機
    • Low latency
    • クラウド/データセンターまで行って帰ってくるのを待てない。
    • Massive data
    • 全てのデータをクラウド/データセンターに送るほどの帯域はない。
    • Privacy security
    • インターネットに流せない情報はその場で処理する必要がある。
    • Local autonomy
    • クラウド/データセンターとの接続が失われた際も処理は止められない。
    • Devices
    • データの出入り口として特別なデバイスを制御しなければならない。
    14

    View full-size slide

  15. • Dynamic deployment
    • Scalability
    • Resiliency
    • Observability
    15
    • Low latency
    • Massive data
    • Privacy security
    • Local autonomy
    • Devices
    Cloud Native Edge Computing
    +
    Edge Kubernetesで解決じゃね?
    人生そんなに甘くない

    View full-size slide

  16. 16
    https://static.sched.com/hosted_files/kccncna19/20/3%20Manesh%20and%20Siram%20New%20V2.pptx.pdf

    View full-size slide

  17. Edge Computingの検討例:
    5G MEC (Mobile Edge Computing)
    17
    https://www.etsi.org/images/files/ETSIWhitePapers/etsi_wp28_mec_in_5G_FINAL.pdf

    View full-size slide

  18. Edge Computingの検討例:
    Factory IoT
    18
    Analytic Services
    “IoT”
    Edge Processing of data in motion
    “Fast Data”
    Core Processing of data in motion
    “Big Data”
    Analysis of data at rest
    “AI”
    Deep Learning/Machine Learning
    NoSQL
    Parallel Data Flow Mgmt
    “Data Lake”
    Distributed Data Flow
    Mgmt
    Data Acquisition
    HPC Storage
    Deep Learning
    Business Systems
    Local Data Mgmt
    Container Management
    Analytic Services
    Over time, the edge grows as fast data
    processing moves from the core
    Model
    Serving
    Model
    Serving
    Models
    Edge Infrastructure Mgmt
    Parallel Analytic Framework
    HPC Storage

    View full-size slide

  19. Challenge:
    データの同期
    • Edgeのデータとクラウドのデータの整合性が取れていなければならない場合
    19
    https://static.sched.com/hosted_files/kccncna19/20/3%20Manesh%20and%20Siram%20New%20V2.pptx.pdf

    View full-size slide

  20. Challenge:
    物理的な制約
    20
    • Walmartは各店舗のKubernetesクラスタとして、通常のデータセンター用ラックマウントサー
    バーを設置。
    • 北米以外のWalmartでそれが可能か?
    • 誰がメンテナンスする?
    • 基本的にEdge環境(店舗、工場、通信基地局など)では、過酷な環境でメンテナンスフリーに
    近い形で稼働し続けなければならない。
    • 温度、湿度、埃、振動、etc…

    View full-size slide

  21. Challenge:
    インフラ(Kubernetesクラスタ自体)のライフサイクル
    • 遠隔地のKubernetesクラスタ自体の
    デプロイを集中管理する仕組み
    (Kubernetes as a Service)がインフラレ
    ベルで必要
    • EdgeにはSREはいない。
    • WalmartはFederated Cotrol Planeを自

    • 結局各種要件に依存するのでこれと
    いった解はない
    • 仮想マシンベースでKubesprayなどを使

    • Rancherなどのマルチクラスタ管理
    ツールを使う
    • Kind、K3s、Microk8sといった軽量
    Kubernetesを使う
    21
    https://static.sched.com/hosted_files/kccncna19/20/3
    %20Manesh%20and%20Siram%20New%20V2.pptx.pdf

    View full-size slide

  22. Challenge:
    特殊な要件
    22
    • 5G MECでは、端末は移動する前提
    • 異なるEdgeコンピューティング環境(基地局)に切り替わった際も、アプリケーションはシームレスに
    利用できなければならない
    • ワークロードに応じたコンピュート性能を搭載しなければならない
    • 推論のためのGPU、VPUなど
    • 特殊なデバイスへの対応
    • 工場独自のIoT、各種センサーなど

    View full-size slide

  23. 23
    https://kccncna19.sched.com/event/Uahz/kubeedge-kubernetes-native-edge-computing-framework-jason-
    wu-sean-wang-futurewei
    https://kccncna19.sched.com/event/Uafu/kubeedge-deep-dive-sean-wang-futurewei

    View full-size slide

  24. Challenge:
    アプリケーションのデプロイ
    • 多数のEdgeに対するデプロイ(アプ
    リケーションPodだけではなく、
    Kubernetes上のリソース全て)を集
    中管理したい
    • GitOpsが最適
    • WalmartはCDエンジンを自作
    • 今ならArgo FlexやTektonといった
    GitOps/CDエンジンが使えそう
    24
    https://static.sched.com/hosted_files/kccncna19/20/3
    %20Manesh%20and%20Siram%20New%20V2.pptx.pdf

    View full-size slide

  25. Challenge:
    Logging and Observability
    • Walmartは既存のモニタリングの仕組みに
    Kubernetesで一般的なツールを組み合わせて
    作りこんでいる模様
    • 多数のEdgeからのログ・メトリックスをいか
    にAggregateするかがキモ
    • 今ならIstioも活用したいところ
    25
    https://static.sched.com/hosted_files/kccncna19/20/3
    %20Manesh%20and%20Siram%20New%20V2.pptx.pdf

    View full-size slide

  26. Challenge:
    Security
    • Secretをどう管理するか
    • 集中管理しなければならない、しかしクラウドと
    の接続が切れたときにも鍵は使えなければならな

    • WalmartはVaultから取ってきたsecretをetcdに一時
    的に保存するoperatorを作成
    • Policy Enforcement
    • 多数のKubernetesクラスタに同じようにPolicyを適
    用しなければならない
    • Istio + GitOpsが良さそう
    26
    https://static.sched.com/hosted_files/kccncna19/20/3
    %20Manesh%20and%20Siram%20New%20V2.pptx.pdf

    View full-size slide

  27. Challenge:
    Resiliency
    • Edgeで動いているサービスが落ちたときにど
    うなるか
    • Kubernetesクラスタ単体でのResiliencyに頼る
    (サービス復旧まで待つことが許容できる)か
    • 障害が起きたサービスだけクラウド側に逃がすか
    • WalmartはIstio Meshによりマイクロサービスレベ
    ルでクラウド側のサービスと接続できるようにし

    • どちらかというと正しくマイクロサービスが
    設計されていることが重要
    27
    https://static.sched.com/hosted_files/kccncna19/20/3
    %20Manesh%20and%20Siram%20New%20V2.pptx.pdf

    View full-size slide

  28. まとめ
    • Edge Computingの要件はユースケースによって多種多様。
    • マルチKubernetesクラスタは当たり前になってきているが、これを
    Edge Computingの領域にまで活用しようとするとまだまだ課題は多
    い。
    • ある程度クラウドネイティブ化ができているアーキテクチャは、比
    較的Edge Kubernetesに持って行きやすい。
    • 時間はかかるが、ひとつひとつ課題をクリアしていくことが必要。
    29

    View full-size slide