Tweet
Tweet

Slide 1

Slide 1 text

Keynote: Seamless Customer Experience at Walmart Stores Powered by Kubernetes@Edge Kubernetes Meetup Tokyo #26 @jyoshise

Slide 2

Slide 2 text

whoami 2 • Junichi Yoshise / 吉瀬 淳一 • @jyoshise • Chief Architect, Cloud Native Computing • Hewlett Packard Enterprise jyoshiseの所在 日本 それ以外

Slide 3

Slide 3 text

セッション紹介 3

Slide 4

Slide 4 text

4 Maneesh Vittolia Principal Architect, Walmart Sriram Komma Principal Product Owner, Walmart Slide: https://static.sched.com/hosted_files/kccncna19/20/3%20Manesh%20and%20Siram%20Ne w%20V2.pptx.pdf Video: https://www.youtube.com/watch?v=sfPFrvDvdlk

Slide 5

Slide 5 text

5 https://static.sched.com/hosted_files/kccncna19/20/3%20Manesh%20and%20Siram%20New%20V2.pptx.pdf

Slide 6

Slide 6 text

6 https://static.sched.com/hosted_files/kccncna19/20/3%20Manesh%20and%20Siram%20New%20V2.pptx.pdf

Slide 7

Slide 7 text

7 https://static.sched.com/hosted_files/kccncna19/20/3%20Manesh%20and%20Siram%20New%20V2.pptx.pdf

Slide 8

Slide 8 text

8 https://static.sched.com/hosted_files/kccncna19/20/3%20Manesh%20and%20Siram%20New%20V2.pptx.pdf

Slide 9

Slide 9 text

9 https://static.sched.com/hosted_files/kccncna19/20/3%20Manesh%20and%20Siram%20New%20V2.pptx.pdf

Slide 10

Slide 10 text

10 https://static.sched.com/hosted_files/kccncna19/20/3%20Manesh%20and%20Siram%20New%20V2.pptx.pdf

Slide 11

Slide 11 text

Edge ComputingにおけるKubernetesの活用 11

Slide 12

Slide 12 text

Disclaimer • ここからの話は一般論です。察してください。 12

Slide 13

Slide 13 text

クラウドネイティブ化の動機 • Dynamic deployment • アプリケーションの開発サイクルを早め、機能追加・変更を容易なものとし、頻繁にリリー スしたい。 • Scalability • 容易にスケールできるアーキテクチャとしたい。 • Resiliency • 自己修復性のあるアーキテクチャにより運用効率を高めたい。 • Observability • システム全体の可観測性を高め、予測可能な運用としたい。 13

Slide 14

Slide 14 text

エッジコンピューティングの動機 • Low latency • クラウド/データセンターまで行って帰ってくるのを待てない。 • Massive data • 全てのデータをクラウド/データセンターに送るほどの帯域はない。 • Privacy security • インターネットに流せない情報はその場で処理する必要がある。 • Local autonomy • クラウド/データセンターとの接続が失われた際も処理は止められない。 • Devices • データの出入り口として特別なデバイスを制御しなければならない。 14

Slide 15

Slide 15 text

• Dynamic deployment • Scalability • Resiliency • Observability 15 • Low latency • Massive data • Privacy security • Local autonomy • Devices Cloud Native Edge Computing + Edge Kubernetesで解決じゃね？ 人生そんなに甘くない

Slide 16

Slide 16 text

16 https://static.sched.com/hosted_files/kccncna19/20/3%20Manesh%20and%20Siram%20New%20V2.pptx.pdf

Slide 17

Slide 17 text

Edge Computingの検討例： 5G MEC (Mobile Edge Computing) 17 https://www.etsi.org/images/files/ETSIWhitePapers/etsi_wp28_mec_in_5G_FINAL.pdf

Slide 18

Slide 18 text

Edge Computingの検討例： Factory IoT 18 Analytic Services “IoT” Edge Processing of data in motion “Fast Data” Core Processing of data in motion “Big Data” Analysis of data at rest “AI” Deep Learning/Machine Learning NoSQL Parallel Data Flow Mgmt “Data Lake” Distributed Data Flow Mgmt Data Acquisition HPC Storage Deep Learning Business Systems Local Data Mgmt Container Management Analytic Services Over time, the edge grows as fast data processing moves from the core Model Serving Model Serving Models Edge Infrastructure Mgmt Parallel Analytic Framework HPC Storage

Slide 19

Slide 19 text

Challenge: データの同期 • Edgeのデータとクラウドのデータの整合性が取れていなければならない場合 19 https://static.sched.com/hosted_files/kccncna19/20/3%20Manesh%20and%20Siram%20New%20V2.pptx.pdf

Slide 20

Slide 20 text

Challenge: 物理的な制約 20 • Walmartは各店舗のKubernetesクラスタとして、通常のデータセンター用ラックマウントサー バーを設置。 • 北米以外のWalmartでそれが可能か？ • 誰がメンテナンスする？ • 基本的にEdge環境（店舗、工場、通信基地局など）では、過酷な環境でメンテナンスフリーに 近い形で稼働し続けなければならない。 • 温度、湿度、埃、振動、etc…

Slide 21

Slide 21 text

Challenge: インフラ（Kubernetesクラスタ自体）のライフサイクル • 遠隔地のKubernetesクラスタ自体の デプロイを集中管理する仕組み (Kubernetes as a Service)がインフラレ ベルで必要 • EdgeにはSREはいない。 • WalmartはFederated Cotrol Planeを自 作 • 結局各種要件に依存するのでこれと いった解はない • 仮想マシンベースでKubesprayなどを使 う • Rancherなどのマルチクラスタ管理 ツールを使う • Kind、K3s、Microk8sといった軽量 Kubernetesを使う 21 https://static.sched.com/hosted_files/kccncna19/20/3 %20Manesh%20and%20Siram%20New%20V2.pptx.pdf

Slide 22

Slide 22 text

Challenge: 特殊な要件 22 • 5G MECでは、端末は移動する前提 • 異なるEdgeコンピューティング環境（基地局）に切り替わった際も、アプリケーションはシームレスに 利用できなければならない • ワークロードに応じたコンピュート性能を搭載しなければならない • 推論のためのGPU、VPUなど • 特殊なデバイスへの対応 • 工場独自のIoT、各種センサーなど

Slide 23

Slide 23 text

23 https://kccncna19.sched.com/event/Uahz/kubeedge-kubernetes-native-edge-computing-framework-jason- wu-sean-wang-futurewei https://kccncna19.sched.com/event/Uafu/kubeedge-deep-dive-sean-wang-futurewei

Slide 24

Slide 24 text

Challenge: アプリケーションのデプロイ • 多数のEdgeに対するデプロイ（アプ リケーションPodだけではなく、 Kubernetes上のリソース全て）を集 中管理したい • GitOpsが最適 • WalmartはCDエンジンを自作 • 今ならArgo FlexやTektonといった GitOps/CDエンジンが使えそう 24 https://static.sched.com/hosted_files/kccncna19/20/3 %20Manesh%20and%20Siram%20New%20V2.pptx.pdf

Slide 25

Slide 25 text

Challenge: Logging and Observability • Walmartは既存のモニタリングの仕組みに Kubernetesで一般的なツールを組み合わせて 作りこんでいる模様 • 多数のEdgeからのログ・メトリックスをいか にAggregateするかがキモ • 今ならIstioも活用したいところ 25 https://static.sched.com/hosted_files/kccncna19/20/3 %20Manesh%20and%20Siram%20New%20V2.pptx.pdf

Slide 26

Slide 26 text

Challenge: Security • Secretをどう管理するか • 集中管理しなければならない、しかしクラウドと の接続が切れたときにも鍵は使えなければならな い • WalmartはVaultから取ってきたsecretをetcdに一時 的に保存するoperatorを作成 • Policy Enforcement • 多数のKubernetesクラスタに同じようにPolicyを適 用しなければならない • Istio + GitOpsが良さそう 26 https://static.sched.com/hosted_files/kccncna19/20/3 %20Manesh%20and%20Siram%20New%20V2.pptx.pdf

Slide 27

Slide 27 text

Challenge: Resiliency • Edgeで動いているサービスが落ちたときにど うなるか • Kubernetesクラスタ単体でのResiliencyに頼る （サービス復旧まで待つことが許容できる）か • 障害が起きたサービスだけクラウド側に逃がすか • WalmartはIstio Meshによりマイクロサービスレベ ルでクラウド側のサービスと接続できるようにし た • どちらかというと正しくマイクロサービスが 設計されていることが重要 27 https://static.sched.com/hosted_files/kccncna19/20/3 %20Manesh%20and%20Siram%20New%20V2.pptx.pdf

Slide 28

Slide 28 text

まとめ 28

Slide 29

Slide 29 text

まとめ • Edge Computingの要件はユースケースによって多種多様。 • マルチKubernetesクラスタは当たり前になってきているが、これを Edge Computingの領域にまで活用しようとするとまだまだ課題は多 い。 • ある程度クラウドネイティブ化ができているアーキテクチャは、比 較的Edge Kubernetesに持って行きやすい。 • 時間はかかるが、ひとつひとつ課題をクリアしていくことが必要。 29

Slide 30

Slide 30 text

Thank You 30