Kubernetes Meetup Tokyo #26 / Recap: Kubecon Keynote by Walmart

Transcript

1. Keynote: Seamless Customer Experience at Walmart Stores Powered by Kubernetes@Edge Kubernetes Meetup Tokyo #26 @jyoshise
2. whoami 2 • Junichi Yoshise / 吉瀬 淳一 • @jyoshise • Chief Architect, Cloud Native Computing • Hewlett Packard Enterprise jyoshiseの所在 日本 それ以外
3. セッション紹介 3
4. 4 Maneesh Vittolia Principal Architect, Walmart Sriram Komma Principal Product Owner, Walmart Slide: https://static.sched.com/hosted_files/kccncna19/20/3%20Manesh%20and%20Siram%20Ne w%20V2.pptx.pdf Video: https://www.youtube.com/watch?v=sfPFrvDvdlk
5. 5 https://static.sched.com/hosted_files/kccncna19/20/3%20Manesh%20and%20Siram%20New%20V2.pptx.pdf
6. 6 https://static.sched.com/hosted_files/kccncna19/20/3%20Manesh%20and%20Siram%20New%20V2.pptx.pdf
7. 7 https://static.sched.com/hosted_files/kccncna19/20/3%20Manesh%20and%20Siram%20New%20V2.pptx.pdf
8. 8 https://static.sched.com/hosted_files/kccncna19/20/3%20Manesh%20and%20Siram%20New%20V2.pptx.pdf
9. 9 https://static.sched.com/hosted_files/kccncna19/20/3%20Manesh%20and%20Siram%20New%20V2.pptx.pdf
10. 10 https://static.sched.com/hosted_files/kccncna19/20/3%20Manesh%20and%20Siram%20New%20V2.pptx.pdf
11. Edge ComputingにおけるKubernetesの活用 11
12. Disclaimer • ここからの話は一般論です。察してください。 12
13. クラウドネイティブ化の動機 • Dynamic deployment • アプリケーションの開発サイクルを早め、機能追加・変更を容易なものとし、頻繁にリリー スしたい。 • Scalability • 容易にスケールできるアーキテクチャとしたい。 • Resiliency • 自己修復性のあるアーキテクチャにより運用効率を高めたい。 • Observability • システム全体の可観測性を高め、予測可能な運用としたい。 13
14. エッジコンピューティングの動機 • Low latency • クラウド/データセンターまで行って帰ってくるのを待てない。 • Massive data • 全てのデータをクラウド/データセンターに送るほどの帯域はない。 • Privacy security • インターネットに流せない情報はその場で処理する必要がある。 • Local autonomy • クラウド/データセンターとの接続が失われた際も処理は止められない。 • Devices • データの出入り口として特別なデバイスを制御しなければならない。 14
15. • Dynamic deployment • Scalability • Resiliency • Observability 15 • Low latency • Massive data • Privacy security • Local autonomy • Devices Cloud Native Edge Computing + Edge Kubernetesで解決じゃね？ 人生そんなに甘くない
16. 16 https://static.sched.com/hosted_files/kccncna19/20/3%20Manesh%20and%20Siram%20New%20V2.pptx.pdf
17. Edge Computingの検討例： 5G MEC (Mobile Edge Computing) 17 https://www.etsi.org/images/files/ETSIWhitePapers/etsi_wp28_mec_in_5G_FINAL.pdf
18. Edge Computingの検討例： Factory IoT 18 Analytic Services “IoT” Edge Processing of data in motion “Fast Data” Core Processing of data in motion “Big Data” Analysis of data at rest “AI” Deep Learning/Machine Learning NoSQL Parallel Data Flow Mgmt “Data Lake” Distributed Data Flow Mgmt Data Acquisition HPC Storage Deep Learning Business Systems Local Data Mgmt Container Management Analytic Services Over time, the edge grows as fast data processing moves from the core Model Serving Model Serving Models Edge Infrastructure Mgmt Parallel Analytic Framework HPC Storage
19. Challenge: データの同期 • Edgeのデータとクラウドのデータの整合性が取れていなければならない場合 19 https://static.sched.com/hosted_files/kccncna19/20/3%20Manesh%20and%20Siram%20New%20V2.pptx.pdf
20. Challenge: 物理的な制約 20 • Walmartは各店舗のKubernetesクラスタとして、通常のデータセンター用ラックマウントサー バーを設置。 • 北米以外のWalmartでそれが可能か？ • 誰がメンテナンスする？ • 基本的にEdge環境（店舗、工場、通信基地局など）では、過酷な環境でメンテナンスフリーに 近い形で稼働し続けなければならない。 • 温度、湿度、埃、振動、etc…
21. Challenge: インフラ（Kubernetesクラスタ自体）のライフサイクル • 遠隔地のKubernetesクラスタ自体の デプロイを集中管理する仕組み (Kubernetes as a Service)がインフラレ ベルで必要 • EdgeにはSREはいない。 • WalmartはFederated Cotrol Planeを自 作 • 結局各種要件に依存するのでこれと いった解はない • 仮想マシンベースでKubesprayなどを使 う • Rancherなどのマルチクラスタ管理 ツールを使う • Kind、K3s、Microk8sといった軽量 Kubernetesを使う 21 https://static.sched.com/hosted_files/kccncna19/20/3 %20Manesh%20and%20Siram%20New%20V2.pptx.pdf
22. Challenge: 特殊な要件 22 • 5G MECでは、端末は移動する前提 • 異なるEdgeコンピューティング環境（基地局）に切り替わった際も、アプリケーションはシームレスに 利用できなければならない • ワークロードに応じたコンピュート性能を搭載しなければならない • 推論のためのGPU、VPUなど • 特殊なデバイスへの対応 • 工場独自のIoT、各種センサーなど
23. 23 https://kccncna19.sched.com/event/Uahz/kubeedge-kubernetes-native-edge-computing-framework-jason- wu-sean-wang-futurewei https://kccncna19.sched.com/event/Uafu/kubeedge-deep-dive-sean-wang-futurewei
24. Challenge: アプリケーションのデプロイ • 多数のEdgeに対するデプロイ（アプ リケーションPodだけではなく、 Kubernetes上のリソース全て）を集 中管理したい • GitOpsが最適 • WalmartはCDエンジンを自作 • 今ならArgo FlexやTektonといった GitOps/CDエンジンが使えそう 24 https://static.sched.com/hosted_files/kccncna19/20/3 %20Manesh%20and%20Siram%20New%20V2.pptx.pdf
25. Challenge: Logging and Observability • Walmartは既存のモニタリングの仕組みに Kubernetesで一般的なツールを組み合わせて 作りこんでいる模様 • 多数のEdgeからのログ・メトリックスをいか にAggregateするかがキモ • 今ならIstioも活用したいところ 25 https://static.sched.com/hosted_files/kccncna19/20/3 %20Manesh%20and%20Siram%20New%20V2.pptx.pdf
26. Challenge: Security • Secretをどう管理するか • 集中管理しなければならない、しかしクラウドと の接続が切れたときにも鍵は使えなければならな い • WalmartはVaultから取ってきたsecretをetcdに一時 的に保存するoperatorを作成 • Policy Enforcement • 多数のKubernetesクラスタに同じようにPolicyを適 用しなければならない • Istio + GitOpsが良さそう 26 https://static.sched.com/hosted_files/kccncna19/20/3 %20Manesh%20and%20Siram%20New%20V2.pptx.pdf
27. Challenge: Resiliency • Edgeで動いているサービスが落ちたときにど うなるか • Kubernetesクラスタ単体でのResiliencyに頼る （サービス復旧まで待つことが許容できる）か • 障害が起きたサービスだけクラウド側に逃がすか • WalmartはIstio Meshによりマイクロサービスレベ ルでクラウド側のサービスと接続できるようにし た • どちらかというと正しくマイクロサービスが 設計されていることが重要 27 https://static.sched.com/hosted_files/kccncna19/20/3 %20Manesh%20and%20Siram%20New%20V2.pptx.pdf
28. まとめ 28
29. まとめ • Edge Computingの要件はユースケースによって多種多様。 • マルチKubernetesクラスタは当たり前になってきているが、これを Edge Computingの領域にまで活用しようとするとまだまだ課題は多 い。 • ある程度クラウドネイティブ化ができているアーキテクチャは、比 較的Edge Kubernetesに持って行きやすい。 • 時間はかかるが、ひとつひとつ課題をクリアしていくことが必要。 29
30. Thank You 30