20231211_CloudNative Days講演「from monolith to cloud native」株式会社ジール

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

3 ©2023 ZEAL CORPORATION. All Rights Reserved. 自己紹介 NOH SEONTAEK ノソンタク株式会社ZEAL クラウドマネージドサービスユニットチーフスペシャリスト韓国で約15年間サーバープログラマー、クラウドエンジニア、エンジニアリングマネージャーとして勤務 2016年より日本の会社に入社後、サーバプログラマー、クラウドエンジニア、アーキテクトとして勤務中好きな技術：分散クラスタリング、マイクロサービス、IaC 北海道の大自然を満喫しながら日々を楽しんでいる中

Slide 4

Slide 4 text

4 ©2023 ZEAL CORPORATION. All Rights Reserved. 実績分散コンピューティングシステム、グリッドコンピューティング、Hadoop関連論文寄稿(韓国) データ分析プラットフォームの構築および開発 • Hadoop, Hive, Flume クラスター構築 (AWS Cloudformation + Ansible) • データ分析および集計ETLシステム : Opensearch, Kafka, AWS EMR, AWS EKS, GCP BigQuery • API プログラミング : Java Springboot (MSA), Go, Scala ゲームプラットフォームの構築および開発 • APおよびバックエンドの構築 (AWS Cloudformation + Azure Resource Templates) • AWS DynamoDB, AWS redshift, AWS ECS / Fargate • 対数分析および行動パターン分析 : Fluentd, Elasticsearch, AWS Athena スポーツ競技ブロードキャスティングマッシュアップサービスの構築および開発チームDevOps、GitOps環境構築

Slide 5

Slide 5 text

5 ©2023 ZEAL CORPORATION. All Rights Reserved. ジールの事業紹介 SRE支援クラウドインフラの整備やクラウド環境の自動化などを通じて、サービスの信頼性を向上の支援 Site Reliability Engineering コア事業：データプラットフォーム開発クラウド事業：SRE支援 Infrastructure as Code Container Orchestration microservice CI/CD Observability FinOps

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

8 ©2023 ZEAL CORPORATION. All Rights Reserved. レガシーアプリケーションレガシアプリケーション (モノリス) • 新機能のリリースに時間がかかる -> Technical Debt • ビジネスニーズへの機敏な対応が困難 • 既存の機能を変更および改善するには、多くの手順を実行する必要があるインフラストラクチャの問題 (オンプレミス) • ハードウェアとオペレーティングシステムの老朽化 -> 運用コストの増加、信頼性の低下 • 新規システムへの移転には多くの時間が必要

Slide 9

Slide 9 text

10 ©2023 ZEAL CORPORATION. All Rights Reserved. Cloud Native クラウドネイティブ技術は、組織がパブリック、プライベート、ハイブリッドクラウドのような現代的で動的な環境で拡張可能なアプリケーションを開発·実行できるようにするコンテナ、サービスメッシュ、マイクロサービス、不変(Immutable)インフラ、そして宣言型(Declarative)APIなどを活用して回復性、管理利便性、可視性を備えた緩やかに結合されたシステムを可能にする CNCFのクラウドネイティブの定義には、4つの重要な要素が含まれている • DevOps • CI/CD • Containers • Microservices

Slide 10

Slide 10 text

11 ©2023 ZEAL CORPORATION. All Rights Reserved. レガシーを解決するために Monolithic Architecture System S/W Middleware Databases OS Virtual Machine Hardware Hardware SRE/DevOps Container CI/CD Microservice Architecture Microservice Microservice Microservice Operation Environment Development Environment System S/W Middleware Container Legacy Ststem Cloud Native Ststem Microservices Divide&Conquer PaaS conversion Cloud Integration Infrastructure as Code Observability

Slide 11

Slide 11 text

12 ©2023 ZEAL CORPORATION. All Rights Reserved. CloudNative VS Cloud-based systems カテゴリクラウドネイティブクラウドベースサービスモデルコンテナ基盤PaaS 仮想化基盤IaaS 設計スタート段階からクラウドの長所である敏捷性、拡張性、そして移動性を最大限活用できるよう設計オンプレミスで構築したシステムをクラウドに移行して運用構築ハードウェアやソフトウェアに依存することなく、標準ベースのソフトウェアを使用して迅速かつ効率的に導入セットアップは特定のハードウェアとソフトウェアに依存しており、構築に時間がかかる拡張性マイクロサービスに基づいて、サービス全体に影響を与えることはなく、更新が必要なサービスのみを変更でき、サービス単位のスケールイン/スケールアウトをサポートアプリケーションのアップデートが手作業のため、長時間のダウンタイムが必要で、スケールイン/スケールアウトが難しい費用インフラ部分への依存性がないのでコストが安いアプリケーションが大きくなるほど、インフラストラクチャのコストは高くなるメンテナンス CI / CD バージョン管理、インストール、および構成管理は手作業で複雑

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

21 ©2023 ZEAL CORPORATION. All Rights Reserved. Microservices 2011年、ベネチアの一部アーキテクトが集まり、自分たちが探求していたアーキテクチャスタイルを「Microservice」と命名自生的に生まれたため明確な定義がない独立して開発·実行されるソフトウェアコンポーネント（サービス）を複数組み合わせて1つのアプリケーションとして構築する仕組み

Slide 20

Slide 20 text

Slide 21

Slide 21 text

23 ©2023 ZEAL CORPORATION. All Rights Reserved. マイクロサービスへの分離 Microservices A B C D E F G H Microservices Microservices Microservices Microservices Microservices Microservices Interface A B C D E H G F FIFO Queue SUB-PUB Microservices Microservices

Slide 22

Slide 22 text

24 ©2023 ZEAL CORPORATION. All Rights Reserved. 事例 Netflix 2008年深刻なデータベース損傷によりDVD配送が3日間中断これを機にクラウドへの転換と共にモノリシックからマイクロサービスへ変更 Uber 2013年頃、二つのモノリシックシステムから2015年マイクロサービスに転換完了 SoundCloud プロセス短縮のためフィーチャー単位のチームを構成、モノリシックシステムのコードを分離して独立したサービスに転換(既存配布時間66日から9日に短縮)

Slide 23

Slide 23 text

25 ©2023 ZEAL CORPORATION. All Rights Reserved. 事例 Netflix プロダクション環境に600以上のサービスが存在。1日に500回以上配布 Uber プロダクション環境に1000以上のサービスが存在。毎週数千回以上配布 WeChat プロダクション環境に3000以上のサービスが存在。毎日1000回以上配布 Google GmailからYouTube、検索に至るまでGoogleのすべての製品はコンテナで実行毎週数十億個以上のコンテナを生成

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

30 ©2023 ZEAL CORPORATION. All Rights Reserved. ユーザーストーリーに関連するユーザーシナリオなどの機能要件を定義アプリケーションドメインモデルを大まかに描いた後、各システムタスクの動作を記述するために必要な単語を定義各アプリケーションがどのリクエストを処理するかを識別し、明細を定義マイクロサービスアーキテクチャ定義:ステップ 1 – システム作業識別機能要件私はユーザーとして00をして XXになりたい私はサーバーとして00をして XXにしたい service createRequest() acceptRequest()

Slide 27

Slide 27 text

32 ©2023 ZEAL CORPORATION. All Rights Reserved. ビジネス能力パターン別分解 • ビジネス能力とは、ビジネスが価値を生み出すために行う行為を意味 • ビジネス能力は通常、ビジネスオブジェクトに集中し、複数のサブ能力に分解でき、各開発したいソフトウェアのドメインを分析してビジネス能力を導出し、分離するマイクロサービスアーキテクチャ定義ステップ 2 – サービス分解戦略決定機能要件私はユーザーとして00をして XXになりたい私はサーバーとして00をして XXにしたい createRequest() acceptRequest() AA サービス BB サービス CC サービス

Slide 28

Slide 28 text

33 ©2023 ZEAL CORPORATION. All Rights Reserved. サブドメインパターン別分解 • DDDは、オブジェクト指向ドメインモデル中心のソフトウェアアプリケーションをモデリングする手法 • よくユビキタスランゲージと呼ばれるドメインの専門家や開発者などを含むチーム全体で共用で使用する言語を定義する •DDDにはマイクロサービスアーキテクチャに適用できる有用なサブドメインとバウンデッドコンテキストという概念がある. マイクロサービスアーキテクチャ定義ステップ 2 – サービス分解戦略決定機能要件私はユーザーとして00をして XXになりたい私はサーバーとして00をして XXにしたい createRequest() acceptRequest() AA サービス BB サービス CC サービス CC サブドメイン BB サブドメイン AA サブドメイン AA ドメインモデル BB ドメインモデル CC ドメインモデル mapped mapped mapped

Slide 29

Slide 29 text

35 ©2023 ZEAL CORPORATION. All Rights Reserved. マイクロサービスアーキテクチャ定義ステップ３ – サービス別API定義各サービスごとのAPI（作業とイベント）を定義どのサービスが要請の進入点なのかを設定しなければならず、配分後にサービスがどのように協同すべきかを決める機能要件私はユーザーとして00をして XXになりたい私はサーバーとして00をして XXにしたい createRequest() acceptRequest() AA サービス BB サービス CC サービス verifyRequest()

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

42 ©2023 ZEAL CORPORATION. All Rights Reserved. コンテナ化コンテナ環境の構造比較 Hardware Operating System Hardware Operating System Hypervisor Hardware Operating System Container Runtime Operating System Operating System Bin / Library Bin / Library Bin / Library Bin / Library Bin / Library App App App App App App App App App App Traditional Deployment Virtualized Deployment Container Deployment Virtual Machine Virtual Machine Container Container Container

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

46 ©2023 ZEAL CORPORATION. All Rights Reserved. コンテナオーケストレーション (Container Orchestration) 複雑なコンテナ環境を効果的に管理するためのツールサーバー管理者の役割に代わるプログラムを作成するツール多様なコンテナオーケストラが登場 • DEIS • RANCHER • MESOS • MARATHON • Nomad • Docker SWARM • Kubernetes

Slide 38

Slide 38 text

47 ©2023 ZEAL CORPORATION. All Rights Reserved. Kubernetes コンテナを簡単かつ迅速に配布/拡張し、管理を自動化するオープンソースプラットフォーム 2015年グーグルにより公開 (v 1.0 release) • 週に20億個のコンテナを作成 • コンテナ配布/管理のために使用していたborgをベースに作ったオープンソース CNCFにコード寄付

Slide 39

Slide 39 text

50 ©2023 ZEAL CORPORATION. All Rights Reserved. 開発環境既存システム vs. K8S 開発１チーム開発２チーム開発Nチーム業務業務業務業務業務業務 middle ware middle ware middle ware OS OS OS server server server on- premise cloud cloud shell- script web- console macro Kubernetes server container container container container container container Image repository SRE / Platform 動的な開発チーム構成コンテナベースの標準化された環境と管理無停止配布開発１チーム開発２チーム開発Nチーム

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

62 ©2023 ZEAL CORPORATION. All Rights Reserved. CI / CD CI (Continuous Integration) • 開発環境で開発中のコードを統合し、必要に応じてテストを並行して行う一連のプロセス CD (Continuous Delivery / Continuous Deployment) • Continuous Delivery • 開発者がアプリケーションに適用した変更点がバグテストを経てリポジトリ(gitまたはコンテナレジストリ)に自動的にアップロードされる一連のプロセス • Continuous Deployment • 開発者の変更をリポジトリから顧客が利用可能なプロダクション環境まで自動的にリリースする一連のプロセス

Slide 49

Slide 49 text

65 ©2023 ZEAL CORPORATION. All Rights Reserved. CI / CD Example (Jenkins + argoCD) Developer Pipeline System Operator Pipeline Code commit / push webhook trigger application codes repository Jenkins CI AWS ECR Kubernetes Argo CD GitOps repository Docker image push New docker image pull Manifest sync Manifest commit / push Manifest / Chart.yaml upload Manifest sync / diff

Slide 50

Slide 50 text

Slide 51

Slide 51 text

67 ©2023 ZEAL CORPORATION. All Rights Reserved. Observability Observability • ITやクラウドコンピューティングにおいて、オブザーバビリティは、ログ、メトリック、トレースなどのシステムで生成されるデータに基づいて、システムの現在の状態を測定（または推論）する機能 Monitoring • ある対象を監視、観察するという意味で、モニタリングの目的は持続的な監視、監察を通じて対象の状態や可用性、変化などを確認し備えること

Slide 52

Slide 52 text

69 ©2023 ZEAL CORPORATION. All Rights Reserved. Observability Observability vs Monitoring MONITORING OBSERVABILITY SMS NMS DBMS APM FMS TMS IMS VMS BMS Server1 Server2 Server3 NET1 NET2 NET3 DB1 DB2 DB3 APP1 APP2 APP3 Metrics Tracing Logging AI より良い可視性の確保潜在的問題識別信頼性と性能改善会議時間短縮

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

73 ©2023 ZEAL CORPORATION. All Rights Reserved. 結論理想的なクラウドネイティブ Observability (AIOps) IaC (GitOps) CI / CD (DevOps) Kubernetes Patterns (Automatable Containers at Scale) Microservices Principles (Services optimized for change) Hexagonal Architecture (Decoupled infrastructure components) Domain-Driven Design (Ubiquitous domain model) Clean Code (Well-crafted code)

Slide 56

Slide 56 text

74 ©2023 ZEAL CORPORATION. All Rights Reserved. 結論クラウドネイティブの成熟度 Level 0 : Cloud Ready Level 1 : Cloud Friendly Level 2 : Cloud Resilient Level 3 : Cloud Native • クラウド準備段階 • ハードウェア仮想化 • コンテナ化された画像による実行環境 • 内部ファイルシステムのない環境 • クラウド親和段階 • 緩いシステム結合構造 • 名前で探すサービス(サービスディスカバリー) • 12-factor app 原則の遵守 • クラウド深化段階 • 集中化されたモニタリング、メトリクス • マルチクラウドを網羅するスケール戦略 • 積極的な障害テスト、カバレッジを90%以上追求 • クラウドネイティブ • マイクロサービス構造を使用し、原則に従う • APIベースのソフトウェアアーキテクチャ

Slide 57

Slide 57 text

76 ©2023 ZEAL CORPORATION. All Rights Reserved. 結論 Stranger Facade Pattern Stranger Facade Stranger Facade Legacy App. (Monlith) Modern App. (Microservice) Legacy App. (Monlith) Modern App. (Microservice) Modern App. (Microservice) Modern App. (Microservice) Modern App. (Microservice) Modern App. (Microservice) Modern App. (Microservice) Modern App. (Microservice) Modern App. (Microservice) Modern App. (Microservice) Modern App. (Microservice) 初期転換転換加速転換完了