20240326_replace_with_cloud_workflows

Slide 1

Slide 1 text

Slide 2

Slide 2 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  2 2 はじめに山本哲也 ( tetsuya28 ) 株式会社 AbemaTV - Cloud Platform ( 2021 年新卒 ) ABEMA における EKS や GKE をはじめとして開発者が利用する基盤を管理。 CI/CD 、モニタリング、サービスメッシュ、分散トレーシングなど幅広く担当。技術: Kubernetes / Anthos Service Mesh / Open Telemetry / Grafana / Gatekeeper / Terraform 趣味: 海外旅行 / 英語 / 映画

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  12 12 旧来の構成 - 構成図 Cloud Functions が全てのサービスを終了 / 停止する ❏ 1st gen のイベントドリブンを利用していた Cloud Functions Cloud Scheduler Google Kubernetes Engine Compute Engine Memorystore Pub/Sub

Slide 13

Slide 13 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  13 13 旧来の構成 - 問題点 Cloud Functions Google Kubernetes Engine Compute Engine Memorystore 主に GKE の処理時間が伸びてきた ❏ Cloud Functions 1st gen のタイムアウトは 9 分 ❏ 2nd gen でも HTTP リクエストのみ 60 分タイムアウト 300以上のマイクロサービスを支えるマルチクラウドアーキテクチャ戦略 | ABEMA Developer Conference 2021 Cloud Scheduler Pub/Sub

Slide 14

Slide 14 text

Slide 15

Slide 15 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  15 15 現在の構成 - 構成図 Cloud Scheduler Cloud Run Jobs Workﬂows Cloud Run Jobs Cloud Run Jobs Cloud Run Jobs Google Kubernetes Engine Compute Engine Memorystore Cloud Spanner Cloud Workflows がそれぞれのサービスの終了 / 削除を担当する Cloud Run Jobs を作成する

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  19 19 現在の構成 - Cloud Workflows main: steps: - parallel_step: parallel: for: value: target in: ["gke", "gce", "spanner", "bigtable", "redis", "redis-cluster"] steps: - run_job: call: googleapis.run.v1.namespaces.jobs.run args: name: ${"namespaces/" + project_id + "/jobs/" + job_name} location: ${job_location} body: overrides: containerOverrides: - env: - name: TERMINATION_TARGET value: ${target} connector_params: timeout: 21600 # 6 hours result: job_execution ❏ 各サービスに並列化 ❏ Job の環境変数を上書き ❏ タイムアウト時間を伸ばす

Slide 20

Slide 20 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  20 20 現在の構成 - メリット Cloud Scheduler Cloud Run Jobs Workﬂows Cloud Run Jobs Cloud Run Jobs Cloud Run Jobs Google Kubernetes Engine Compute Engine Memorystore Cloud Spanner 並列処理で実行完了が高速に

Slide 21

Slide 21 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  21 21 現在の構成 - メリット Cloud Scheduler Cloud Run Jobs Workﬂows Cloud Run Jobs Cloud Run Jobs Cloud Run Jobs Google Kubernetes Engine Compute Engine Memorystore Cloud Spanner 失敗時のリトライが簡単に

Slide 22

Slide 22 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  22 22 現在の構成 Cloud Scheduler Cloud Run Jobs Workﬂows Cloud Run Jobs Cloud Run Jobs Cloud Run Jobs Google Kubernetes Engine Compute Engine Memorystore Cloud Spanner 失敗時のリトライが簡単に

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  25 25 Cloud Workflows Tips 並列処理 main: steps: - parallel_step: for: value: target in: ["gke", "gce", "spanner"] steps: - run_job: call: hoge main: steps: - parallel_step: parallel: for: value: target in: ["gke", "gce", "spanner"] steps: - run_job: call: hoge 直列処理

Slide 26

Slide 26 text

Slide 27

Slide 27 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  27 27 Cloud Workflows Tips Make authenticated requests from a workflow 公式の connector でサポートされていなくても .googleapis.com で終わるエンドポイントには自動で認証を行う Google Cloud のほとんどのエンドポイントを利用できる Slack などの外部サービスは自前で設定する必要がある

Slide 28

Slide 28 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  28 28 Cloud Workflows Tips Make authenticated requests from a workflow Cloud Workflows の呼び出し元に Eventarc を利用できる ❏ 130 を超える Google Cloud プロバイダに対応している Eventarc とも連携できる

Slide 29

Slide 29 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  29 29 まとめ ❏ Cloud Workflows を使って業務ワークフローを自動化できる ❏ Audit log の Slack 通知などにも Cloud Workflows を利用しています ❏ Cloud Workflows に任せるところ / 自前で実装するところを見極めよう ❏ 検証中に Cloud Workflows に寄せすぎて黒魔術を作ってしまった

Slide 30

Slide 30 text