Kubernetes でワークフローを組むなら cdk8s-argoworkflow がよさそう！/ cdk8s-argoworkflow is great!

Slide 1

Slide 1 text

© 2024 Mizuho Research & Technologies, Ltd. Kubernetes でワークフローを組むなら cdk8s-argoworkflow がよさそう！ JAWS-UG CDK支部 #14 2024年5月22日技術開発本部先端技術研究部 0 （免責事項）当レポートは情報提供のみを目的として作成されたものであり、商品の勧誘を目的としたものではありません。本資料は、当社が信頼できると判断した各種データに基づき作成されておりますが、その正確性、確実性を保証するものではありません。また、本資料に記載された内容は予告なしに変更されることもあります。

Slide 2

Slide 2 text

Slide 3

Slide 3 text

© 2024 Mizuho Research & Technologies, Ltd. 2 全文検索システムの概要 • Elasticsearch を活用した社内向けの全文検索システム • クローラーのワークフロー管理に Argo Workflows を利用 Client 端末 Data Source Frontend Backend NoSQL Database k8s (k3s) Web Application Data Pipeline Argo CD Container-Based Infrastructure Argo Workflows 全文検索システム Crawlers 本番環境はオンプレで開発環境のみ AWS 利用

Slide 4

Slide 4 text

© 2024 Mizuho Research & Technologies, Ltd. 3 Argo Workflows とは？ • Kubernetes ネイティブなオープンソースのワークフローエンジン • マニフェスト（IaC テンプレート）で実行順序や並列処理などのワークフローを定義 https://argo-workflows.readthedocs.io/en/latest/ ワークフローの実行画面

Slide 5

Slide 5 text

© 2024 Mizuho Research & Technologies, Ltd. 4 Argo Workflows のユースケース（公式の docs より抜粋） • Machine Learning pipelines • Data and batch processing • Infrastructure automation • CI/CD • Other use cases 全文検索システムでは本用途で利用

Slide 6

Slide 6 text

© 2024 Mizuho Research & Technologies, Ltd. 5 Argo Workflows 関連の資料は以下がオススメ https://speakerdeck.com/makocchi/how-to-use-argo-workflows なぜ Argo Workflows を使うのか分かりやすい！ https://techblog.zozo.com/entry/faans-argo-workflows セットアップから使い方まで網羅されている

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

© 2024 Mizuho Research & Technologies, Ltd. 24 スナップショットテストと生成 AI で簡単且つ安全にリファクタリング！ 1. スナップショットテストを実行 2. 生成 AI にコードをまるっと投げて可読性・保守性に考慮したリファクタリングを依頼（秘匿情報が入らないように注意） 3. 生成 AI の結果を持ってきて、スナップショットテストを再実行 4. 結果に差分がなければ commit ！ ⇒この使い方だと適当なプロンプトでも大体うまくいきます cdk8s-argoworkflow を使ってみた結果

Slide 26

Slide 26 text

© 2024 Mizuho Research & Technologies, Ltd. 25 まとめ • K8s における Argo Workflows の有用性は先人達が証明済 • Argo Workflows 単体の利用では YAML 特有の悩みあり • cdk8s-argoworkflow を使えば、開発者体験や保守性が高まる！ • Construct Hub にはお宝が眠っているかも？車輪の再発明をせず、エコシステムで効率よく開発しよう！