Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Kubernetes でワークフローを組むなら cdk8s-argoworkflow がよさそ...
Search
みずほリサーチ&テクノロジーズ株式会社 先端技術研究部
May 22, 2024
Technology
3
1.5k
Kubernetes でワークフローを組むなら cdk8s-argoworkflow がよさそう!/ cdk8s-argoworkflow is great!
「 JAWS-UG CDK支部 #14」での登壇資料です。
イベントURL:
https://jawsug-cdk.connpass.com/event/317935/
みずほリサーチ&テクノロジーズ株式会社 先端技術研究部
May 22, 2024
Tweet
Share
More Decks by みずほリサーチ&テクノロジーズ株式会社 先端技術研究部
See All by みずほリサーチ&テクノロジーズ株式会社 先端技術研究部
AWS CDKでデータリストアの運用、どのように設計する?~Aurora・EFSの実践事例を紹介~/aws-cdk-data-restore-aurora-efs
mhrtech
6
1.5k
Azure Verified Moduleを触って分かった注目ポイント/azure-verified-module-begin
mhrtech
1
1.2k
BLEA v3.0.0の新しいベストプラクティスを取り入れた効率的なAWS CDK開発/jawsug_cdk16
mhrtech
3
700
あなたのアプリケーションをレガシーコードにしないための実践Pytest入門/pyconjp2024_pytest
mhrtech
7
3.2k
静的サイトのCI/CDでも侮るなかれ!Docs as Codeに沿ったセキュアな開発プロセスの実践/secure-docsascode-cicd-for-static-sites
mhrtech
14
3k
IaCでセキュリティを強化しよう!~IAMが苦手な開発者でも簡単に権限を絞れる。そう、AWS CDKならね!~/secjaws32
mhrtech
5
2.8k
AWS Control Towerを2年弱運用して得たエッセンスと展望/securityjaws31
mhrtech
1
2.1k
そのリファレンス誰のため?ユーザ活用に向き合う/finjaws31
mhrtech
0
660
AWS CDKにテストは必要?試行錯誤したスクラム開発事例を紹介!/CdkConJp2023
mhrtech
7
6.3k
Other Decks in Technology
See All in Technology
怖くない!ゼロから始めるPHPソースコードコンパイル入門
colopl
0
240
大規模言語モデルとそのソフトウェア開発に向けた応用 (2024年版)
kazato
2
450
Oracle Base Database Service:サービス概要のご紹介
oracle4engineer
PRO
1
16k
Opcodeを読んでいたら何故かphp-srcを読んでいた話
murashotaro
0
370
PHPerのための計算量入門/Complexity101 for PHPer
hanhan1978
6
1.5k
Storage Browser for Amazon S3を触ってみた + α
miura55
0
110
SpiderPlus & Co. エンジニア向け会社紹介資料
spiderplus_cb
0
460
「完全に理解したTalk」完全に理解した
segavvy
1
270
.NET 最新アップデート ~ AI とクラウド時代のアプリモダナイゼーション
chack411
0
150
C++26 エラー性動作
faithandbrave
2
880
12 Days of OpenAIから読み解く、生成AI 2025年のトレンド
shunsukeono_am
0
1k
最近のSfM手法まとめ - COLMAP / GLOMAPを中心に -
kwchrk
8
1.8k
Featured
See All Featured
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
232
17k
Producing Creativity
orderedlist
PRO
343
39k
Unsuck your backbone
ammeep
669
57k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
28
4.4k
Building Adaptive Systems
keathley
38
2.3k
Learning to Love Humans: Emotional Interface Design
aarron
274
40k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
226
22k
Build your cross-platform service in a week with App Engine
jlugia
229
18k
Building Your Own Lightsaber
phodgson
104
6.2k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
3
230
Fireside Chat
paigeccino
34
3.1k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
160
15k
Transcript
© 2024 Mizuho Research & Technologies, Ltd. Kubernetes でワークフローを組むなら cdk8s-argoworkflow
がよさそう! JAWS-UG CDK支部 #14 2024年5月22日 技術開発本部 先端技術研究部 0 (免責事項) 当レポートは情報提供のみを目的として作成されたものであり、商品の勧誘を目的 としたものではありません。本資料は、当社が信頼できると判断した各種データに 基づき作成されておりますが、その正確性、確実性を保証するものではありません。 また、本資料に記載された内容は予告なしに変更されることもあります。
© 2024 Mizuho Research & Technologies, Ltd. 1 自己紹介 氏名:松尾
優成(Matsuo Yusei) 所属:先端技術研究部 兼 プロジェクト推進部 役割:社内向けAWSプラットフォーム及び 社内向け全文検索システムの構築・運用 K8s :初心者(研修受講+コマンド少し程度) 一言:1年ぶりのCDK支部登壇頑張ります!
© 2024 Mizuho Research & Technologies, Ltd. 2 全文検索システムの概要 •
Elasticsearch を活用した社内向けの全文検索システム • クローラーのワークフロー管理に Argo Workflows を利用 Client 端末 Data Source Frontend Backend NoSQL Database k8s (k3s) Web Application Data Pipeline Argo CD Container-Based Infrastructure Argo Workflows 全文検索システム Crawlers 本番環境はオンプレで 開発環境のみ AWS 利用
© 2024 Mizuho Research & Technologies, Ltd. 3 Argo Workflows
とは? • Kubernetes ネイティブなオープンソースのワークフローエンジン • マニフェスト(IaC テンプレート)で実行順序や並列処理などのワークフローを定義 https://argo-workflows.readthedocs.io/en/latest/ ワークフローの実行画面
© 2024 Mizuho Research & Technologies, Ltd. 4 Argo Workflows
のユースケース(公式の docs より抜粋) • Machine Learning pipelines • Data and batch processing • Infrastructure automation • CI/CD • Other use cases 全文検索システムでは本用途で利用
© 2024 Mizuho Research & Technologies, Ltd. 5 Argo Workflows
関連の資料は以下がオススメ https://speakerdeck.com/makocchi/how-to-use-argo-workflows なぜ Argo Workflows を 使うのか分かりやすい! https://techblog.zozo.com/entry/faans-argo-workflows セットアップから使い方まで 網羅されている
© 2024 Mizuho Research & Technologies, Ltd. 6 『 Argo
Workflows の悩み』
© 2024 Mizuho Research & Technologies, Ltd. 7 Argo Workflows
のワークフロー整備に任命される 久しぶりの YAML 頑張るぞ・・・! (プロジェクト参画当初のこと)
© 2024 Mizuho Research & Technologies, Ltd. 8 すぐに頭を抱えることに \(^o^)/
CDK が恋しい・・! 念願の開発に着手するも・・・?
© 2024 Mizuho Research & Technologies, Ltd. 9 補完機能が弱く、設定ミスに気づきにくい YAML
管理の悩ましい点① TTL 設定を機能させるには ttlStrategy を指定 Argo Workflows で利用不可な Key があっても kubectl apply 可能 生成 AI の回答に頼らず 毎回 docs みるのもなあ…
© 2024 Mizuho Research & Technologies, Ltd. 10 アンカー/エイリアスで参照できるが、文字列結合できない YAML
管理の悩ましい点② アンカー(&) エイリアス(*) 似たような文字列が いくつもあるのに…
© 2024 Mizuho Research & Technologies, Ltd. 11 KISS の原則に沿いたいが、冗長になりがち
YAML 管理の悩ましい点③ 量産される YAML ファイル 同様の設定を 宣言的に記述 繰り返し処理したい…
© 2024 Mizuho Research & Technologies, Ltd. 12 YAML 管理課題の解決方法を模索!
© 2024 Mizuho Research & Technologies, Ltd. 13 cdk8s なら解決できそう・・・?
JAWS-UG CDK支部 #4 「cdk8s(+)ではじめるKubernetes」より抜粋 https://speakerdeck.com/horsewin/cdk8s-plus-dehazimerukubernetes
© 2024 Mizuho Research & Technologies, Ltd. 14 cdk8s (+)
の API reference には Argo Workflows の Construct なし https://cdk8s.io/docs/latest/reference/
© 2024 Mizuho Research & Technologies, Ltd. 15 代替を模索したところ… Construct
Hub にお宝発見! 「Argo Workflows」のように検索文字で 半角スペースが含まれていると ヒットしないので注意 https://construct-hub-testing.dev-tools.aws.dev/search
© 2024 Mizuho Research & Technologies, Ltd. 16 v0.0.6 時点でも
API Reference は充実していて活用できそう! Construct Hub の調査
© 2024 Mizuho Research & Technologies, Ltd. 17 README はタイトルのみなので、GitHub
に情報がないか確認 直リンクは Page not found. に 飛ぶので注意 (URLから“-resources”を要削除) Construct Hub の調査
© 2024 Mizuho Research & Technologies, Ltd. 18 スナップショットテストでサンプルコードが示されている! https://github.com/opencdk8s/cdk8s-argoworkflow/blob/main/test/cronworkflow.test.ts
ローカルでも問題なく 動き、導入を決定! GitHub の調査
© 2024 Mizuho Research & Technologies, Ltd. 19 cdk8s-argoworkflow を
使ってみた結果を共有! TypeScript で 導入しています
© 2024 Mizuho Research & Technologies, Ltd. 20 cdk8s プロジェクトでのセットアップはシンプル!
$ npm install @opencdk8s/cdk8s-argoworkflow projenを使う場合は .projenrc.ts の deps で指定するだけ cdk8s-argoworkflow を使ってみた結果
© 2024 Mizuho Research & Technologies, Ltd. 21 お馴染みの補完機能で快適! cdk8s-argoworkflow
を使ってみた結果 実装は L1 相当だけど Argo Workflows 自体の 必須項目が少ないので あまり気にならない!
© 2024 Mizuho Research & Technologies, Ltd. 22 コード支援生成 AI
と組み合わせると更に強力! cdk8s-argoworkflow を使ってみた結果 生成 AI の回答受け入れに 誤りや不足があっても 型チェックですぐに気づける! 生成 AI の提案
© 2024 Mizuho Research & Technologies, Ltd. 23 共通パラメータの集約や文字列結合は勿論のこと 繰り返し処理でコード量をグッと減らせる!
cdk8s-argoworkflow を使ってみた結果 管理対象ファイルがグッと減る 1ファイルで個別の 設定値をまとめて定義 繰り返し処理でシンプルな記述
© 2024 Mizuho Research & Technologies, Ltd. 24 スナップショットテストと生成 AI
で 簡単且つ安全にリファクタリング! 1. スナップショットテストを実行 2. 生成 AI にコードをまるっと投げて 可読性・保守性に考慮したリファクタリングを依頼(秘匿情報が入らないように注意) 3. 生成 AI の結果を持ってきて、スナップショットテストを再実行 4. 結果に差分がなければ commit ! ⇒この使い方だと適当なプロンプトでも大体うまくいきます cdk8s-argoworkflow を使ってみた結果
© 2024 Mizuho Research & Technologies, Ltd. 25 まとめ •
K8s における Argo Workflows の有用性は先人達が証明済 • Argo Workflows 単体の利用では YAML 特有の悩みあり • cdk8s-argoworkflow を使えば、開発者体験や保守性が高まる! • Construct Hub にはお宝が眠っているかも? 車輪の再発明をせず、エコシステムで効率よく開発しよう!
© 2024 Mizuho Research & Technologies, Ltd. 26
© 2024 Mizuho Research & Technologies, Ltd. 27 builders.flash で
AWS CDK を活用したプラットフォーム エンジニアリングの事例記事を書きました! おしらせ https://aws.amazon.com/jp/builders-flash/202405/mizuho-service-catalog/
© 2024 Mizuho Research & Technologies, Ltd. 28 2024年6月4日に builders.flash
で第2回の記事掲載予定! AWSアカウント発行処理における Step Functions 事例を紹介します おしらせ AWS Step Functions workflow
29