GoとKubernetesを用いたバッチ開発のすすめ

GoとKubernetesを用いたバッチ開発のすすめ @awakot Go Conference 2022 Spring

自己紹介 Toshiki Kawamura 株式会社Voicy BE→SRE Twitter: awakot_56 Github: awakot

今日の話題 1. Go×Kubernetesを用いたバッチ開発方法の概要 2. 開発運用して感じたメリットとTips

ここでのバッチ処理とは任意のタイミングで対象データに対してまとめて実施される処理例・任意のタイミングで対象ユーザーにメールを送るシステム・月初に定期購読ユーザーを更新するシステム・一定間隔で売上の集計を行うシステム

バッチシステムに関して - GoでCLIを作成し、Kubernetes上で実行 - バッチ処理を実行するCLIツールとしてメインで利用したのは spf13/cobraパッケージ - https://github.com/spf13/cobra - KubernetesやIstioなどでも使用されていて、スター数も2万以上
- Command構造体に名前などを定義するだけで簡単に実行可能 - オプションフラグやエイリアスなど、CLIに必要な要素を簡単に設定することができる

CLIを作る

まずはサブコマンドを定義

サブコマンドを定義 type hogehogeOptions struct { Notice bool Dryrun bool }
func (opt *hogehogeOptions) Run(ctx context.Context, w io.Writer) error { //ここに必要な処理を書く return nil } func HogeCommand(ctx context.Context) *cobra.Command { opt := &hogehogeOptions {} cmd := &cobra.Command{ Use: “hoge”, Short: “ 処理の説明“, Run: func(cmd *cobra.Command, args [] string) { if err := opt.Run(ctx, cmd.OutOrStdout()); err != nil { panic(err) } }, } cmd.Flags().BoolVarP(&opt.Notice, “notice”, “”, opt.Notice, “notice”) cmd.Flags().BoolVarP(&opt.Dryrun, “dryrun”, “”, opt.Dryrun, “dryrun”) return cmd

ルートコマンドにサブコマンドを追加していく ctx := context.Background() rootCmd := &cobra.Command{Use: “batch”} rootCmd.AddCommand(subcmd.HogeCommand(ctx)) rootCmd.AddCommand(subcmd.FooCommand(ctx))

Kubernetesでバッチを実行する

CronJobの定義例（一部） apiVersion: batch/v1beta1 kind: CronJob metadata: name: name namespace: namespace
spec: schedule: “00 18 * * * ” concurrencyPolicy: Forbid jobTemplate: spec: template: spec: containers: - name: hogehoge image: <image名> args: - /app/batch - hoge restartPolicy: Never #以下環境変数など

Go×Kubernetesでバッチ開発をしてみて - 他アプリケーションと同じくKubernetes上で管理や監視できる - JobやCronJobの実行をYAMLで管理できる - アプリケーションと同じ言語で書け、共通処理はそのまま利用できるので開発効率が上がる - ゴルーチンを用いた並行処理の導入で実行時間を短縮

バッチ開発のTips

リトライや冪等性を担保する仕組みを導入するバッチ処理が時に失敗する可能性があり、そういった場合に備えてシステム内にリトライの仕組みや、リトライ時に備えた処理の冪等性が担保される仕組みを導入しておくと、バッチ処理が仮に失敗しても簡単にリカバリが効くようになるまた、KubernetesのCronJobにおいては以下のようなコマンドを実行することでCronJobから即時実行されるJobを生成することが可能 kubectl create job job-name
--from=cronjob/cronjob-name -n namespace

1つのバッチの責務を小さくする例えば大量のデータを一気に処理する場合には、１つのバッチの処理する量を減らし、段階に分けた処理の実行や分割など、一つのバッチ毎の責務を小さくすることでリトライ設計や失敗時のリカバリがしやすく管理のしやすいものになる

ゴルーチンをうまく利用するバッチ処理では大量データを扱うようなものが多いので、ゴルーチンを用いて並行処理をすることで比較的簡単に処理時間を短縮することが可能ただ並行処理を不必要に乱用するとシステムの複雑性が上がるため、注意は必要。 sync.WaitGroupやerrgroup.Groupなどを用いて、ゴルーチンの管理を丁寧にする必要はある

オプションフラグを活用する cmd.Flags().BoolVarP(&opt.Notice, “notice”, “”, opt.Notice, “notice”) cmd.Flags().BoolVarP(&opt.Dryrun, “dryrun”, “”, opt.Dryrun,
“dryrun”) バッチの動作確認をする際などに利用できるオプションを追加すると動作確認が簡単にできるようになり非常に便利 (例) - メールなどの通知の送信を伴うバッチにおいては、noticeフラグをつけた際にのみ通知を送る - dryrunフラグをつけるとデータの更新がされず処理内容のログが出るだけにする

Go×Kubernetesで快適なバッチライフを！

ご清聴ありがとうございました！

GoとKubernetesを用いたバッチ開発のすすめ

GoとKubernetesを用いたバッチ開発のすすめ

To Kawa

More Decks by To Kawa

Other Decks in Programming

Featured

Transcript