gokartで動かすバッチのコストと実行時間の両立戦略 / Strategies for balancing cost and execution time for batches run by gokart

■イベント ：【Sansan×エムスリー】gokartで爆速開発！MLOps勉強会
https://sansan.connpass.com/event/288525/

■登壇概要
タイトル：gokartで動かすバッチのコストと実行時間の両立戦略
発表者： 技術本部 研究開発部 研究員　新井 和弥

◉ 研究開発職 採用情報
募集中のポジションや関連記事など

https://media.sansan-engineering.com/

◉ Sansan Tech Blog
Sansanのものづくりを支えるメンバーのテックブログ（R&Dメンバーの連載も多数）

https://buildersbox.corp-sansan.com/

Transcript

1. Sansan株式会社 部署 名前 gokartで動かすバッチの コストと実⾏時間の両⽴戦略 Sansan技術本部 Sansan技術本部 技術本部 研究開発部 Architectグループ 新井和弥
2. 写真が入ります 新井 和弥 Sansan株式会社 技術本部 研究開発部 Architectグループ エンジニア 前職ではデータエンジニアとしてB2B SaaS企業のABMプラット フォームプロダクトの開発に従事。2022年Sansan株式会社入社。 研究開発部Architectグループ ML Platform所属。研究員とともに DevOps/MLOpsに向き合う。チームの生産性を大事にしている。 中部支社勤務。 Please call me KAZY.
3. 研究開発部内のアプリケーション基盤(K8s)で gokartをどう運⽤しているかについて話します。 本⽇のテーマ 2
4. 研究開発部のアプリケーション基盤 “Circuit”
5. Circuitって何? - 研究開発部のアプリケーション基盤 > 2022/05頃に誕生 > Kubernetes(AWS EKS) > 合計50くらいのアプリやバッチが動く - gokartも15個ほど稼働中 > 某氏も大絶賛なネーミング 詳細な紹介はこちら https://speakerdeck.com/sansan_randd/about-circuit-r-and-ds- application-platform おしゃれ、すごい、感動
6. 課題
7. 速い、安い、うまい - EC2インスタンスのコストを下げたい > 15個ほどのgokartが定期的に走る > 大きいものだとx1e.16xlargeのインスタンスが動く(≒19USD/時間) - 実行時間はなるべく短くしたい 💸 https://aws.amazon.com/jp/ec2/pricing/on-demand/
8. Timepointを利⽤した コスト削減と実⾏時間の両⽴戦略
9. Spot Instance x Dynamic workspace dir - スポットインスタンスを使う > 安い - gokartのworkspace_directoryでキャッシュ > S3に置いて中断リスクの緩和 > 実行時間の増加を最小限にする - 動的にworkspace_directoryを変更 > 定期実行時は毎回新しいworkspace_directory > Timepointと呼んでいる ConfigMapで実現 https://github.com/kubernetes/community/tree/master/icons
10. Timepointの実装
11. CronWorkflowで定期ConfigMap更新 - CronWorkflowで定期的にConfigMapの更新 > ConfigMapの作成・更新権限を付与 - ConfigMap取得した値を元に環境変数設定 - 環境変数経由でworkspace_directoryを設定 - 実現 > 定期実行時→新しいworkspace_direcotry > スポットインスタンス中断/一時エラー→既存の workspace_direcotry ConfigMapで実現 https://argoproj.github.io/workflows/
12. CronWorkflowで定期ConfigMap更新 - 定期的にConfigMapを更新するマニフェスト apiVersion: argoproj.io/v1alpha1 kind: CronWorkflow metadata: name: timepoint spec: schedule: "0 0 * * mon" timezone: Asia/Tokyo workflowSpec: entrypoint: main templates: - name: main resource: action: apply manifest: | apiVersion: v1 kind: ConfigMap metadata: name: batch-timepoint data: timepoint: '{{=sprig.dateInZone("2006-01-02", sprig.now(), "Asia/Tokyo")}}'
13. CronWorkflowで定期ConfigMap更新 - CronWorkflowがConfigMapを作成、更新できるRole apiVersion: rbac.authorization.k8s.io/v1 kind: Role metadata: name: timepoint rules: - apiGroups: - "" resources: - configmaps verbs: - create - get - patch
14. - Timepointにより動的に環境変数を設定するCronJob apiVersion: batch/v1 kind: CronJob metadata: name: hoge-batch spec: schedule: "0 0 * * mon" jobTemplate: spec: template: spec: containers: - name: batch image: 123456789012.dkr.ecr.ap-northeast-1.amazonaws.com/batch env: - name: TIMEPOINT valueFrom: configMapKeyRef: name: timepoint key: timepoint - name: WORKSPACE_DIRECTORY value: s3://workspaces_dirctory/hoge-batch/$(TIMEPOINT) CronWorkflowで定期ConfigMap更新
15. 結果
16. 速い、安い、うまいになった - キャッシュがあるので 速い - スポットインスタンスで 安い - いい感じなworkspace_directory更新で うまい 🎉
17. WE ARE HIRING JOIN OUR TEAM https://media.sansan-engineering.com/randd https://open.talentio.com/r/1/c/sansan/pages/76616