Tweet
Tweet

Slide 1

Slide 1 text

GCPでのバッチ処理 パターンを考えてみる 3-shake SRE Tech Talk 2022/12/15 佐藤慧太@SatohJohn

Slide 2

Slide 2 text

自己紹介 佐藤 慧太@SatohJohn - toC向けアプリケーションの作成を やってます - GCP触ってます - 転職します(有給消化task実行中 - 結婚します(婚姻task実行中 2

Slide 3

Slide 3 text

今回話すこと GCPでのバッチ処理を実装するとしたら、どんな手段があるのか？ それぞれの機能について、個人の感覚での紹介で話したいです 3

Slide 4

Slide 4 text

バッチ処理における観点 持論として - どのくらいの頻度で実施するのか？ - どんな処理をするのか？ - どれぐらい時間がかかるのか？ で、基本的には使い分けるのが良いと思っております 4

Slide 5

Slide 5 text

どのくらいの頻度で実施するのか？ - 定期的に実施したい - 1時間、1日に1度など - データが来た度に実施したい - 1回だけ実施したい - 同じジョブを再度実施したいこともある 5

Slide 6

Slide 6 text

どんな処理をするのか？ - ETL的に他サービスのデータを整形して保存したい - 内部データの整理をしたい - データの整合性を担保したい、不要なゴミデータを削除したい - 集計、加工をして、別の storeにいれて、キャッシュとして利用したい - 機械学習モデルのトレーニング、評価をしたい 6

Slide 7

Slide 7 text

どれぐらい時間がかかるのか？ - 軽い処理(5分以内) - まぁまぁな処理(1時間以内) - 重い処理(それ以上) 7

Slide 8

Slide 8 text

個人の感覚におけるフローチャート 8

Slide 9

Slide 9 text

使えそうなGCPサービスの例 - Cloud Schedulerを使う - Cloud Functions - Cloud Run Jobs - Batch - Vertex Pipeline - その他 - Google Kubernetes Engine - Big Query - Cloud Data Fusion 9

Slide 10

Slide 10 text

Cloud Schedulerを使う 10

Slide 11

Slide 11 text

Cloud Functions - HTTPまたはPubSubで起動するスクリプトが簡単にかける - 金額安く、簡単な処理がかけるのでお手軽 - 処理時間がかかる場合は別手段を検討すべき - 実装できる言語が限られるのが難点かも 11

Slide 12

Slide 12 text

Cloud Run Jobs - Cloud Functionsよりも実行時間長く、かつ、CPUメモリも多く使える - とはいえ1時間が限度なのでそれ以上は無理 - コンテナとして起動するので実装言語は何でもいい - Taskとしてまとめられるので、結果がコンソールで時系列で見れる 12

Slide 13

Slide 13 text

Batch - Cloud Runよりもより長時間で、GPUを使ったタスクも実行できる - 特定のimageまたはscriptをCompute Engine上で動かすことができるようなもの - SSDとかFileStorageをマウントしたVMを指定して動かすということができる - spot vmも使えるので金額は抑えやすい - Cloud RunのようにTaskとしてまとまるわけじゃない - jobIdを一意として実行されるので、定期的に同じを jobをやる場合 コンソール上だと命名規則規則などで若干工夫が必要 13

Slide 14

Slide 14 text

Vertex Pipeline - 機械学習のpipelineの処理に適したサービス - 評価データの結果を閲覧できる - バージョンの比較もできる - AI pipelineとおんなじ感じでかける（らしい 14

Slide 15

Slide 15 text

その他 15

Slide 16

Slide 16 text

Google Kubernetes EngineのCronJob - Kubernetes上で完結できるため、管理はしやすいかな - 実行時間制限が基本ないので困ったらこれ - 制限することもできる https://cloud.google.com/kubernetes-engine/docs/how-to/cronjobs?hl=ja - Kubernetesにシステムを寄せているのであれば使っていくのはあり 16

Slide 17

Slide 17 text

BigQuery - Scheduled Query - 外部リソースを使えるようにして定期的に外部データをテーブルに突っ込むことができる - 単純な集計はこれが一番良さそう - Data Transfer Service - AWSのS3のデータなどの外部データを、 BigQueryに突っ込むことができる - データの整合が取れていれば問題なく行けるが、だいたいうまく行かないので、 Dataflowとかを 使うことが多い 17

Slide 18

Slide 18 text

Cloud Data Fusion - GUIを使ってpipelineを作成ができるETLツール - プログラミングしなくてもデータを整形できる - 定期実行の処理も内部で任せられる - pipelineの結果もまとまるのである程度見やすい - ログは見やすいとは言えない 18

Slide 19

Slide 19 text

まとめ 今回紹介しているのは本日までの個人的な感覚です 他にもありますので一度触ってみて感触を確かめるのがいいかなど思います 19

Slide 20

Slide 20 text

まとめ 今回紹介しているのは本日までの個人的な感覚です 他にもありますので一度触ってみて感触を確かめるのがいいかなど思います 個人的にバッチ処理のおすすめはCloud Run Jobsです 20

Slide 21

Slide 21 text

おわり 21