機械学習で使用しているGCSの料金を激減させた話

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

機械学習ジョブの環境構成 © 2024 Wantedly, Inc. ウォンテッドリーではプロダクトの様々なところで機械学習を使用しており、バッチジョブのフローは大まかに下記のようになっています 1. BigQuery・GCSからデータを取得 2. 様々な処理 3. 結果をBigQuery・GCSに出力 BigQuery 機械学習ジョブ BigQuery Cloud Storage Amazon EKS k8s上で動いているため Pod内のファイルは揮発性処理1 処理2 処理3 処理N ロード保存中間生成物を出力 Cloud Storage

Slide 6

Slide 6 text

DS視点での問題意識 : 過去の機械学習の出力を再現できるようにしたい © 2024 Wantedly, Inc. - 再実行しても過去に実行した機械学習ジョブの挙動を完全に再現する事が難しい - 機械学習ジョブの一部にランダム性が入り込む箇所があるのが原因 - 異常などが発生した際に後から機械学習ジョブの挙動を再現したくなるケースがある - そこでジョブの中間出力を GCSに保存する運用に元々の方針初期の問題意識機械学習ジョブ処理1 処理2 処理3 処理N 中間生成物機械学習ジョブ処理1 処理2 処理3 処理N ①中間生成物を GCSに保存 ②後で調査が必要になる際は中間生成物から実行を再現中間生成物が保存できないと実行の再現ができない Cloud Storage

Slide 7

Slide 7 text

DS視点での問題意識 : 過去の機械学習の出力を再現できるようにしたい © 2024 Wantedly, Inc. - 再実行しても過去に実行した機械学習ジョブの挙動を完全に再現する事が難しい - 機械学習ジョブの一部にランダム性が入り込む箇所があるのが原因 - 異常などが発生した際に後から機械学習ジョブの挙動を再現したくなるケースがある - そこでジョブの中間出力を GCSに保存する運用に過去の機械学習ジョブの中間出力を全てGCSに保存 → これがコストが高い原因うわっ… 私のGCSの料金高すぎ… 元々の方針機械学習ジョブ処理1 処理2 処理3 処理N ①中間生成物を GCSに保存 Cloud Storage

Slide 8

Slide 8 text

Slide 9

Slide 9 text

コスト削減のアイデア : ストレージクラスを最適化する © 2024 Wantedly, Inc. GCSにはストレージクラスが複数あり、コストのかかり方が異なる Standard ストレージ Nearline ストレージ Coldline ストレージ Archive ストレージ保存のコストアクセスのコスト高安高安あまりアクセスしないファイル頻繁にアクセスするファイル方針もともとはすべて Standerd ストレージクラス

Slide 10

Slide 10 text

GCSの使用用途の整理 © 2024 Wantedly, Inc. 調べたところ、DSによるGCSの用途は大きく3種類 - それぞれオブジェクトに対するアクセスパターンが異なる日々実行されるジョブの中間生成物開発時の中間生成物機械学習ジョブの中で利用されるアセット 1 2 3 アクセス頻度滅多にアクセスされない開発時は頻繁にアクセスその後は滅多にアクセスされない実行のたびにアクセス Standardストレージのまま保存後にしばらく時間が経過した後はストレージクラスを変えて問題ない方針

Slide 11

Slide 11 text

対応 : アクセスパターンを考慮してストレージクラスを動的変更 © 2024 Wantedly, Inc. アクセスされにくいファイルをコールドなストレージクラスに自動で移行させる - 手法 - ライフサイクルを設定（今回は細かい調整をするためにこちらで実施） - Autoclassを設定すべてStandard ストレージ Before After 動的にストレージクラスを変更保存後時間に応じてストレージクラスを自動で移行頻繁にアクセスされる or 最近保存されたファイルはそのまま Standard Nearline, Coldline

Slide 12

Slide 12 text

Slide 13

Slide 13 text