Upgrade to Pro — share decks privately, control downloads, hide ads and more …

パイプラインツールgokartのタスク競合を解消した話

Daiki Ikeshima
August 28, 2020
Programming
0
110

 パイプラインツールgokartのタスク競合を解消した話

Daiki Ikeshima

August 28, 2020
Tweet

More Decks by Daiki Ikeshima

See All by Daiki Ikeshima
gokartのキャッシュ競合防止のロック機能
mski_iksm
0
1.1k
macのunicode正規化.pdf
mski_iksm
0
16k
実臨床・Webサービス領域での機械学習研究 開発の標準化
mski_iksm
8
23k
高速化・並列化・標準化で スケールするML予測システムの開発
mski_iksm
5
2.8k
pythonでメタプログラミング（メタクラス編）
mski_iksm
1
250

Other Decks in Programming

See All in Programming
Domain-Driven Design (Tutorial)
hschwentner
13
18k
メタバースプラットフォーム 「INSPIX WORLD」はPHPもC++もまとめてC#に統一！ ～MagicOnionが支えるバックエンド最適化手法～
pulse1923
0
150
GO TechTalk #22 Reactで描くタクシーアプリ『GO』の世界
mot_techtalk
0
200
第6回 AWSとGitHub勉強会 - AWS ECS Fargate環境の構築 -
ogiwarat
0
150
外部APIとズブズブな開発どうしてますか？
kin29
1
330
技術選定の審美眼（2023年版） / Understanding the Spiral of Technologies 2023 edition
twada
PRO
53
16k
Push通知許諾率向上へのアプローチ
miyabigouji
0
1.1k
iOSエンジニアに求められる役割について
teamlab
PRO
0
190
Reimagining text fields in Compose (dcNYC 23)
zachklipp
0
250
ruby.wasmでブラウザを酷使してみよう / 2023-MatsueRubyKaigi
lnit
0
140
第4回 AWSとGitHub勉強会 - GitHub Actionsを使ったCD環境の構築 -
ogiwarat
0
140
EbitengineでGUIツール作ってみた
aethiopicuschan
0
300

Featured

See All Featured
Designing the Hi-DPI Web
ddemaree
274
33k
Art, The Web, and Tiny UX
lynnandtonic
285
18k
VelocityConf: Rendering Performance Case Studies
addyosmani
318
23k
Music & Morning Musume
bryan
37
5.1k
Done Done
chrislema
178
15k
Mobile First: as difficult as doing things right
swwweet
214
8.2k
Stop Working from a Prison Cell
hatefulcrawdad
265
18k
StorybookのUI Testing Handbookを読んだ
zakiyama
9
3.9k
GraphQLの誤解/rethinking-graphql
sonatard
44
8.5k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
351
28k
KATA
mclloyd
13
11k
How to name files
jennybc
56
84k

Transcript

  1. パイプラインツールgokartの
    タスク競合を解消した(い)話
    AI/機械学習チーム　池嶋大樹

    View Slide

  2. 自己紹介
    エムスリー　AI/機械学習チーム
    医師の興味スコア算出モデルの開発
    ↑
    コンサル　機械学習エンジニア
    ダムの流入量予測など
    ↑
    大学院　土木工学専攻
    人工衛星を使った河川の氾濫シミュレーション
    池嶋大樹
    社会人４年目
    エムスリーは２年目
    最近はキャンプにややハマり気味

    View Slide

  3. - AIチームではpythonを頻繁に使用
    - データパイプライン構築にgokartというライブラリを使用
    パイプラインツール: gokart
    gokart
    - m3がメインで開発しているOSS
    - spotifyが開発するluigiのラッパー
    - https://github.com/m3dev/gokart
    Fringe81さんでも活用されている！
    https://speakerdeck.com/tenajima/goka
    rtdao-ru-falsekitukaketoyun-yong-false
    xian-zhuang

    View Slide

  4. ④データやパラメータに変更があった場合には、新し
    い部分だけをやり直す
    ②最下流のタスクを実行すると依存する全てのタ
    スクを実行する
    パイプラインツール: gokart
    データ1 データ2
    特徴量1
    作成
    特徴量2
    作成
    モデル学習
    評価
    推論
    推論結果
    推論用
    データ
    特徴量
    作成
    ①処理をタスクとしてクラス単位で記述
    ③タスク間は中間データとしてキャッシュファイルを
    作成してデータをやりとり

    View Slide

  5. ④データやパラメータに変更があった場合には、新し
    い部分だけをやり直す
    ②最下流のタスクを実行すると依存する全てのタ
    スクを実行する
    パイプラインツール: gokart
    データ1 データ2
    特徴量1
    作成
    特徴量2
    作成
    モデル学習
    評価
    推論
    推論結果
    推論用
    データ
    特徴量
    作成
    ①処理をタスクとしてクラス単位で記述
    ③タスク間は中間データとしてキャッシュファイルを
    作成してデータをやりとり

    View Slide

  6. ④データやパラメータに変更があった場合には、新し
    い部分だけをやり直す
    ②最下流のタスクを実行すると依存する全てのタ
    スクを実行する
    パイプラインツール: gokart
    データ1 データ2
    特徴量1
    作成
    特徴量2
    作成
    モデル学習
    評価
    推論
    推論結果
    推論用
    データ
    特徴量
    作成
    ①処理をタスクとしてクラス単位で記述
    ③タスク間は中間データとしてキャッシュファイルを
    作成してデータをやりとり

    View Slide

  7. ④データやパラメータに変更があった場合には、新し
    い部分だけをやり直す
    ②最下流のタスクを実行すると依存する全てのタ
    スクを実行する
    パイプラインツール: gokart
    データ1 データ2
    特徴量1
    作成
    特徴量2
    作成
    モデル学習
    評価
    推論
    推論結果
    推論用
    データ
    特徴量
    作成
    ①処理をタスクとしてクラス単位で記述
    ③タスク間は中間データとしてキャッシュファイルを
    作成してデータをやりとり

    View Slide

  8. ④データやパラメータに変更があった場合には、新し
    い部分だけをやり直す
    ②最下流のタスクを実行すると依存する全てのタ
    スクを実行する
    パイプラインツール: gokart
    データ1 データ2
    特徴量1
    作成
    特徴量2
    作成
    モデル学習
    評価
    推論
    推論結果
    推論用
    データ
    特徴量
    作成
    ①処理をタスクとしてクラス単位で記述
    ③タスク間は中間データとしてキャッシュファイルを
    作成してデータをやりとり

    View Slide

  9. ④データやパラメータに変更があった場合には、新し
    い部分だけをやり直す
    ②最下流のタスクを実行すると依存する全てのタ
    スクを実行する
    パイプラインツール: gokart
    データ1 データ2’
    特徴量1
    作成
    特徴量2
    作成
    モデル学習
    評価
    推論
    推論結果
    推論用
    データ
    特徴量
    作成
    ①処理をタスクとしてクラス単位で記述
    ③タスク間は中間データとしてキャッシュファイルを
    作成してデータをやりとり

    View Slide

  10. ④データやパラメータに変更があった場合には、新し
    い部分だけをやり直す
    ②最下流のタスクを実行すると依存する全てのタ
    スクを実行する
    パイプラインツール: gokart
    データ1 データ2’
    特徴量1
    作成
    特徴量2
    作成
    モデル学習
    評価
    推論
    推論結果
    推論用
    データ
    特徴量
    作成
    ①処理をタスクとしてクラス単位で記述
    ③タスク間は中間データとしてキャッシュファイルを
    作成してデータをやりとり

    View Slide

  11. アプリB
    問題点: gokartのキャッシュ競合
    別アプリケーションから同じタスクを実行するとキャッシュが競合することがある
    データ
    タスクA
    タスク AA
    タスクA
    タスクBB
    アプリA
    同じタスクが存在
    ストレージ

    View Slide

  12. アプリB
    問題点: gokartのキャッシュ競合
    別アプリケーションから同じタスクを実行するとキャッシュが競合することがある
    データ
    タスクA
    タスク AA
    タスクA
    タスクBB
    アプリA
    同じタスクが存在
    ストレージ
    キャッシュA

    View Slide

  13. アプリB
    問題点: gokartのキャッシュ競合
    別アプリケーションから同じタスクを実行するとキャッシュが競合することがある
    データ
    タスクA
    タスク AA
    タスクA
    タスクBB
    アプリA
    同じタスクが存在
    ストレージ
    キャッシュA

    View Slide

  14. アプリB
    問題点: gokartのキャッシュ競合
    別アプリケーションから同じタスクを実行するとキャッシュが競合することがある
    データ
    タスクA
    タスク AA
    タスクA
    タスクBB
    アプリA
    同じタスクが存在
    ストレージ
    キャッシュA

    View Slide

  15. アプリB
    問題点: gokartのキャッシュ競合
    別アプリケーションから同じタスクを実行するとキャッシュが競合することがある
    データ
    タスクA
    タスク AA
    タスクA
    タスクBB
    アプリA
    同じタスクが存在
    ストレージ
    キャッシュA

    View Slide

  16. アプリB
    問題点: gokartのキャッシュ競合
    別アプリケーションから同じタスクを実行するとキャッシュが競合することがある
    データ
    タスクA
    タスク AA
    タスクA
    タスクBB
    アプリA
    同じタスクが存在
    ストレージ
    キャッシュA

    View Slide

  17. アプリB
    問題点: gokartのキャッシュ競合
    別アプリケーションから同じタスクを実行するとキャッシュが競合することがある
    データ
    タスクA
    タスク AA
    タスクA
    タスクBB
    アプリA
    同じタスクが存在
    ストレージ
    キャッシュA

    View Slide

  18. アプリB
    問題点: gokartのキャッシュ競合
    別アプリケーションから同じタスクを実行するとキャッシュが競合することがある
    データ
    タスクA
    タスク AA
    タスクA
    タスクBB
    アプリA
    同時に実行
    ストレージ

    View Slide

  19. アプリB
    問題点: gokartのキャッシュ競合
    別アプリケーションから同じタスクを実行するとキャッシュが競合することがある
    データ
    タスクA
    タスク AA
    タスクA
    タスクBB
    アプリA
    同時に実行
    ストレージ
    キャッシュA
    キャッシュA

    View Slide

  20. 解決方法の検討
    キャッシュの保存先を分ける
    - キャッシュの保存される場所が違えば競合しえない
    - 共通するデータも複数実行・保存される無駄がある
    luigiのcentral scheduler
    - スケジューラが同じタスクが同時に実行されないか管理
    - スケジューラがスケーラブルではない
    ファイルをロックする
    - 同じキャッシュファイルへの同時アクセスを禁じる
    - k8上で非常に軽量なサーバーを立てておけば可能
    アプリB
    タスクA
    アプリA
    タスクA
    キャッシュA キャッシュA
    アプリB
    タスクA
    アプリA
    タスクA
    スケジューラ
    常駐Job
    アプリB
    タスクA
    アプリA
    タスクA
    キャッシュA mutex
    常駐Job

    View Slide

  21. mutex的ロックの実装方法
    GCP memorystore
    - マネージドなredisが使える
    - 環境ごとにmemorystoreの設定が必要で、アプリケーションと一括管理できない
    Kubernetes上にredisを立てる
    - Redisはインメモリで動作するため高速
    - Kubernetes上にたてるにはdeployするためのyamlを用意するだけなので、アプリと一括管理で
    きる

    View Slide

  22. 構成図
    タスクA
    Pod A
    (アプリA)
    GCS
    タスクA
    Pod B
    (アプリB)
    Redis
    Redis Pod
    Redis Service
    Lock: なし
    　　　Kubernetes
    icons from
    - https://github.com/kubernetes/community/tree/master/icons
    - https://cloud.google.com/icons/

    View Slide

  23. 構成図
    タスクA
    Pod A
    (アプリA)
    GCS
    タスクA
    Pod B
    (アプリB)
    Redis
    Redis Pod
    Redis Service
    Lock: なし
    　　　Kubernetes
    icons from
    - https://github.com/kubernetes/community/tree/master/icons
    - https://cloud.google.com/icons/

    View Slide

  24. 構成図
    タスクA
    Pod A
    (アプリA)
    GCS
    タスクA
    Pod B
    (アプリB)
    Redis
    Redis Pod
    Redis Service
    Lock:
    アプリAのタスクA
    　　　Kubernetes
    icons from
    - https://github.com/kubernetes/community/tree/master/icons
    - https://cloud.google.com/icons/

    View Slide

  25. 構成図
    タスクA
    Pod A
    (アプリA)
    GCS
    タスクA
    Pod B
    (アプリB)
    Redis
    Redis Pod
    Redis Service
    キャッシュA
    　　　Kubernetes
    icons from
    - https://github.com/kubernetes/community/tree/master/icons
    - https://cloud.google.com/icons/
    作成中
    Lock:
    アプリAのタスクA

    View Slide

  26. 構成図
    タスクA
    Pod A
    (アプリA)
    GCS
    タスクA
    Pod B
    (アプリB)
    Redis
    Redis Pod
    Redis Service
    キャッシュA
    　　　Kubernetes
    icons from
    - https://github.com/kubernetes/community/tree/master/icons
    - https://cloud.google.com/icons/
    作成中
    Lock:
    アプリAのタスクA

    View Slide

  27. 構成図
    タスクA
    Pod A
    (アプリA)
    GCS
    タスクA
    Pod B
    (アプリB)
    Redis
    Redis Pod
    Redis Service
    キャッシュA
    　　　Kubernetes
    icons from
    - https://github.com/kubernetes/community/tree/master/icons
    - https://cloud.google.com/icons/
    作成完了
    Lock: なし
    Lock: なし

    View Slide

  28. 構成図
    タスクA
    Pod A
    (アプリA)
    GCS
    タスクA
    Pod B
    (アプリB)
    Redis
    Redis Pod
    Redis Service
    キャッシュA
    　　　Kubernetes
    icons from
    - https://github.com/kubernetes/community/tree/master/icons
    - https://cloud.google.com/icons/
    作成完了
    Lock:
    アプリBのタスクA

    View Slide

  29. 結果
    - ちゃんとlockできており、キャッシュ競合しなくなった（はず）

    View Slide

  30. 今後と感想
    今後
    - 現在は社内でテスト中
    - 今後、gokartの機能としてgithubにリリース予定
    - 「Kubernetes上にRedisを立てる」の部分もgokart-cookiecutterにリリース予定
    →社外でも利用可能にする見込み
    感想
    - 社内で生じた問題の改善がOSSに反映されるおもしろさを感じた

    View Slide