Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Vertex Pipelines触ってみた / Try Vertex Pipelines
Search
Civitaspo
June 16, 2021
0
1.4k
Vertex Pipelines触ってみた / Try Vertex Pipelines
2021/06/16 第8回 MLOps 勉強会 Tokyo (Online)
https://mlops.connpass.com/event/211953/
Civitaspo
June 16, 2021
Tweet
Share
More Decks by Civitaspo
See All by Civitaspo
BigQueryからSnowflakeへ移管して作る最強のデータ基盤 〜Data Ingestion編〜 / The Ultimate Data Platform Migration from BigQuery to Snowflake: Data Ingestion Edition
civitaspo
15
4.6k
データ利用者が最速で価値を評価できるDataOpsを目指して / Towards DataOps that Enables Analysts to Deliver Value Rapidly
civitaspo
3
770
生データを最速で取り込むチャレンジ ~LayerXデータ基盤成長物語 part1~ / Building a data infrastructure that captures raw data at the fastest
civitaspo
4
860
データ基盤における管理の考え方 〜dbtの極意〜:LayerXにdbtを導入するときに意識したこと
civitaspo
3
1.7k
Digdag と Embulk と Athena で作る Gunosy の ELT基盤
civitaspo
8
10k
Embulkに足りない5つのこと
civitaspo
7
5.3k
Featured
See All Featured
Building an army of robots
kneath
302
42k
Code Reviewing Like a Champion
maltzj
519
39k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
27
4.2k
GraphQLの誤解/rethinking-graphql
sonatard
66
9.9k
10 Git Anti Patterns You Should be Aware of
lemiorhan
654
59k
jQuery: Nuts, Bolts and Bling
dougneiner
61
7.5k
Building Flexible Design Systems
yeseniaperezcruz
327
38k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
26
1.4k
Optimizing for Happiness
mojombo
376
69k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
4
290
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
131
33k
Imperfection Machines: The Place of Print at Facebook
scottboms
264
13k
Transcript
Vertex Pipelines触ってみた 2021/06/16 第8回 MLOps 勉強会 Tokyo (Online) 株式会社ZOZOテクノロジーズ EC基盤本部
SRE部 MLOpsチーム 中山 貴博 (civitaspo) Copyright © ZOZO Technologies, Inc.
© ZOZO Technologies, Inc. 株式会社ZOZOテクノロジーズ EC基盤本部 SRE部 MLOpsチーム Tech Lead
中山 貴博 きびたすぽ • Twitter @Civitaspo ◦ 長いので社内で「きびちゃん」と呼ばれてます😊 • DeNA->Gunosy->ZOZOテクノロジーズ(2020/06~) • インフラ・データエンジニアなキャリア • 全国在宅勤務制度を使って福岡に移住しました🍻 • 趣味は骨を割るところからスタートするラーメン作り 2
© ZOZO Technologies, Inc. https://zozo.jp/ • 日本最大級のファッション通販サイト • 1,400以上のショップ、8,100以上のブランドの取り扱い(ともに2020年12 月末時点)
• 常時83万点以上の商品アイテム数と毎日平均3,000点以上の新着商品 を掲載 • 即日配送サービス • ギフトラッピングサービス • ツケ払い など 3
© ZOZO Technologies, Inc. https://wear.jp/ 4 • 日本最大級のファッションコーディネートアプリ • 1,500万ダウンロード突破、コーディネート投稿総数は1,000万件以上(と
もに2020年12月末時点) • App Store / Google Playが利用可能な一部の国と地域でもダウンロー ドが可能 • 等身大の着こなしが支持を集め、10万人以上のフォロワーを持ち WEARISTAに認定された一般ユーザーも誕生
Vertex Pipelines触ってみた 2021/06/16 第8回 MLOps 勉強会 Tokyo (Online) 株式会社ZOZOテクノロジーズ EC基盤本部
SRE部 MLOpsチーム 中山 貴博 (civitaspo) Copyright © ZOZO Technologies, Inc.
© ZOZO Technologies, Inc. はじめに • Vertex Pipelinesの紹介をします! ◦ connpass上では「Vertex
AI触ってみた」と書いてしまっていました。Vertex AI全体の話を聞きたかった方はごめんなさい • 既にVertex Pipelinesを触っている方には目新しい情報は少ないかもしれません! ◦ kfp v2の使い方が分からなくて困ってる方は懇親会で意見交換しましょう🙏🙏🙏 • Vertex Pipelinesの導入の際に気になるポイントを中心にまとめました! ◦ なので、使い方よりもインフラ観点の制約などを多めにまとめています✍✍✍ • この資料の総ページ数は19です! ◦ あとどれくらいで発表が終わりそうかは右下のページ数から感じ取ってください☺☺☺ 6
© ZOZO Technologies, Inc. Vertex Pipelinesとは? • 2021/05/19にGCPが提供を開始したVertex AIのコン ポーネントの一つです
◦ Vertex AIはAI Platform (Unified)の名前が変わった ものです • Full-managed Kubeflow ◦ これまでGCPが提供していたAI Platform Pipelines ではGKEの運用が必要でした ⇒ ◦ Vertex PipelinesではGKEが不要なので運用コスト が大幅に減りました!🎉🎉🎉 7 AI Platform PipelinesでGKEにDeployされていたObject一覧
© ZOZO Technologies, Inc. 気になるポイント 8
© ZOZO Technologies, Inc. どうやって使うの? • Kubeflow Pipelines SDK (a.k.a.
kfp) v2 を使用します • まだドキュメントが少なくハマりどころが多いです • 使い方が分からなかったら ◦ ソースコードを読む ◦ GitHub上で開発者とコミュニケーション ◦ Twitterで助けを求める ◦ などで問題解決していきます 9
© ZOZO Technologies, Inc. どこに何があるの? • PipelineはVertex PipelinesのUIから確認出来ます • 各componentはVertex
TrainingのCustom Jobとして実行されます ◦ Kubeflow PipelinesではPodとして実行されていました ◦ 各JobのログはCloud Loggingで閲覧出来ます ◦ 各JobのメトリクスはCloud Monitoringで閲覧出来ます 10
© ZOZO Technologies, Inc. どのRegionで使えるの? • Pipelinesが使えるRegionは3つのみです ◦ us-central1 ◦
europe-west4 ◦ asia-east1 • 比較的GPUのバラエティが多いのでGPUを利用す る場合に困ることは少ないでしょう 11 ref. GPU regions and zones availability | Compute Engine Documentation
© ZOZO Technologies, Inc. Schedule実行はどうするの? • Vertex Pipelines自体にはSchedule実行機能はありません ◦ Kubeflow
PipelinesではRecurring Runという機能で実現していました • 代わりにCloud SchedulerとCloud Functionsを使用します ◦ kfp v2でも操作可能なインターフェースがありますが現状まだ更新出来ないなど不具合があります😭😭😭 ◦ この方式だとCloud Pub/SubでEvent-Drivenな実行も出来そうです(未検証) 12
© ZOZO Technologies, Inc. component間でファイルの受け渡しをしたいです! • gcsfuseによるGCSのマウント機能があります • component実行時にGCS Bucketがマウントされます
◦ mount path: /gcs/${bucket}/... • pipeline定義時に指定した pipeline_root に含まれるGCS Bucketが対象 ◦ pipeline_root はpathも含んだ gs:// から始まるURIを指定しますが、マウントされるのは GCS Bucket全体となります ◦ なので、他のPipelineと競合しないような運用ルールを決めておく必要があります • GCS BucketはPipelineと同一Regionに存在している必要があります ◦ マルチリージョンバケットはサポートされていません 13
© ZOZO Technologies, Inc. VPC内のリソースにアクセスしたいです! • Pipeline実行時にVPC Networkを指定することで実現 出来ます •
内部的にはGCP管理のVPCとPeeringされています 14
© ZOZO Technologies, Inc. 外部リソースアクセス時のIPを固定したいです! • Vertex Pipelinesではサポートしていません • Cloud
RunやGKE Podへ処理をオフロードすることで実現出来ます 15
© ZOZO Technologies, Inc. おわりに 16
© ZOZO Technologies, Inc. おわりに • Vertex Pipelinesの気になるポイントをまとめてみました! • 他にも気になるポイントがあると思うので懇親会で是非意見交換しましょう!
• Vertex Pipelinesは「機能はあるはずだけど使い方が分からない」部分がまだ多いサービスなの で、今後も情報共有していきましょう! 17
© ZOZO Technologies, Inc. We are hiring! • MLOpsチームでは一緒にZOZOのMLを加速させる仲間を大募集しています! ◦
MLOps エンジニア | 株式会社ZOZOテクノロジーズ • ご興味持たれた方は是非お声をおかけください! 18
None