MLOps のはじめかた

by Asei Sugiyama

Slide 1

Slide 1 text

MLOps のはじめかた Asei Sugiyama

Slide 2

Slide 2 text

自己紹介杉山阿聖 (@K_Ryuichirou) Software Engineer @ Citadel AI Advisor @ Money Forward Google Cloud Innovators Champion @ Cloud AI/ML MLSE 機械学習オペレーション WG 機械学習図鑑共著

Slide 3

Slide 3 text

背景機械学習は未だ日進月歩 Foundation Model 登場以降の動きは凄まじいさまざまな機械学習の運用に関する事例も出てきている一方、これから始める組織も数多くあるその場合、出てくる事例は最初に参考とするには難しすぎる

Slide 4

Slide 4 text

最近の例 NTT Docomo 分析用基盤に papermil & Airflow スケーラビリティを Kubernetes で確保費用と運用負荷から考えてはじめた直後にはオススメできないたった3人で運用するドコモを支える機械学習基盤の作り方ー Kubernates × Airflow × DataRobot を使ったMLOpsパイプラインー - ENGINEERING BLOG ドコモ開発者ブログ https://nttdocomo-developers.jp/entry/202212191200_2

Slide 5

Slide 5 text

主旨機械学習を運用し始めるための技術的な取り組みについて、Money Forward でのこれまでの活動を振り返りつつ共有します

Slide 6

Slide 6 text

まとめ Money Forward のこれまでの MLOps に関する取り組みを振り返り re:Invent で発表した Inferentia に取り組みへ至るまでには複数の取り組みがあった堅牢なものを時間をかけて目指すのではなく、小さくはじめて少しずつステップアップするほうが良い自分たちのスキルセットとマッチする技術を選ぶことは大事

Slide 7

Slide 7 text

TOC これまでの歩み <- はじめての機械学習パイプラインの構築これまでのふりかえり

Slide 8

Slide 8 text

これまでの歩み次の3つが大きなイベント AI 推進部設立 Step Functions による機械学習パイプライン構築 AWS Inferentia を用いた推論API開発

Slide 9

Slide 9 text

AI 推進部設立 2名からスタート担当者の Note 記事採用がすごい速度で進んでいった AI推進部って何だ？｜Tatsuya Kono｜note https://note.com/tatsuyakono/n/n305d8d614f16

Slide 10

Slide 10 text

Step Functions による機械学習パイプライン構築 AWS Step Functions で機械学習パイプラインを構築当時の新機能を用いて、カナリアリリースを実装 StepFunctionsを使ってSageMakerエンドポイントのデプロイを実行する - Money Forward Developers Blog https://moneyforward- dev.jp/entry/2021/11/16/stepfunctions-sagemaker-endpoint-deploy/

Slide 11

Slide 11 text

AWS Inferentia を用いた推論 API開発チャットボット用機械学習基盤の新基盤への移行ユーザーに学習、推論の機能を開放短期間 (2ヶ月) で実施 AWS re:Invent 2022 - How four customers reduced ML inference costs and drove innovation (CMP226) - YouTube https://youtu.be/dVlNobmvoTg? t=1073

Slide 12

Slide 12 text

Money Forward Techbook #5 Inferentia を含めたさまざまな推論環境でのベンチマークが記されている Money Forward Techbook #5：まねふぉ執筆部 https://techbookfest.org/product/6NXreHXRLLWVPx9g4DRTsZ? productVariantID=pWr6n1KxikP4g9YC2uqTyj

Slide 13

Slide 13 text

これまでの歩みを振り返って最初は「MLOpsってなんですか？」から始まっていた DevOps との違いは？ ML 特有な問題は？ HiTTO では超短期間で高負荷に耐えるサービス基盤を作成しているが、それまでの経験の上に成り立っている

Slide 14

Slide 14 text

次のポイントを移行で重点的にふりかえり初期のチームビルディングでどのような議論をしたか？どのように技術選定を行ったのか？

Slide 15

Slide 15 text

TOC これまでの歩みはじめての機械学習パイプラインの構築 <- これまでのふりかえり

Slide 16

Slide 16 text

はじめての機械学習パイプラインの構築勉強会読書会機械学習パイプラインの構築

Slide 17

Slide 17 text

勉強会 MLOpsや機械学習の一般論について情報提供テーマを決めて1時間で実施月1ペースで実施

Slide 18

Slide 18 text

No content

Slide 19

Slide 19 text

読書会 MLOps に関する書籍を用いて週1ペースで読書会 i. Introducing MLOps ii. 入門機械学習パイプライン該当箇所の内容の確認と、業務適用についての議論

Slide 20

Slide 20 text

Introducing MLOps MLOps に関連する概念を実装に依存しないように述べた書籍広く MLOps について調べたいときには良い実際に自分たちの現場に適用しようとすると迷う Introducing MLOps https://www.oreilly.com/library/view/introducing- mlops/9781492083283/

Slide 21

Slide 21 text

入門機械学習パイプライン TFX (TensorFlow Extended) に基づいて機械学習パイプラインの実装方法について述べた書籍具体的な実装方法について述べているので業務をイメージしやすい TensorFlow や Google Cloud を前提としているので癖は強い入門機械学習パイプライン https://www.oreilly.co.jp/books/9784873119519/

Slide 22

Slide 22 text

読書会での議論内容 (1/2) 本当にこれやる? モデルの精度評価に基づくデプロイって必要？ Fairness とか今やる？本当にこれ使う？ TFX 使う？ Kubeflow Pipelines 使う？ TF Serving 使う？

Slide 23

Slide 23 text

読書会での議論内容 (2/2) 自分たちのスキルセットと照らし合わせたときに、それらのプラクティスや技術を採用すべきか議論大概の場合は「最初はスキップしたほうがいい」「やめたほうが良い」と答えた

Slide 24

Slide 24 text

機械学習パイプラインの構築 AWS Step Functions による構築 AWS のサービスの中でもっともミニマムに構築できるサービスだったアップデートがあり、AWS のほぼすべての機能を使えるようになった StepFunctionsを使ってSageMakerエンドポイントのデプロイを実行する - Money Forward Developers Blog https://moneyforward- dev.jp/entry/2021/11/16/stepfunctions-sagemaker-endpoint-deploy/

Slide 25

Slide 25 text

TOC これまでの歩みはじめての機械学習パイプラインの構築これまでのふりかえり <-

Slide 26

Slide 26 text

これまでのふりかえり技術選定に際しての考慮事項構築したあとで直面した課題もしもう一度始めるならば

Slide 27

Slide 27 text

技術選定に際しての考慮事項自分たちのスキルセットとマッチする技術を選ぶことは大事 MLOps だからという理由で新しい技術に手を出すと痛い目を見る困難に直面した際に頼れる先があることは大事サポートコミュニティ

Slide 28

Slide 28 text

構築したあとで直面した課題 (1/2) ML 特有の事情で困ったこと結構 ML 特有の事情で困るので、それ以外の箇所で困らないようにしておくのが理想 HW の制約上、典型的なサーバレス用サービスを活用できない (Fargate ではなく EC2 が必要) 自然言語処理で想定していなかった入力が与えられ緊急対応

Slide 29

Slide 29 text

構築したあとで直面した課題 (2/2) ステークホルダーが多様になる点は注意が必要データの利用についての価値観の差異セキュリティを保ちたいチームデータを利用したいチームきれいなワークフローを構築してからリリースしたいものの、最初のリリースではさまざまな事情で難しい事前の期待とマッチしない場合の対応も大変 (思っていたほど使われない、思っていた精度が出ない、など)

Slide 30

Slide 30 text

もしもう一度始めるならば最初のリリースはミニマムに始められるよう注力する想定外のことや未知の課題に直面することが不可避堅牢なものを時間をかけて目指すのではなく、小さくはじめて少しずつステップアップするほうが良い