Upgrade to Pro — share decks privately, control downloads, hide ads and more …

MLOpsはDevOpsと何が違うの?

 MLOpsはDevOpsと何が違うの?

Developers Summit 2022 Summer(デブサミ2022夏)の登壇資料です。

shibuiwilliam

July 21, 2022
Tweet

More Decks by shibuiwilliam

Other Decks in Technology

Transcript

  1. MLOpsはDevOpsと何が違うの?
    澁井 雄介 shibui yusuke

    View full-size slide

  2. 自己紹介
    shibui yusuke
    ▶ Launchable Inc. ソフトウェアエンジニア
    ▶ MLOpsコミュニティ運営
    ▶ もともとクラウド基盤の開発、運用。
    ▶ ここ6年くらいMLOpsで仕事。
    ▶ Github: @shibuiwilliam
    ▶ 最近やってること: 本を書いてます
    cat : 0.55
    dog: 0.45
    human : 0.70
    gorilla : 0.30
    物体検知

    View full-size slide

  3. 本日の流れ
    ▶ DevOps and MLOps
    ▶ DevOps for ML

    View full-size slide

  4. DevOps and MLOps

    View full-size slide

  5. MLOpsとは
    ▶ DevOps for ML or ML operations
    ▶ 機械学習という確率的、データ依存、発展途上、便利な技術を
    DevOpsに組み込む
    ▶ いわゆる機械学習基盤や機械学習パイプラインだけでなく、要件定義、インフ
    ラ、データ管理、サービング、コスト、品質、組織論まで含む
    広範な概念に成長中

    View full-size slide

  6. DevOps for ML???
    M
    L
    ML
    ML
    M
    L
    ML
    M
    L
    ML
    M
    L
    雑にMLを入れればMLOpsになるわけではない。
    ML

    View full-size slide

  7. DevOps for ML

    View full-size slide

  8. 機械学習を使ったプロダクト例
    画像処理
    写真を撮る
    タイトル入力
    説明入力
    登録する
    自然言語処理
    違反検知
    登録情報から違反を
    フィルタリング
    入力情報から
    入力補助
    超解像による
    画質改善
    ねこ
    検索 ランク学習による
    並べ替え
    あるコンテンツ登録アプリ
    画像分類と
    検索

    View full-size slide

  9. 違反検知を例に考える
    写真を撮る
    タイトル入力
    説明入力
    登録する 違反検知
    登録情報から違反を
    フィルタリング
    ねこ
    あるコンテンツ登録アプリ

    View full-size slide

  10. 違反とは
    写真を撮る
    タイトル入力
    説明入力
    登録する
    ねこ
    あるコンテンツ登録アプリ
    公序良俗に反する画像
    著作権違反の画像
    グロテスクな画像
    サービスに則さない画像
    ・・・を違反として排除したい

    View full-size slide

  11. 開発の前にデータ
    写真を撮る
    タイトル入力
    説明入力
    登録する
    ねこ
    あるコンテンツ登録アプリ
    DATA
    機械学習には大量のデータが必要
    ● 集める
    ● 意味付ける
    ● 管理する
    正常
    違反
    集める 意味付ける 管理する

    View full-size slide

  12. 実験して性能を評価する
    写真を撮る
    タイトル入力
    説明入力
    登録する
    ねこ
    あるコンテンツ登録アプリ
    DATA
    実験を繰り返して性能を評価する。
    必要に応じてDataやPlanに戻る。
    ここでGPUや分散処理→コスト増大。
    正常
    違反
    性能が低い
    データが足りない
    遅い
    実験
    戻る

    View full-size slide

  13. 実験的なコード:頻繁に書き直す、
    途中から実行、使い捨て
    本番コード: 動かし続ける、再現性、
    デバッグ
    実験的なコードを清書する
    写真を撮る
    タイトル入力
    説明入力
    登録する
    ねこ
    あるコンテンツ登録アプリ
    正常
    違反
    実験
    DATA
    動かし方がわからない・・・

    View full-size slide

  14. しかしそれは始まりでしかなかった・・・
    リリース・・・
    写真を撮る
    タイトル入力
    説明入力
    登録する
    ねこ
    あるコンテンツ登録アプリ
    正常
    違反
    実験
    DATA

    View full-size slide

  15. 偽陽性と偽陰性
    写真を撮る
    タイトル入力
    説明入力
    登録する
    ねこ
    あるコンテンツ登録アプリ
    実験
    DATA
    偽陽性:違反なのに正常と判定
    偽陰性:正常なのに違反と判定
    データの品質や網羅性が足りないと、
    偽陽性や偽陰性が高くなる
    正常なのに
    違反と判定された
    投稿者は不快
    閲覧者は不快
    違反なのに
    正常扱い

    View full-size slide

  16. ヒューマンインザループ
    写真を撮る
    タイトル入力
    説明入力
    登録する
    ねこ
    あるコンテンツ登録アプリ
    実験
    DATA
    自動化が進んだ仕組みにおいて、
    一部の判断に人間を介在させること。
    機械学習の誤りを正すためには人間の
    ダブルチェックが必要。
    正常
    違反
    違反と間違えや
    すい正常
    正常と間違えや
    すい違反
    人間

    View full-size slide

  17. 正常
    違反
    推測するな計測せよ
    写真を撮る
    タイトル入力
    説明入力
    登録する
    ねこ
    あるコンテンツ登録アプリ
    実験
    DATA
    機械学習の判定と実用上の価値を評価する。
    評価に応じて次のActionを決める。
    人間
    評価
    正答率: xx
    Precision: yy
    Recall: zz
    違反画像閲覧数: aa
    クレーム数: bb
    コスト: cc
    Go: 改善Plan
    No Go: 停止措置

    View full-size slide

  18. DevOps for ML
    実験
    DATA
    人間
    評価

    View full-size slide

  19. ▶ AIエンジニアのための
    機械学習システムデザインパターン
    ▶ 2021年5月17日出版
    ▶ https://www.amazon.co.jp/dp/4798169447/
    ▶ 続編執筆中!
    ▶ 2022年11月発売予定!?
    ▶ 機械学習で需要予測、違反検知、検索を実
    現するシステムの作り方を解説
    出版しました!
    ?

    View full-size slide

  20. 参考資料
    ▶ MLOps: Continuous delivery and automation pipelines in machine learning
    https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning
    ▶ Introduction to MLOps
    https://speakerdeck.com/asei/introduction-to-mlops
    ▶ Machine Learning Operations (MLOps): Overview, Definition, and Architecture
    https://arxiv.org/abs/2205.02302
    ▶ People + AI Research
    https://pair.withgoogle.com/
    ▶ Awesome MLOps
    https://github.com/visenger/awesome-mlops
    ▶ AIシステムが成熟する今「 MLOps」が必要とされる理由とは? MLOpsを推進するために大切なこと
    https://codezine.jp/article/detail/15953

    View full-size slide