MLOps failure(1_108)

儂のMLOps失敗談は108式まであるぞ。

Transcript

1. MLOps失敗篇 (1/108) 2022/02/16 shibui
2. 自己紹介 shibui yusuke • いろいろ → Launchable（いまここ） • MLOpsとかいろいろエンジニア • もともとクラウド基盤の開発、運用 • ここ6年くらいMLOpsとバックエンドとインフラとたまに データ分析とAndroidで仕事 • Github: @shibuiwilliam • FB: yusuke.shibui • Meety: https://meety.net/matches/OPJgijxiEMHE • 最近の趣味：本の執筆と副業と自宅勤務改善 cat : 0.55 dog: 0.45 human : 0.70 gorilla : 0.30 物体検知 2
3. 成功の裏には多くの失敗が存在する • 成功しなくても多くの失敗は存在する。 • 機械学習の実用化関係の仕事を続けてきて犯した大小の失敗のうち、 代表的な1個を説明します。
4. 開発半年、切り戻し1日 • プロジェクトの目的：B2Bで顧客の社内検索システムの性能向上を実現 • 手法：ランク学習を用いて検索の並び順を最適化することを狙う ねこ 検索 ねこ 検索
5. 開発半年、切り戻し1日 • 検索ログからデータを作成し、Pointwiseで学習 ねこ 検索 q: ねこ q: いぬ q: いぬっぽいねこ
6. 開発半年、切り戻し1日 • キャッシュを有効活用してパフォーマンス・チューニング ねこ 検索 ねこ 検索 検索 データ ログ 特徴量 cache Rank cache Rank <100ms
7. 開発半年、切り戻し1日 • リリース判定とユーザインタビューで好評 ねこ 検索 ねこ 検索 LGTM
8. 開発半年、切り戻し1日 • リリース1日でクレームの嵐 • そのまま切り戻し ねこ 検索 ねこ 検索 昨日と違う 似てるものが みつからない 新しい順 でほしい 聞いてない
9. 開発半年、切り戻し1日 • （1/1000の）リリース判定とユーザインタビューで好評 ねこ 検索 ねこ 検索 LGTM (1/1000票)
10. 学び • 見えるもののドラスティックな変更　＞＞＞＞　機械学習の価値 • ユーザの理解　＞＞＞＞　想定した効率化 • 日々の業務　＞＞＞＞　チューニングされたシステム
11. ハッシュタグ#MLOpsコミュニティ 公式アカウント @MlopsJ 次回、第17回は3/23(水) 18:00-!! • マネジメント経験者による機械学習実用化チーム座談会！！！ ◦ Sansan株式会社 VPoE/研究開発部部長 西場様 ◦ Citadel AI 杉山様 ◦ 藤原秀平（sfujiwara）様 ◦ Launchable 澁井（司会） • 次回もぜひご参加ください！