Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
MLOps failure(1_108)
Search
shibuiwilliam
March 17, 2022
Technology
0
110
MLOps failure(1_108)
儂のMLOps失敗談は108式まであるぞ。
shibuiwilliam
March 17, 2022
Tweet
Share
More Decks by shibuiwilliam
See All by shibuiwilliam
生成AIのためのデータ収集とデータエンジニアリング
shibuiwilliam
4
460
LLMで推論するライブラリを整理する
shibuiwilliam
5
1.3k
生成AIの研究開発を事業につなげる データ、仕組み、コミュニケーション
shibuiwilliam
1
82
デプロイして本番システムで使うことから考えるAI
shibuiwilliam
2
630
今日からRAGを 始めることを考える
shibuiwilliam
2
1.6k
2024年生成AI新年会登壇資料
shibuiwilliam
0
330
Creative as Software Engineering
shibuiwilliam
2
640
Kubernetesクラスターを引き継ぐ技術
shibuiwilliam
3
340
機械学習システム構築実践ガイド
shibuiwilliam
1
920
Other Decks in Technology
See All in Technology
Apache Iceberg Case Study in LY Corporation
lycorptech_jp
PRO
0
380
AI自体のOps 〜LLMアプリの運用、AWSサービスとOSSの使い分け〜
minorun365
PRO
9
990
Aurora PostgreSQLがCloudWatch Logsに 出力するログの課金を削減してみる #jawsdays2025
non97
1
240
クラウド食堂とは?
hiyanger
0
130
AWS Well-Architected Frameworkで学ぶAmazon ECSのセキュリティ対策
umekou
2
150
ExaDB-XSで利用されているExadata Exascaleについて
oracle4engineer
PRO
3
300
AWSではじめる Web APIテスト実践ガイド / A practical guide to testing Web APIs on AWS
yokawasa
8
780
困難を「一般解」で解く
fujiwara3
7
2.2k
株式会社Awarefy(アウェアファイ)会社説明資料 / Awarefy-Company-Deck
awarefy
3
12k
AIエージェント開発のノウハウと課題
pharma_x_tech
8
4.8k
Охота на косуль у древних
ashapiro
0
120
Platform Engineeringで クラウドの「楽しくない」を解消しよう
jacopen
4
200
Featured
See All Featured
Reflections from 52 weeks, 52 projects
jeffersonlam
348
20k
For a Future-Friendly Web
brad_frost
176
9.6k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
6
580
Done Done
chrislema
182
16k
Product Roadmaps are Hard
iamctodd
PRO
51
11k
YesSQL, Process and Tooling at Scale
rocio
172
14k
Gamification - CAS2011
davidbonilla
80
5.2k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
21
2.5k
Git: the NoSQL Database
bkeepers
PRO
428
65k
Rebuilding a faster, lazier Slack
samanthasiow
80
8.9k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Agile that works and the tools we love
rasmusluckow
328
21k
Transcript
MLOps失敗篇 (1/108) 2022/02/16 shibui
自己紹介 shibui yusuke • いろいろ → Launchable(いまここ) • MLOpsとかいろいろエンジニア •
もともとクラウド基盤の開発、運用 • ここ6年くらいMLOpsとバックエンドとインフラとたまに データ分析とAndroidで仕事 • Github: @shibuiwilliam • FB: yusuke.shibui • Meety: https://meety.net/matches/OPJgijxiEMHE • 最近の趣味:本の執筆と副業と自宅勤務改善 cat : 0.55 dog: 0.45 human : 0.70 gorilla : 0.30 物体検知 2
成功の裏には多くの失敗が存在する • 成功しなくても多くの失敗は存在する。 • 機械学習の実用化関係の仕事を続けてきて犯した大小の失敗のうち、 代表的な1個を説明します。
開発半年、切り戻し1日 • プロジェクトの目的:B2Bで顧客の社内検索システムの性能向上を実現 • 手法:ランク学習を用いて検索の並び順を最適化することを狙う ねこ 検索 ねこ 検索
開発半年、切り戻し1日 • 検索ログからデータを作成し、Pointwiseで学習 ねこ 検索 q: ねこ q: いぬ q:
いぬっぽいねこ
開発半年、切り戻し1日 • キャッシュを有効活用してパフォーマンス・チューニング ねこ 検索 ねこ 検索 検索 データ ログ
特徴量 cache Rank cache Rank <100ms
開発半年、切り戻し1日 • リリース判定とユーザインタビューで好評 ねこ 検索 ねこ 検索 LGTM
開発半年、切り戻し1日 • リリース1日でクレームの嵐 • そのまま切り戻し ねこ 検索 ねこ 検索 昨日と違う
似てるものが みつからない 新しい順 でほしい 聞いてない
開発半年、切り戻し1日 • (1/1000の)リリース判定とユーザインタビューで好評 ねこ 検索 ねこ 検索 LGTM (1/1000票)
学び • 見えるもののドラスティックな変更 >>>> 機械学習の価値 • ユーザの理解 >>>> 想定した効率化 • 日々の業務 >>>> チューニングされたシステム
ハッシュタグ#MLOpsコミュニティ 公式アカウント @MlopsJ 次回、第17回は3/23(水) 18:00-!! • マネジメント経験者による機械学習実用化チーム座談会!!! ◦ Sansan株式会社 VPoE/研究開発部部長
西場様 ◦ Citadel AI 杉山様 ◦ 藤原秀平(sfujiwara)様 ◦ Launchable 澁井(司会) • 次回もぜひご参加ください!