Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
MLOps failure(1_108)
Search
shibuiwilliam
March 17, 2022
Technology
0
120
MLOps failure(1_108)
儂のMLOps失敗談は108式まであるぞ。
shibuiwilliam
March 17, 2022
Tweet
Share
More Decks by shibuiwilliam
See All by shibuiwilliam
LLM時代の検索
shibuiwilliam
2
710
生成AIを作るエンジニアリングと使うエンジニアリング
shibuiwilliam
2
68
AI Agentのキャッシュ、再利用、Ops
shibuiwilliam
2
110
生成AIのためのデータ収集とデータエンジニアリング
shibuiwilliam
5
610
LLMで推論するライブラリを整理する
shibuiwilliam
6
1.6k
生成AIの研究開発を事業につなげる データ、仕組み、コミュニケーション
shibuiwilliam
2
110
デプロイして本番システムで使うことから考えるAI
shibuiwilliam
3
730
今日からRAGを 始めることを考える
shibuiwilliam
3
1.7k
2024年生成AI新年会登壇資料
shibuiwilliam
1
370
Other Decks in Technology
See All in Technology
AWS 怖い話 WAF編 @fillz_noh #AWSStartup #AWSStartup_Kansai
fillznoh
0
130
Introduction to Sansan for Engineers / エンジニア向け会社紹介
sansan33
PRO
5
39k
american aa airlines®️ USA Contact Numbers: Complete 2025 Support Guide
aaguide
0
500
モニタリング統一への道のり - 分散モニタリングツール統合のためのオブザーバビリティプロジェクト
niftycorp
PRO
1
520
TLSから見るSREの未来
atpons
2
310
Autify Company Deck
autifyhq
2
44k
ソフトウェアQAがハードウェアの人になったの
mineo_matsuya
3
200
クラウド開発の舞台裏とSRE文化の醸成 / SRE NEXT 2025 Lunch Session
kazeburo
1
590
AIでテストプロセス自動化に挑戦する
sakatakazunori
1
530
cdk initで生成されるあのファイル達は何なのか/cdk-init-generated-files
tomoki10
1
670
安定した基盤システムのためのライブラリ選定
kakehashi
PRO
3
130
Digitization部 紹介資料
sansan33
PRO
1
4.5k
Featured
See All Featured
Designing for Performance
lara
610
69k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
KATA
mclloyd
30
14k
Done Done
chrislema
184
16k
Side Projects
sachag
455
42k
Java REST API Framework Comparison - PWX 2021
mraible
31
8.7k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.9k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Statistics for Hackers
jakevdp
799
220k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
Transcript
MLOps失敗篇 (1/108) 2022/02/16 shibui
自己紹介 shibui yusuke • いろいろ → Launchable(いまここ) • MLOpsとかいろいろエンジニア •
もともとクラウド基盤の開発、運用 • ここ6年くらいMLOpsとバックエンドとインフラとたまに データ分析とAndroidで仕事 • Github: @shibuiwilliam • FB: yusuke.shibui • Meety: https://meety.net/matches/OPJgijxiEMHE • 最近の趣味:本の執筆と副業と自宅勤務改善 cat : 0.55 dog: 0.45 human : 0.70 gorilla : 0.30 物体検知 2
成功の裏には多くの失敗が存在する • 成功しなくても多くの失敗は存在する。 • 機械学習の実用化関係の仕事を続けてきて犯した大小の失敗のうち、 代表的な1個を説明します。
開発半年、切り戻し1日 • プロジェクトの目的:B2Bで顧客の社内検索システムの性能向上を実現 • 手法:ランク学習を用いて検索の並び順を最適化することを狙う ねこ 検索 ねこ 検索
開発半年、切り戻し1日 • 検索ログからデータを作成し、Pointwiseで学習 ねこ 検索 q: ねこ q: いぬ q:
いぬっぽいねこ
開発半年、切り戻し1日 • キャッシュを有効活用してパフォーマンス・チューニング ねこ 検索 ねこ 検索 検索 データ ログ
特徴量 cache Rank cache Rank <100ms
開発半年、切り戻し1日 • リリース判定とユーザインタビューで好評 ねこ 検索 ねこ 検索 LGTM
開発半年、切り戻し1日 • リリース1日でクレームの嵐 • そのまま切り戻し ねこ 検索 ねこ 検索 昨日と違う
似てるものが みつからない 新しい順 でほしい 聞いてない
開発半年、切り戻し1日 • (1/1000の)リリース判定とユーザインタビューで好評 ねこ 検索 ねこ 検索 LGTM (1/1000票)
学び • 見えるもののドラスティックな変更 >>>> 機械学習の価値 • ユーザの理解 >>>> 想定した効率化 • 日々の業務 >>>> チューニングされたシステム
ハッシュタグ#MLOpsコミュニティ 公式アカウント @MlopsJ 次回、第17回は3/23(水) 18:00-!! • マネジメント経験者による機械学習実用化チーム座談会!!! ◦ Sansan株式会社 VPoE/研究開発部部長
西場様 ◦ Citadel AI 杉山様 ◦ 藤原秀平(sfujiwara)様 ◦ Launchable 澁井(司会) • 次回もぜひご参加ください!