Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
QA4AIに則ったMLOpsツールの活用
Search
Hacarus Inc.
December 14, 2022
Technology
0
690
QA4AIに則ったMLOpsツールの活用
2022年 年忘れ! MLOps LT大会!!!(
https://mlops.connpass.com/event/265378/)で発表した資料です
Hacarus Inc.
December 14, 2022
Tweet
Share
More Decks by Hacarus Inc.
See All by Hacarus Inc.
GitLab CI/CD で C#/WPFアプリケーションのテストとインストーラーのビルド・デプロイを自動化する
hacarus
0
1.2k
0から協働ロボット外観検査システムを3ヵ月で具現化した軌跡
hacarus
0
240
ワンちゃんの健康を願う皆様に送る 犬心電図AI解析プロダクト紹介_AWS DevDay2022
hacarus
0
190
犬の心電AI解析プロダクト開発奮闘記 _クラウドからハード開発までてんこ盛り
hacarus
0
1.7k
ExplainableAIの概要とAmazon SageMaker Clarifyでの実装例
hacarus
0
980
AWS Step Functions を用いた非同期学習処理の例
hacarus
0
1.2k
Dashでmyダッシュボードを作ろう ーpytrendsで見るコロナの感染拡大時期ー
hacarus
0
1.4k
Interpretable Machine Learning: モデル非依存な解釈手法の紹介
hacarus
0
1.1k
時系列データ予測手法の宇宙天気予報への応用
hacarus
0
1.3k
Other Decks in Technology
See All in Technology
MagicPod導入から半年、オープンロジQAチームで実際にやったこと
tjoko
0
110
JTCにおける内製×スクラム開発への挑戦〜内製化率95%達成の舞台裏/JTC's challenge of in-house development with Scrum
aeonpeople
0
250
品質視点から考える組織デザイン/Organizational Design from Quality
mii3king
0
210
Django's GeneratedField by example - DjangoCon US 2025
pauloxnet
0
150
dbt開発 with Claude Codeのためのガードレール設計
10xinc
2
1.3k
💡Ruby 川辺で灯すPicoRubyからの光
bash0c7
0
120
スマートファクトリーの第一歩 〜AWSマネージドサービスで 実現する予知保全と生成AI活用まで
ganota
2
310
Platform開発が先行する Platform Engineeringの違和感
kintotechdev
4
580
テストを軸にした生き残り術
kworkdev
PRO
0
210
Claude Code でアプリ開発をオートパイロットにするためのTips集 Zennの場合 / Claude Code Tips in Zenn
wadayusuke
5
930
TS-S205_昨年対比2倍以上の機能追加を実現するデータ基盤プロジェクトでのAI活用について
kaz3284
1
220
LLMを搭載したプロダクトの品質保証の模索と学び
qa
0
1.1k
Featured
See All Featured
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.6k
It's Worth the Effort
3n
187
28k
Reflections from 52 weeks, 52 projects
jeffersonlam
352
21k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
333
22k
Rails Girls Zürich Keynote
gr2m
95
14k
Gamification - CAS2011
davidbonilla
81
5.4k
Become a Pro
speakerdeck
PRO
29
5.5k
Faster Mobile Websites
deanohume
309
31k
Automating Front-end Workflow
addyosmani
1370
200k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
162
15k
How to Think Like a Performance Engineer
csswizardry
26
1.9k
Transcript
1 QA4AIに則ったMLOpsツールの活用 宇佐見一平
2 名前: 宇佐見 一平 略歴:2017-04 新卒でメーカーに入社 2019-03 HACARUSに転職 職務内容:外観検査プロダクトの開発 趣味
:テレビゲーム、Spotifyで音楽巡り 社会人アメフトチームの分析スタッフとしても活動 自己紹介
3 会社紹介 Mission 次世代の“はかる”をあらゆる産業へ • ロボット制御アプリ開発 • 異常検知ライブラリの開発 • 異常検知ライブラリを
ノーコードで実行できる クラウドアプリケーション開発 • 診断/治療支援AI開発 • 創薬工程の効率化AI開発 • ライブラリをノーコードで実行 できるクラウド アプリケーション開発
4 AIプロダクト品質保証ガイドライン(QA4AIガイドライン)を用いた AIプロダクトの品質保証 (2021年MLOpsアドベントカレンダー) 今日話すこと(の細かい話)
5 AIプロダクトとMLOpsツールの関係 AIプロダクトにおける課題 MLOpsツール 個人の知見? チームの経験? どう繋ぐか?
6 QA4AI(AIプロダクト品質保証ガイドライン) Customer Expectation System Quality Model Robustness Process Agility
Data Integrity
7 QA4AI(AIプロダクト品質保証ガイドライン) Customer Expectation System Quality Model Robustness Process Agility
Data Integrity
8 チェックリストによる採点 Data Integrity a (i).... (ii)... b (i)... Model
Robustness a (i)... b (ii)... …
9 MLOpsツールとの関係性 Data Integrity a (i).... (ii)... b (i)... Model
Robustness a (i)... b (ii)... … ツールXのYという機能で 解決できるのでは? ツール主導から課題主導へ
10 • Process Agility「回復の迅速性」 • Model Robustness「モデルの陳腐化への考慮」 →MLflow Model Registryを用いてモデルを管理、
Trackingを用いて過去の実験状態をみて復元対象を決定 MLOpsツールの適用例
11 • Data Integrity 「学習データの量の十分性」、「学習データの妥当性」 • Model Robustness 「学習過程の妥当性」 →DVCのパイプラインによる前処理の設定、
CMLで可視化した結果を残す MLOpsツールの適用例 https://cml.dev/doc/cml-with-dvc
12 レーダーチャートによる採点 Customer Expectation System Quality Model Robustness Process Agility
Data Integrity Customer Expectation System Quality Model Robustness Process Agility Data Integrity
13 開発時期による基準の設定 Customer Expectation System Quality Model Robustness Process Agility
Data Integrity リリースタイミング α→β→正式
14 14 ご視聴ありがとうございました! ソフトウェアエンジニア、データサイエンティスト募集中です https://www.wantedly.com/companies/hacarus