Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
QA4AIに則ったMLOpsツールの活用
Search
Hacarus Inc.
December 14, 2022
Technology
0
570
QA4AIに則ったMLOpsツールの活用
2022年 年忘れ! MLOps LT大会!!!(
https://mlops.connpass.com/event/265378/)で発表した資料です
Hacarus Inc.
December 14, 2022
Tweet
Share
More Decks by Hacarus Inc.
See All by Hacarus Inc.
GitLab CI/CD で C#/WPFアプリケーションのテストとインストーラーのビルド・デプロイを自動化する
hacarus
0
630
0から協働ロボット外観検査システムを3ヵ月で具現化した軌跡
hacarus
0
100
ワンちゃんの健康を願う皆様に送る 犬心電図AI解析プロダクト紹介_AWS DevDay2022
hacarus
0
110
犬の心電AI解析プロダクト開発奮闘記 _クラウドからハード開発までてんこ盛り
hacarus
0
1.4k
ExplainableAIの概要とAmazon SageMaker Clarifyでの実装例
hacarus
0
640
AWS Step Functions を用いた非同期学習処理の例
hacarus
0
680
Dashでmyダッシュボードを作ろう ーpytrendsで見るコロナの感染拡大時期ー
hacarus
0
930
Interpretable Machine Learning: モデル非依存な解釈手法の紹介
hacarus
0
770
時系列データ予測手法の宇宙天気予報への応用
hacarus
0
1k
Other Decks in Technology
See All in Technology
Google Cloudを組織(企業)で運用する時のベストプラクティス × 健康の環境分離戦略 #まるクラ勉強会
yasumuusan
0
190
YJIT Makes Rails 1.7x faster / RubyKaigi 2024
k0kubun
4
570
Security Hubのセキュリティスコアはどうやって計算されるか
toru_kubota
0
110
ワールドカフェ再び、そしてロール・ツール群の開発 / World Café Again, and Development of Suites of Roles and Tools
ks91
PRO
0
130
Autonomous Database Cloud 技術詳細 / adb-s_technical_detail_jp
oracle4engineer
PRO
15
36k
Google Cloud Next '24 Recap in ZOZO AIにより変わる開発 運用/Development and operation changed by AI
gachimuchiengineer
0
210
「できる!」を増やすGitHub Copilot活用法 / How to use GitHub Copilot to expand your possibilities
sansan_randd
1
250
TypescriptでのContextualな構造化ロギングと社内全体への導入
leveragestech
3
620
生成AIと産業向けソフトウェアの自動生成 〜 ハノーバーメッセ2024より〜
kioto
2
440
テストコードを書きながらCompose Multiplatformを乗りこなす
subroh0508
0
150
生成AIがもたらす変革 / GitHubGalaxy_CyberAgent
cyberagentdevelopers
PRO
2
180
多言語化対応における TypeScript の型定義を通して開発のしやすさについて考えた / TSKaigi TypeScript Multilingualization
nabeliwo
2
400
Featured
See All Featured
The World Runs on Bad Software
bkeepers
PRO
61
6.8k
Documentation Writing (for coders)
carmenintech
60
4k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
117
18k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
Building Applications with DynamoDB
mza
88
5.7k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
245
20k
Making the Leap to Tech Lead
cromwellryan
125
8.6k
Debugging Ruby Performance
tmm1
70
11k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
242
1.2M
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
228
16k
What’s in a name? Adding method to the madness
productmarketing
PRO
17
2.7k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
21
2k
Transcript
1 QA4AIに則ったMLOpsツールの活用 宇佐見一平
2 名前: 宇佐見 一平 略歴:2017-04 新卒でメーカーに入社 2019-03 HACARUSに転職 職務内容:外観検査プロダクトの開発 趣味
:テレビゲーム、Spotifyで音楽巡り 社会人アメフトチームの分析スタッフとしても活動 自己紹介
3 会社紹介 Mission 次世代の“はかる”をあらゆる産業へ • ロボット制御アプリ開発 • 異常検知ライブラリの開発 • 異常検知ライブラリを
ノーコードで実行できる クラウドアプリケーション開発 • 診断/治療支援AI開発 • 創薬工程の効率化AI開発 • ライブラリをノーコードで実行 できるクラウド アプリケーション開発
4 AIプロダクト品質保証ガイドライン(QA4AIガイドライン)を用いた AIプロダクトの品質保証 (2021年MLOpsアドベントカレンダー) 今日話すこと(の細かい話)
5 AIプロダクトとMLOpsツールの関係 AIプロダクトにおける課題 MLOpsツール 個人の知見? チームの経験? どう繋ぐか?
6 QA4AI(AIプロダクト品質保証ガイドライン) Customer Expectation System Quality Model Robustness Process Agility
Data Integrity
7 QA4AI(AIプロダクト品質保証ガイドライン) Customer Expectation System Quality Model Robustness Process Agility
Data Integrity
8 チェックリストによる採点 Data Integrity a (i).... (ii)... b (i)... Model
Robustness a (i)... b (ii)... …
9 MLOpsツールとの関係性 Data Integrity a (i).... (ii)... b (i)... Model
Robustness a (i)... b (ii)... … ツールXのYという機能で 解決できるのでは? ツール主導から課題主導へ
10 • Process Agility「回復の迅速性」 • Model Robustness「モデルの陳腐化への考慮」 →MLflow Model Registryを用いてモデルを管理、
Trackingを用いて過去の実験状態をみて復元対象を決定 MLOpsツールの適用例
11 • Data Integrity 「学習データの量の十分性」、「学習データの妥当性」 • Model Robustness 「学習過程の妥当性」 →DVCのパイプラインによる前処理の設定、
CMLで可視化した結果を残す MLOpsツールの適用例 https://cml.dev/doc/cml-with-dvc
12 レーダーチャートによる採点 Customer Expectation System Quality Model Robustness Process Agility
Data Integrity Customer Expectation System Quality Model Robustness Process Agility Data Integrity
13 開発時期による基準の設定 Customer Expectation System Quality Model Robustness Process Agility
Data Integrity リリースタイミング α→β→正式
14 14 ご視聴ありがとうございました! ソフトウェアエンジニア、データサイエンティスト募集中です https://www.wantedly.com/companies/hacarus