Slide 1
Slide 1 text
1
QA4AIに則ったMLOpsツールの活用
宇佐見一平
Slide 2
Slide 2 text
2
名前: 宇佐見 一平
略歴:2017-04 新卒でメーカーに入社
2019-03 HACARUSに転職
職務内容:外観検査プロダクトの開発
趣味 :テレビゲーム、Spotifyで音楽巡り
社会人アメフトチームの分析スタッフとしても活動
自己紹介
Slide 3
Slide 3 text
3
会社紹介
Mission
次世代の“はかる”をあらゆる産業へ
● ロボット制御アプリ開発
● 異常検知ライブラリの開発
● 異常検知ライブラリを
ノーコードで実行できる
クラウドアプリケーション開発
● 診断/治療支援AI開発
● 創薬工程の効率化AI開発
● ライブラリをノーコードで実行
できるクラウド
アプリケーション開発
Slide 4
Slide 4 text
4
AIプロダクト品質保証ガイドライン（QA4AIガイドライン）を用いた
AIプロダクトの品質保証
（2021年MLOpsアドベントカレンダー）
今日話すこと（の細かい話）
Slide 5
Slide 5 text
5
AIプロダクトとMLOpsツールの関係
AIプロダクトにおける課題 MLOpsツール
個人の知見？
チームの経験？
どう繋ぐか？
Slide 6
Slide 6 text
6
QA4AI（AIプロダクト品質保証ガイドライン）
Customer
Expectation
System
Quality
Model
Robustness
Process
Agility
Data
Integrity
Slide 7
Slide 7 text
7
QA4AI（AIプロダクト品質保証ガイドライン）
Customer
Expectation
System
Quality
Model
Robustness
Process
Agility
Data
Integrity
Slide 8
Slide 8 text
8
チェックリストによる採点
Data Integrity a (i)....
(ii)...
b (i)...
Model Robustness a (i)...
b (ii)...
…
Slide 9
Slide 9 text
9
MLOpsツールとの関係性
Data Integrity a (i)....
(ii)...
b (i)...
Model Robustness a (i)...
b (ii)...
…
ツールXのYという機能で
解決できるのでは？
ツール主導から課題主導へ
Slide 10
Slide 10 text
10
● Process Agility「回復の迅速性」
● Model Robustness「モデルの陳腐化への考慮」
→MLflow Model Registryを用いてモデルを管理、 Trackingを用いて過去の実験状態をみて復元対象を決定
MLOpsツールの適用例
Slide 11
Slide 11 text
11
● Data Integrity 「学習データの量の十分性」、「学習データの妥当性」
● Model Robustness 「学習過程の妥当性」
→DVCのパイプラインによる前処理の設定、 CMLで可視化した結果を残す
MLOpsツールの適用例
https://cml.dev/doc/cml-with-dvc
Slide 12
Slide 12 text
12
レーダーチャートによる採点
Customer
Expectation
System
Quality
Model
Robustness
Process
Agility
Data
Integrity
Customer
Expectation
System
Quality
Model
Robustness
Process
Agility
Data
Integrity
Slide 13
Slide 13 text
13
開発時期による基準の設定
Customer
Expectation
System
Quality
Model
Robustness
Process
Agility
Data
Integrity
リリースタイミング
α→β→正式
Slide 14
Slide 14 text
14
14
ご視聴ありがとうございました！
ソフトウェアエンジニア、データサイエンティスト募集中です
https://www.wantedly.com/companies/hacarus