20240606SPSS春05_AIT林様資料

Slide 1

Slide 1 text

CaDSによるMLOpsの実践ソフトセンサーによる製品品質の制御と MLOpsによる精度の維持 2024 SPSS Modeler 春のユーザーイベント 2024年 6月 6日株式会社AIT 林啓一郎

Slide 20

Slide 20 text

COPYRIGHT ©ADVANCED INTEGRATION TECHNOLOGY, INC. ALL RIGHTS RESERVED. 20 Modeler/CaDSのよるMLOpsデモ ■モニタリング① – CO濃度モデルの劣化検知 • モニタリング用ストリームの作成数値を予測するストリームは、CaDSの劣化検知機能をそのままでは利用できないため少し工夫が必要です。CO濃度予測ストリームに、以下のような実装を追加しています。 ①. モデルの精度を評価する指標を決定する。カテゴリ値を予測するモデルと異なり、正解率などの指標はないため何か精度を評価する指標が必要です。今回は実測値と予測値の誤差（絶対値）平均を評価指標とします。絶対平均パーセント誤差などでも可。 ②. 劣化判定基準の設定劣化判定基準として評価指標が任意の閾値より大きく（小さく）なった場合、精度が劣化したと判定することとします。閾値はストリームパラメータとして設定し、CaDSでジョブを実行する際に変更できるようにします。今回は閾値より大きい場合に劣化とします。 ③. ストリームでの実装モニタリングデータを入力として、モデルを実行し評価指標を算出します。劣化している場合は、ストリームの実行戻り値を 0以外に設定します。今回は、精度が劣化していない場合は戻り値０、劣化している場合は戻り値100とします。 ※.CaDSのジョブでは、戻り値が0以外の場合、ストリームの実行が失敗したと判定されます。これを利用します。 ④. スクリプトを実装して、戻り値を操作 ①～③のアイデアをストリームのスクリプトを使って実現します。数値予測モデルのモニタリングでは工夫が必要！！

Slide 34

Slide 34 text

COPYRIGHT ©ADVANCED INTEGRATION TECHNOLOGY, INC. ALL RIGHTS RESERVED. 34 ワークショップ、セッション、および資料は、IBMまたはセッション発表者によって準備され、それぞれ独自の見解を反映したものです。それらは情報提供の目的のみで提供されており、いかなる参加者に対しても法律的またはその他の指導や助言を意図したものではなく、またそのような結果を生むものでもありません。本講演資料に含まれている情報については、完全性と正確性を期するよう努力しましたが、「現状のまま」提供され、明示または暗示にかかわらずいかなる保証も伴わないものとします。本講演資料またはその他の資料の使用によって、あるいはその他の関連によって、いかなる損害が生じた場合も、IBMは責任を負わないものとします。本講演資料に含まれている内容は、IBMまたはそのサプライヤーやライセンス交付者からいかなる保証または表明を引きだすことを意図したものでも、IBMソフトウェアの使用を規定する適用ライセンス契約の条項を変更することを意図したものでもなく、またそのような結果を生むものでもありません。本講演資料でIBM製品、プログラム、またはサービスに言及していても、IBMが営業活動を行っているすべての国でそれらが使用可能であることを暗示するものではありません。本講演資料で言及している製品リリース日付や製品機能は、市場機会またはその他の要因に基づいてIBM独自の決定権をもっていつでも変更できるものとし、いかなる方法においても将来の製品または機能が使用可能になると確約することを意図したものではありません。本講演資料に含まれている内容は、参加者が開始する活動によって特定の販売、売上高の向上、またはその他の結果が生じると述べる、または暗示することを意図したものでも、またそのような結果を生むものでもありません。パフォーマンスは、管理された環境において標準的なIBMベンチマークを使用した測定と予測に基づいています。ユーザーが経験する実際のスループットやパフォーマンスは、ユーザーのジョブ・ストリームにおけるマルチプログラミングの量、入出力構成、ストレージ構成、および処理されるワークロードなどの考慮事項を含む、数多くの要因に応じて変化します。したがって、個々のユーザーがここで述べられているものと同様の結果を得られると確約するものではありません。記述されているすべてのお客様事例は、それらのお客様がどのようにIBM製品を使用したか、またそれらのお客様が達成した結果の実例として示されたものです。実際の環境コストおよびパフォーマンス特性は、お客様ごとに異なる場合があります。

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text