機械学習技術を製造の現場で活⽤するために 三菱ケミカルホールディングスグループ データ＆先端技術部 データサイエンスグループ 画像解析CoEリード 伊藤 優 0 2022/6/3 16:40-17:20 WiDS Tokyo @ IBM 2022

No content

⾃⼰紹介 • 名前：伊藤 優（いとう ゆう） • 専⾨：情報理⼯学修⼠（機械学習理論）、 機械学習運⽤（XAI、MLOps） • 現職：機械学習システムの現場導⼊ • 経歴： 出典：データサイエンティスト協会 ⼤学院修⼠ 機械学習研究者 SIer インフラエンジニア 総合化学 画像解析エンジニア

現在の仕事 • グループ全体のデータおよび先端技術活⽤推進 取締役会 監査委員会 戦略 法務／ 総務／⼈事 監査 ファイナ ンス イノベー ション デジタル サプライ チェーン PC／ MMA FM／ AS ⽯化／ 炭素 ファー マ 産業 ガス CEO インフォメーションシステム ＆テクノロジー本部 ビジネス トランスフォーメーション部 データ＆ 先端技術部 https://www.mitsubishichem-hd.co.jp/group/organization.html

AIプロジェクトはPoC⽌まり？ PwC Japan『2022年AI予測』https://www.pwc.com/jp/ja/knowledge/thoughtleadership/2022-ai- predictions.html 以前に⽐べると導⼊は進んでいるがやはり……

なかなか現場で活⽤できない機械学習 なんとなく 使えそうな 機械学習モデル 現場で 利⽤される 機械学習モデル 精度98％？使えませんよ。 検査の⾒逃しは0％でないと。 アラートだけ出されても。 現場の感覚と合わないので 信⽤できません。

今⽇話すこと 機械学習システムが現場で活⽤されるまでに 実際に現場で起こったこと 企画 PoC 実地 検証 開発 運⽤ 保守 『機械学習応⽤システムのプロジェクト管理と組織』本橋洋介

例題 最終製品をマイクロスコープで観察し、 ⽋陥がないかを⽬視で判定している。⾃動化したい。 確認OK（出荷） 確認NG（廃棄orリサイクル） ※このあと登場する状況設定・数値などはすべて架空のもので、特定の現場の実際の状況を⽰すものではありません。

機械学習の担当者になったつもりで考えてみてください。 現場の⽅に何をヒアリングしますか？ Q1. 企画 PoC 実地 検証 開発 運⽤ 保守

A1. 企画 PoC 実地 検証 開発 運⽤ 保守 • ヒヤリングの内容例 データに関すること 具体的なデータの形式 正解ラベルの有無 ⾃動撮像がどのくらい可能か 評価基準に関すること OK/NGの基準は何で決まっているか （⼈材育成マニュアルはあるか） 導⼊効果に関すること 既存検査において、⽬視にかかる時間 （1件あたりの時間や、1⽇あたりの件数） 既存検査において、検査員の教育にかかる時間 実際の使い⽅に関すること 機械学習の結果をどのように活⽤したいか ・検査員の判断を⽀援したい ・1次スクリーニングをしたい ・完全⾃動化したい 実⾏環境に関すること データのアップロードが可能か 実⾏頻度や実⾏時間の限度

ヒアリング結果 • 実際のデータはどのように保管されていますか？ 企画 PoC 実地 検証 開発 運⽤ 保守 報告⽤にpptにまとめています。それ以外は保管していません。 製品A lot ID:XXX Point1: OK Point2: NG 汚れ • 画像を蓄積していく仕組み が必要 • NG箇所のマーキングをデジ タルデータ化する仕組みが 必要

ヒアリング結果 • OK/NGの基準は何で決まっていますか？マニュアルはありますか？ 企画 PoC 実地 検証 開発 運⽤ 保守 厳密なマニュアルはありません。 新規⼈材教育のために、簡単な限度⾒本はありますが、 その後は実際の検査を通して、場当たり的に基準を学びます。 • 限度⾒本を参考に、ラベル の種類を決定し、データを ラベル付けしていただく 限度⾒本 ○○キズ 1つでもあればNG ○○汚れ 左記より薄い場合 はNGとしない へこみ NGではない

ヒアリング結果 • 予測結果を誰がどのように使うと、どのように効果がありますか？ 企画 PoC 実地 検証 開発 運⽤ 保守 現状、1⽇300個ほど⽬視で確認する必要があります。 製品1つをマイクロスコープにセットして撮影するのに2分かかります。 画像が取れればOKかNGかの判定は10秒ほどで判断することが多いですが、 迷う場合には上司に確認したりして半⽇ほどかかることもあります。 OK NG 2分 半⽇ OK NG 判定難 OK NG Step1: 検査員の判定⽀援 AIの判定を確認することで、 検査員が判断に⾃信を持てる。 300個 Step2: 1次スクリーニング AIが⾃信を持てないもののみを 検査員が判定することで、 検査の⼯数を削減する。

機械学習プロジェクトキャンバス • ヒアリングポイントを明確にするためのフレームワークを公開 企画 PoC 実地 検証 開発 運⽤ 保守 https://www.mitsubishichem-hd.co.jp/news_release/pdf/190718.pdf

機械学習プロジェクトキャンバス 企画 PoC 実地 検証 開発 運⽤ 保守

機械学習プロジェクトキャンバス 企画 PoC 実地 検証 開発 運⽤ 保守 画像と OK/NGラベル （箇所も含む） のペア ⽬視検査の⾃動化 検査員が 予測結果を 確認し、 判断に活かす 判断⽀援による判定の属⼈性の排除 検査員が迷う ような難しい 判定に関して、 素早くそこそ この精度で予 測結果を返す

Q2. 画像データとラベルデータがある程度たまりました。 どんな機械学習モデルを構築しますか？ 企画 PoC 実地 検証 開発 運⽤ 保守

A2. • 代表的な課題設定から今回に合うものを選択 企画 PoC 実地 検証 開発 運⽤ 保守 Car Score : 〇〇 情報量 / 難易度 汎⽤ ソフト 画像分類・回帰 物体認識 セグメンテーション 画像出典：What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision? https://arxiv.org/abs/1703.04977

モデル学習結果 • 矩形とNGスコアを出⼒するモデルが完成 企画 PoC 実地 検証 開発 運⽤ 保守 NGスコア ⼤ ⼩ OK NG To Be Confirmed ※表⾯画像 OK（-13.56） OK（-11.23） TBC（-2.60） TBC（5.43） NG（15.76）

モデル学習結果 • 矩形とNGスコアを出⼒するモデルが完成 企画 PoC 実地 検証 開発 運⽤ 保守 NGスコア ⼤ ⼩ OK NG To Be Confirmed Step1: 検査員の判定⽀援 この出⼒を検査員に⾒せることで、 判断⽀援に活かせそう。 Step2: ⼀次スクリーニング NGが1つもなければOKとする。 NG/TBCがあれば⽬視確認する。 OK（-13.56） OK（-11.23） TBC（-2.60） TBC（5.43） NG（15.76）

Q3. そこそこのモデルはできましたが、 現場の⽅は「導⼊するにはなんとなく不安がある」と⾔っています。 この不安の原因として何が考えられるでしょうか？ 企画 PoC 実地 検証 開発 運⽤ 保守

A3. 企画 PoC 実地 検証 開発 運⽤ 保守 • 不安の原因の例 評価指標に関すること テストデータは⼗分か 評価指標は適切か 精度に関すること まだもう少し上がるのか 少し気になる誤判定があるが影響ないのか システム開発に関すること 具体的なUIのイメージがわいていない 業務フローが変わるのか 多額の予算が必要？ システム運⽤に関すること 新しいデータに対してモデルが合わなく なってきたらどうするか 効果を実感できる最⼩限のプロトタイプを 爆速で出現させることが重要 →実地検証へ 決めの問題だが、難航する場合もある

不安解消フェーズ 企画 PoC 実地 検証 開発 運⽤ 保守 • 精度：モデル可視化→微調整→再学習を繰り返して向上させる • 精度100％にはならないが、現場との信頼関係を醸成できる 精度 労⼒ 特徴空間マッピング 説明ヒートマップ（例：Grad-CAM） 再学習 可視化 可視化 OK NG OKとNGの間にある画像 （＝まぎらわしい画像） の特徴を⾒定め、再学習 画像の中でNG判定と相関が強 い部分を可視化 →⼈の知⾒との差分から、モデ ルを調整、再学習 Grad-CAM https://arxiv.org/abs/1610.02391 Tensorbord Projector https://yag-ays.github.io/project/embedding-visualization/

不安解消フェーズ 企画 PoC 実地 検証 開発 運⽤ 保守 • 評価指標：テスト指標の研究も進んでいる • ⼀⽅で、最終的には課題に合わせて当事者が適切に選択する必要がある DeepMutation https://arxiv.org/pdf/1805.05206.pdf DeepGauge https://arxiv.org/abs/1803.07519 DeepMutation 深層学習モデルのテストに 必要なテストケースを提案。 例）テストデータに下記のような 摂動を加えても、結果が変化しな いこと DeepGauge テストデータを⼊れた際に 発⽕するニューロンの割合 をカバレッジと定義。 カバレッジを⾼めるデータ セットが良い※データセッ トであり、Mutationと組 み合わせることで良いデー タセットを⽣成できる。 ※ Adversary Attackの⼿法で データを増やすとカバレッジが ⾼まることがあり、カバレッジ はテストデータ群の網羅性を表 すと考えられる。

実地検証 企画 PoC 実地 検証 開発 運⽤ 保守 • 爆速プロトタイピング ①現場の⽅にモデルの予測を返す （現場で実⾏すると予測結果が返る） ②予測が想定と異なる部分があれば、 その場で修正する ③修正データを学習可能な形式で蓄積する ④データがたまったら再学習する ループを作ることで、 ・現場で素早くモデルを試せる ・継続的に精度向上できる 導⼊のハードルを下げる ↓

Q4. 判定⽀援AIとして現場に定着してきました。 今後は本格的に1次スクリーニングに進みたいと思います。 検査⼿法の変更を、顧客に説明する必要はあるでしょうか？ また、本番運⽤向けにシステム補強は必要でしょうか？ 企画 PoC 実地 検証 開発 保守 運⽤

A4.顧客説明 企画 PoC 実地 検証 開発 保守 運⽤ • 顧客と品質保証上合意している枠組みの例 • 品質保証の”5M” 変更前 Man（⼈） ⼿順書XXXの⼿順で画像を撮影、 およびOK/NG判定 Machine（機械） マイクロスコープXXXを⽤いて 撮影 Method（⽅法） Machineで撮影された画像を Measurementにて判断 Material（材料） 材料XXX Measurement（検査/測定） ⽬視で判定 変更後 AIで1次スクリーニング、まぎ らわしいものは⽬視で判定 5M変更 申請 申請には、ドメインに根付いた 様々な知識や、顧客との関係性 が必要 参考：5Mの管理 https://www.sk-quality.com/idea/idea05_5M.html など

A4.システム運⽤ 企画 PoC 実地 検証 開発 保守 運⽤ • MLOps：継続的デリバリーと⾃動化 • コードとモデルとデータを継続的に管理 https://qiita.com/noko_qii/items/d2c36b0b22ab0da6c759 https://mlflow.org/ 管理ツールの例

A4.システム運⽤ 企画 PoC 実地 検証 開発 保守 運⽤ • MLOps：継続的デリバリーと⾃動化 • パイプライン管理 https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning?hl=ja 標準基盤を定め、 標準化されたルールに従い実装することで、 横展開を可能にする パイプラインの成熟度 • MLOps level 0: Manual process • ⼿動 • MLOps level 2: ML pipeline automation • 関数ごとに⾃動実⾏ • MLOps level 3: CI/CD pipeline automation • 監視なども含めシステムを⾃動制御 管理ツールの例

AIシステムの品質保証 企画 PoC 実地 検証 開発 保守 運⽤ • QA4AI（AIプロダクト品質保証ガイドライン） • Data Integrity（データ量/質） • Model Robustness（モデル精度/頑健性） • System Quality（システム全体の品質） • Process Agility（モデルの変更可能性） • Customer Expectation（顧客との関係） QA4AI http://www.qa4ai.jp/QA4AI.Guideline.202008.pdf Data Integrity の⼀部

AIシステムの品質保証 企画 PoC 実地 検証 開発 保守 運⽤ • QA4AI（AIプロダクト品質保証ガイドライン） • Data Integrity（データ量/質） • Model Robustness（モデル精度/頑健性） • System Quality（システム全体の品質） • Process Agility（モデルの変更可能性） • Customer Expectation（顧客との関係） QA4AI http://www.qa4ai.jp/QA4AI.Guideline.202008.pdf

社外との情報交換、学術的貢献 • 機械学習⼯学研究会（MLSE） 機械学習を組み込んだシステムの開発・運⽤を検討 ⽇本ソフトウェア科学会の公式研究会として発⾜（2018年〜） 可視化 テスト⼿法 事例研究 SHAP https://arxiv.org/abs/1602.04938 Grad-CAM https://arxiv.org/abs/1610.02391 DeepMutation https://arxiv.org/pdf/1805.05206.pdf DeepGauge https://arxiv.org/a bs/1803.07519 テストケース⽣成 評価指標構築 各種フレームワークを⽤いた 事例のクラスタリング 運⽤Tipsの整理 https://www.jstage.jst.go.jp/article/jsaisigtwo/2020 /KSN-026/2020_03/_article/-char/ja/

DXプロジェクト実⾏にどのような⼈材が必要？ • DXスキルツリー DXプロジェクトの各フェーズ キャリアパス https://qiita.com/shore/items/555fbf706b36315e81f1 必要な⼈材がわかる ⾝に着けるべきスキル ＆キャリアパスがわかる

DXプロジェクト実⾏にどのような⼈材が必要？ • DXスキルツリー • DXの流れと登場⼈物を整理 https://qiita.com/shore/items/555fbf706b36315e81f1

DXプロジェクト実⾏にどのような⼈材が必要？ • DXスキルツリー https://qiita.com/shore/items/555fbf706b36315e81f1 個々の職業を説明

まとめ • さまざまな壁を乗り越えて、製造の現場でもAI活⽤は進んでいる • AI活⽤を進めるには、技術だけではない様々な側⾯への考慮が必要 • 様々な専⾨家の英知を結集する必要がある ご質問等あれば、Slidoなどでお気軽コメントください ぜひご⼀緒に議論しましょう