深層学習を利用して 大豆の外部欠陥を判別した研究事例の紹介

本スライドは、「カラーおよび紫外励起蛍光画像を入力とした深層学習による大豆の外部欠陥判別」という投稿論文の内容の一部を簡単に説明したものです。
https://www.jstage.jst.go.jp/article/jsceiii/4/3/4_215/_article/-char/ja
以下のオンライン勉強会にて発表されました。
https://osaka-driven-dev.connpass.com/event/313073/#feed

Transcript

1. 深層学習を利用して 大豆の外部欠陥を判別した研究事例 ImVisionLabs株式会社代表取締役 板倉健太 博士（農学）
2. はじめに 1 iPhone12 LiDAR 以下の研究論文にて、発表者は深層学習ネットワークの構築を担当しました [動画] 深層学習による解析の部分について簡単に発表したいと思います
3. 背景 2 iPhone12 LiDAR 大豆の重要性 • 世界的に生産され、需要も年々増加している • さまざまな形で加工され、流通している ScanX2.0 正常粒 しわ粒 病害粒 裂皮粒 虫害粒 変質粒 種子として使用不可 日作紀,83(3),232-241, 2014 日作紀,55(4),399-403,1986 品種：トヨコマチ(新潟大学農学部 村松ステーション 2022年10月収穫) 種子として使用可 ※理想的には正常粒のみ 大豆の外部欠陥
4. 先行研究  カラー画像と近赤外のカメラの情報からバレイショの外部欠陥を分類 そうか病 キズ 奇形 深層学習 カラー 近赤外（1550nm） “説明可能な”AI 精度 96.8% 予測されたクラス 実際のクラス 斎藤嘉人, 山本一哉, 板倉健太, 今田伸二, 二宮和則, & 近藤直. (2021). 畳 み込みニューラルネットワークおよびサポートベクターマシンを用いたバレイ ショの外部欠陥種別の分類. 農業食料工学会誌, 83(3), 208-217. 大豆の外部欠陥も同様に判別できないか?
5. 実験サンプル 4 バックパック型スキャナー  以下のカテゴリの画像を用意 ※病虫害カテゴリは，病害，変質，虫害の３カテゴリを含 む 正常粒 しわ粒 病害粒 裂皮粒 虫害粒 変質粒 病虫害粒 欠陥種別 画像枚数 正常粒 824 しわ粒 789 裂皮粒 651 病虫害粒 1418
6. 実験サンプル 5  以下のカテゴリの画像を用意→ResNet-18などのネットワークを利用して画像分類 Backbone network Concatenation Fully connected layer Softmax layer Output 3. カラー画像・蛍光画像の同時入力: 主成分分析を利用して3チャンネルに情報を圧縮 1.カラー画像のみ 2. 蛍光画像のみ
7. 分類結果 6 バックパック型スキャナー iPhone12 LiDAR [動画] カラー画像単体 蛍光画像単体 カラー・蛍光画像 91.7% 88.2% 88.3%  カラー画像を入力としたときに、最も精度よく分類を行うことができた
8. LIMEを利用した判断根拠の可視化 7 Proc. of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 1135–1144, 2016. 裂皮粒の例 LIMEの結果 元画像  分類において重要であった箇所をハイライト 欠陥箇所の重みが大きいことを確認 Explainable AI:LIMEを用いた判断根拠の可視化 https://kentapt.hatenablog.com/entry/2021/12/06/224424
9. 補足: 深層学習ネットワークの学習の方法の例 8  画像の用意 • Train, Valid, Testに分ける（自動で分けることも可能） • TrainやValid、Testのフォルダの中に各カテゴリのフォルダを用意 • 各カテゴリのフォルダの中に大豆の画像を保存しておく
10. 補足: 深層学習ネットワークの学習の方法の例 9  ネットワークの用意 • 学習済みのネットワークをインポートし、最終層を本研究用に変更 • 後半の層を再学習（ファインチューニング） Input layer Class output (2 class) Fully connected 本研究用のネットワーク Soft max (b) New layers Input layer Class output (1000 class) Soft max コピー Fine-tuning 学習済みネットワーク (a)
11. 補足: 深層学習ネットワークの学習の方法の例 10  ネットワークの用意 • MATLABのディープネットワークデザイナーにてネットワークの作成や調整
12. まとめ 11 iPhone12 LiDAR ▪検証結果 ①全体精度：カラー画像単体で最も高い（91.7 %） ②カラー・蛍光画像：「正常」で最も高い適合率 ③誤検出の要因：複数欠陥の併発や潜在的な病斑の検出 謝辞：本研究は，2022年度公益財団法人マツダ財団研究助成，およびJSPS科研費 JP 22K20600，JP 23K14044の助成を受けたものです