深層学習を利用して 大豆の外部欠陥を判別した研究事例 ImVisionLabs株式会社代表取締役 板倉健太 博士（農学）

はじめに 1 iPhone12 LiDAR 以下の研究論文にて、発表者は深層学習ネットワークの構築を担当しました [動画] 深層学習による解析の部分について簡単に発表したいと思います

背景 2 iPhone12 LiDAR 大豆の重要性 • 世界的に生産され、需要も年々増加している • さまざまな形で加工され、流通している ScanX2.0 正常粒 しわ粒 病害粒 裂皮粒 虫害粒 変質粒 種子として使用不可 日作紀,83(3),232-241, 2014 日作紀,55(4),399-403,1986 品種：トヨコマチ(新潟大学農学部 村松ステーション 2022年10月収穫) 種子として使用可 ※理想的には正常粒のみ 大豆の外部欠陥

先行研究  カラー画像と近赤外のカメラの情報からバレイショの外部欠陥を分類 そうか病 キズ 奇形 深層学習 カラー 近赤外（1550nm） “説明可能な”AI 精度 96.8% 予測されたクラス 実際のクラス 斎藤嘉人, 山本一哉, 板倉健太, 今田伸二, 二宮和則, & 近藤直. (2021). 畳 み込みニューラルネットワークおよびサポートベクターマシンを用いたバレイ ショの外部欠陥種別の分類. 農業食料工学会誌, 83(3), 208-217. 大豆の外部欠陥も同様に判別できないか?

実験サンプル 4 バックパック型スキャナー  以下のカテゴリの画像を用意 ※病虫害カテゴリは，病害，変質，虫害の３カテゴリを含 む 正常粒 しわ粒 病害粒 裂皮粒 虫害粒 変質粒 病虫害粒 欠陥種別 画像枚数 正常粒 824 しわ粒 789 裂皮粒 651 病虫害粒 1418

実験サンプル 5  以下のカテゴリの画像を用意→ResNet-18などのネットワークを利用して画像分類 Backbone network Concatenation Fully connected layer Softmax layer Output 3. カラー画像・蛍光画像の同時入力: 主成分分析を利用して3チャンネルに情報を圧縮 1.カラー画像のみ 2. 蛍光画像のみ

分類結果 6 バックパック型スキャナー iPhone12 LiDAR [動画] カラー画像単体 蛍光画像単体 カラー・蛍光画像 91.7% 88.2% 88.3%  カラー画像を入力としたときに、最も精度よく分類を行うことができた

LIMEを利用した判断根拠の可視化 7 Proc. of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 1135–1144, 2016. 裂皮粒の例 LIMEの結果 元画像  分類において重要であった箇所をハイライト 欠陥箇所の重みが大きいことを確認 Explainable AI:LIMEを用いた判断根拠の可視化 https://kentapt.hatenablog.com/entry/2021/12/06/224424

補足: 深層学習ネットワークの学習の方法の例 8  画像の用意 • Train, Valid, Testに分ける（自動で分けることも可能） • TrainやValid、Testのフォルダの中に各カテゴリのフォルダを用意 • 各カテゴリのフォルダの中に大豆の画像を保存しておく

補足: 深層学習ネットワークの学習の方法の例 9  ネットワークの用意 • 学習済みのネットワークをインポートし、最終層を本研究用に変更 • 後半の層を再学習（ファインチューニング） Input layer Class output (2 class) Fully connected 本研究用のネットワーク Soft max (b) New layers Input layer Class output (1000 class) Soft max コピー Fine-tuning 学習済みネットワーク (a)

補足: 深層学習ネットワークの学習の方法の例 10  ネットワークの用意 • MATLABのディープネットワークデザイナーにてネットワークの作成や調整

まとめ 11 iPhone12 LiDAR ■検証結果 ①全体精度：カラー画像単体で最も高い（91.7 %） ②カラー・蛍光画像：「正常」で最も高い適合率 ③誤検出の要因：複数欠陥の併発や潜在的な病斑の検出 謝辞：本研究は，2022年度公益財団法人マツダ財団研究助成，およびJSPS科研費 JP 22K20600，JP 23K14044の助成を受けたものです