Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
小ねぎ調製位置検出のためのインスタンスセグメンテーション
Search
Takuto ANDO
January 11, 2025
Research
0
65
小ねぎ調製位置検出のためのインスタンスセグメンテーション
Takuto ANDO
January 11, 2025
Tweet
Share
More Decks by Takuto ANDO
See All by Takuto ANDO
DPUを用いたマルチタスクDNN表情認識システムのFPGA実装
takuto_andtt
0
88
エッジ検出を用いた小ねぎ分岐部の検出
takuto_andtt
0
36
Facial Expression Recognition System Using DNN Accelerator with Multi-threading on FPGA
takuto_andtt
0
11
Other Decks in Research
See All in Research
情報処理学会関西支部2024年度定期講演会「自然言語処理と大規模言語モデルの基礎」
ksudoh
10
2.5k
ナレッジプロデューサーとしてのミドルマネージャー支援 - MIMIGURI「知識創造室」の事例の考察 -
chiemitaki
0
220
2024/10/30 産総研AIセミナー発表資料
keisuke198619
1
450
Weekly AI Agents News! 10月号 プロダクト/ニュースのアーカイブ
masatoto
1
190
20241115都市交通決起集会 趣旨説明・熊本事例紹介
trafficbrain
0
990
第79回 産総研人工知能セミナー 発表資料
agiats
3
200
リモートワークにおけるパッシブ疲労
matsumoto_r
PRO
6
4.9k
打率7割を実現する、プロダクトディスカバリーの7つの極意(pmconf2024)
geshi0820
0
300
大規模言語モデルを用いたニュースデータのセンチメント判定モデルの開発および実体経済センチメントインデックスの構成
nomamist
0
110
医療支援AI開発における臨床と情報学の連携を円滑に進めるために
moda0
0
150
言語と数理の交差点:テキストの埋め込みと構造のモデル化 (IBIS 2024 チュートリアル)
yukiar
5
1.1k
CUNY DHI_Lightning Talks_2024
digitalfellow
0
440
Featured
See All Featured
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
21
2.5k
VelocityConf: Rendering Performance Case Studies
addyosmani
328
24k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
100
18k
Git: the NoSQL Database
bkeepers
PRO
427
64k
A Modern Web Designer's Workflow
chriscoyier
693
190k
Speed Design
sergeychernyshev
27
790
Into the Great Unknown - MozCon
thekraken
35
1.6k
Writing Fast Ruby
sferik
628
61k
BBQ
matthewcrist
87
9.5k
Intergalactic Javascript Robots from Outer Space
tanoku
270
27k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.1k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Transcript
小ねぎ調製位置検出のための インスタンスセグメンテーション 安藤 拓翔1 井上 優良2 1大分工業高等専門学校 専攻科 電気電子情報工学専攻 2大分工業高等専門学校
情報工学科 D-27 2024年度 第32回 電子情報通信会九州支部 学生会講演会 9/25
1/26 発表内容
2/26 発表内容
3/26 農業従事者の不足 小ねぎ調製作業における省力化・軽労化のために 農業機械による自動化が要求される 小ねぎ調製作業とは 葉の皮むきを指す 出荷するためには1芯1葉に調製する 大分県の小ねぎ調製場では人手不足が課題 1芯1葉(合わせて2枚に)
4/26 調製方法 上下の水圧ノズルにより不要な葉の除去 精度が低く 一度に全ての不要な葉を取り除くことができない 人手による二次処理を要する 現行の調製手順 小ねぎ調製機の図 調製後の小ねぎ 調製機
調製前の小ねぎ レーンの向き ノズル
5/26 不要な葉を一度に除去するには 小ねぎの最上部の分岐部位置にノズルを合わせて投入 個体によって異なる分岐部位置を判別する必要がある 方法:水圧ノズルの位置合わせをする[1] ノズル イメージ図 小ねぎの上部 小ねぎの下部 [1]大分県(2022)大分県スマート農林水産業推進方針,
〈https://www. pref.oita.jp/soshiki/15060/sumart.html〉, 2024 年 2 月 10 日参照 目標精度:90%
6/26 分岐部位置の判別方法 画像認識により判別 YOLOなどのDNNによる物体検出が挙げられる 分岐部が遮蔽された場合は検出できない 検出可能 検出不可 × ◯ 分岐部の隠れ
7/26 本研究では 分岐部が遮蔽された場合でも対応 1つの葉が分岐して2枚の葉に変化した箇所 分岐部位置と推定 インスタンスセグメンテーションにより 葉の位置から分岐部を推定する手法の有効性の評価 本研究の目的 葉の形状から分岐部の位置を推定 インスタンスセグメンテーションにより
葉の枚数をカウント
8/26 発表内容
9/26 1. エッジ検出による分岐部検出 分岐部にある繊維斜線を検出[2] 分岐部には斜線のような繊維がある特徴を利用 [2] 安藤 拓翔, 井上 優良,
エッジデバイス上におけるリアルタイム小ねぎ分岐部位置検出, 農業情報研究, 2024, 33 巻, 2 号, p. 73-80 組込み機器でも容易に動作可能 ただし 遮蔽は× エッジ検出により分岐部斜線を抽出することで 分岐部位置を検出
10/26 2. YOLOXによる分岐部検出 YOLOXによる分岐部の検出 組込み機器向けの軽量なモデルを利用 精度は約96% 白ねぎを対象とした分岐部検出[3] [3] 小野竜也, 井上
優良, YOLOX を用いた白ねぎの葉の分岐部検出,2023, 2023年度(第31回)電子情報通信学会九州支部学生会講演会, D-22 ただし 遮蔽は× (小ねぎより遮蔽が少ないため問題なし)
11/26 本研究の立ち位置 先行研究の共通した特徴 カメラで分岐部を撮影できる前提 分岐部が遮蔽されていれば検出はできない 本研究では 小ねぎは葉が重なり合うことが多いため 分岐部の遮蔽によらない検出手法を提案
12/26 発表内容
13/26 提案手法 処理の流れ 画像の取得 前処理 推論 小ねぎ画像を取得 コントラスト強調 インスタンスセグメンテーション実行 葉の位置情報から枚数の変化箇所を識別
分岐部位置の判別 y座標の出力 最上位分岐部と推定した位置のy座標を出力
14/26 画像の取得と前処理 処理の流れ 画像の取得 前処理 推論 分岐部位置の判別 y座標の出力 調製前の小ねぎ1本を撮影した画像を取得 推論の精度を上げるため
前処理としてヒストグラム平坦化を適用 [4] コントラストの調整 - MATLAB & Simulink, (https://www.mathworks.com/help/images/contrast-adjustment_ja_JP.html), 2024 年 9 月 18 日参照 コントラストの補正 補正前 補正後 [4]
15/26 インスタンスセグメンテーションとは 処理の流れ 領域分割して物体の種類を認識できる手法 2つのセグメンテーションの違い セマンティックと違い、同じクラスでも個別に抽出 利用したモデル:Mask-RCNN
16/26 処理の流れ アノテーション:芯クラスと葉クラスで区別 芯クラス:根から小ねぎの先端まで伸びている葉 葉クラス:芯から分岐している外葉 芯 クラス 葉 クラス
17/26 推論 (インスタンスセグメンテーションを実行) 処理の流れ 画像の取得 前処理 推論 分岐部位置の判別 y座標の出力 Mask-RCNNにより
葉と芯のインスタンス領域を推論 物体のバウンディングボックスを取得
18/26 葉の位置と枚数から分岐部位置を推定 分岐部位置の判別と出力 画像の取得 前処理 推論 分岐部位置の判別 y座標の出力 葉の枚数が変わっている箇所が 分岐部であると推定して出力
最上位分岐部 (このy座標を出力) 第2分岐部 3 2 1
19/26 発表内容
20/26 本実験の目的 推論処理を認識精度(正解率*)の観点で性能評価 物体検出モデル(YOLOX)と比較 葉の位置から分岐部を推定する手法の 検出精度と分岐部の遮蔽に対する有効性の評価 * 正解位置との差が1cm未満を検出成功とする 出力y座標と正解y座標の差が50px未満であれば正解 上下誤差
1.0cm 正解位置
21/26 評価方法 K-分割交差検証 (K = 10) 目的:テストデータセットの偏りによる精度の影響を防ぐため … テストデータ 学習データ
430枚のデータを10分割 1つ(43枚)をテストデータ 残り(387枚)を学習データ 10回実験を実施して 全ての画像について評価 430 枚 1 2 10 43枚
22/26 実験 (2つの実験により本手法の有効性を評価) 02 分岐部が遮蔽された画像で評価 01 すべての小ねぎ画像で評価 小ねぎデータセット430枚すべての画像に対して 正解率を評価(分岐部が遮蔽された画像も含む) 430枚のなかで、分岐部が遮蔽されていると判断した
39枚のうち正解率を評価
23/26 実験結果 すべての小ねぎ画像(遮蔽を含む)と遮蔽画像の評価 全ての画像を評価すると精度はYOLOXの推論が上回る 一方で、分岐部が遮蔽した場合ではMask-RCNNが大幅に上回る 89 72 0 20 40
60 80 100 YOLOX Mask-RCNN 正解率 [%] 実験1:すべての画像(430枚)の評価 38 89 0 20 40 60 80 100 YOLOX Mask-RCNN 正解率 [%] 実験2:分岐部が遮蔽した画像(39枚)の評価 2.34 倍
24/26 提案手法の有効性について 葉が見えていれば推定可能 分岐部が遮蔽されていても葉を個体ごとに認識することが できれば分岐部位置を推定可能 ただし全体の精度は物体検出モデルに劣る そのため現時点では実応用は不可 成功例
25/26 発表内容
26/26 まとめ インスタンスセグメンテーションにより葉の位置を抽出して 葉の形状から分岐部を推定する手法を提案 分岐部が遮蔽された場合の検出率は 89% & YOLOXの約2.34倍 分岐部が遮蔽された場合の検出の有効性を確認 分岐部が遮蔽されていない場合の精度の向上
物体検出モデルと組み合わせた検出手法の検討 今後の課題
appendix
28/26 Mask-RCNN Faster-RCNNをセグメンテーション向けに拡張したモデル 物体検出(Faster-RCNN)+セグメンテーション機能 物体検出結果として得られた領域に対してセグメンテーション 2ステップで推論を実行 Object detection task Segmentation
task
29/26 Detectron2 Meta Research が提供するモデル作成用ライブラリ 物体検出やセグメンテーションモデルを作成可能 Apache 2.0 ライセンスで商用利用も可 事前に学習されたResNet-50を転移学習
30/26 実験環境 CPU Intel(R) Core(TM) i5-11400 GPU NVIDIA GeForce RTX-3060
OS Ubuntu 20.04 プログラミング言語 Python 3.11.4
31/26 データセット 大分県宇佐市北部小ねぎ共同調製場にて 調製される小ねぎを撮影した430枚の画像 撮影位置は固定 解像度 : 1920 x 1080
32/26 検出可否の基準 出力y座標と正解y座標を比較 正解位置との差が1cm未満を検出成功とする 出力y座標と正解y座標の差が50px未満であれば正解 上下誤差 1.0cm 正解位置