3次元点群を利用した植物の葉の自動セグメンテーションについて

2024年12月12日に開催されたオンライン勉強会イベント「StudyCO 」にて、『3次元点群を利用した植物の葉の自動セグメンテーションについて』と題して発表を行いました。

イベントページ
https://studyco.connpass.com/event/337603/

発表動画
https://www.youtube.com/watch?v=uBe8ZyNSn4M&t=2531s

Transcript

1. 3次元点群からにおける 植物の葉の自動セグメンテーションについて ImVisionLabs株式会社代表取締役 板倉健太 博士（農学）
2. はじめに  このスライドは2024年12月12日のオンライン勉強会StudyCOにて発表されました 発表動画は以下のURLにアップロードされています。興味のある方はぜひご覧ください。 https://www.youtube.com/watch?v=uBe8ZyNSn4M&t=2531s
3. 3次元点群とは？ 3次元点群は、XYZ座標を持つ大量の点の集まり
4. 3Dデータについて  3Dデータには3次元点群、メッシュなどの種類が存在する 点群 メッシュ（粗い） メッシュ（細かい） 画像出典: Yoon, S.H., 2006, July. A surface displaced from a manifold. In International Conference on Geometric Modeling and Processing (pp. 677- 686). Springer, Berlin, Heidelberg.  3次元点群は点の集合で、メッシュは多角形の集合である
5. 葉を3次元化する動機  身近な例：葉の成長度合いを定量的に観察したい  インターネット等で公開されている研究の事例： 環境データ、遺伝子情報との関連性を分析して 栽培管理技術を高精度化する試み （出典：農研機構） 図1「イチゴ苗の表面温度の3次元計測」出典: 農研機構 (研究成果) 植物体表面温度の3次元計測技術を開発 https://www.naro.go.jp/publicity_report/press/laboratory/rcar/154741.html#zu1 農業や林業において生育状況の自動把握につながる可能性
6. 3次元点群の取得方法の例（※表は参考程度） 5 SfM-MVS (Riel., 2016) 3D スキャナ(Paulus et al., 2013) 深度カメラ(Xia et al., 2015) 取得方法 特徴 例 3Dスキャナ 高精度、比較的高コスト。 手持ち型スキャナ、ドローン搭載型 写真測量（SfM-MVS） 写真から3Dモデルを生成。低コストで 手軽。 ドローン撮影、地上撮影の両方が可 深度カメラ 近距離での点群生成が得意。 Microsoft Kinect、スマホ搭載LiDAR
7. iPhone LiDARのアプリケーション  スマートフォン (iPhone/iPad) にもLiDARが搭載されはじめ、アプリも充実  LiDARが搭載されていない機種でも対応可能なアプリも多い 図出典:Apple https://www.apple.com/jp/newsroom/2024/09/apple-debuts-iphone- 16-pro-and-iphone-16-pro-max/ iPhone proシリーズの みLiDARを搭載 LiDAR
8. 本スライドにて紹介する処理の内容  以下のような処理を行う基本的な方法を紹介します (1) 自動分離 植物の3次元点群（メッシュ） 3. 葉の面積 2. 葉傾斜角（傾き） 1. 葉の数 30° (2)自動解析 分離された葉 10 cm2 • 葉を自動的に分離→葉の面積や傾きを予測 • 以下の文献を参考にしますが、簡略化して紹介します 紹介する手法の参考文献: Itakura, K., & Hosoi, F. (2019). Automated tree detection from 3D lidar images using image processing and machine learning. Applied optics, 58(14), 3807-3811.
9. 方法の例 8  茎の点を色情報や密度（≒細さ）によって除去したのち以下のような処理を行います ある1点に注目する (c) 触れ合う葉は分離できない 注目点周辺をマーキング 上記の操作を繰り返す (b) (a) (d) 注目点がなくなれば、他の 一点を新たな注目点とする ⇒さらに画像処理の技術を用いる (次のスライド)
10. 方法の例 9  以下の方法を利用して重なった葉を分離します 葉を上から眺める (b) (a) 背景から遠い場所ほど 濃い色で表す(Mayer, 1994) (b) (a) 濃さ（深さ）が ぶつかる場所で切断 (c) 重なった葉を分離可能 (d) • 少しの重なりであれば分離できますが、半分以上重なっていると難しくなります
11. 結果の例 10  それぞれの葉が自動的に分離され、異なる色で示されています • 鉢植えは高さの情報を利用して除去しています  MATLABを利用して処理を実行しました
12. 葉の自動セグメンテーションの結果の例 11  左が色表示で、右がセグメンテーションの結果の例です • それぞれの葉を異なる色で示しています • 点群を利用してセグメンテーションし、メッシュモデルとして表示しています
13. 葉の面積の推定  葉の点群をブロック状に変換し、その面積を求めます Googleⓒ (a) 葉の局所的な傾き 角度を考慮し 計算 (b) ෍ 𝑖=1 𝑛 ボックスの面積 × 1 cos 𝜃𝑖 (Reviewed in Agri. Meteorol.) • 絶対誤差 : 2.8 cm2 0 20 40 60 80 100 120 140 160 0 20 40 60 80 100 120 推定値 (cm2) 実測値 (cm2) R2=0.98 (c) • 局所的な角度も加味しながら計算します • メッシュモデル（三角形の集まり）を利用して面積を求める方法もあります
14. 葉の傾きの計算の例  小さな領域の点の法線ベクトルの向きやメッシュの面の向 きから葉の傾きを計算することができます • 以下の図はメッシュモデルにおける各面の傾きを色表示しています • 点群からの法線ベクトルの求め方は過去の発表にて紹介しました 2024/3/21 【StudyCo】3次元点群の解析において重要な法線ベクトルについて紹介
15. まとめ 14  3次元モデルにて表現された葉の自動セグメンテーションの方法について紹介しました • 各葉を異なる色で着色し、セグメンテーションできていることを示しました • セグメンテーションした情報から面積や傾きなどの情報も計算可能です  植物以外にも様々な応用が可能であると考えられます。その他の分野での利活用も探 求していきたいです。  本日の発表内容は以下の論文を参考にしています。 1) Itakura, K., & Hosoi, F. (2019). Automated tree detection from 3D lidar images using image processing and machine learning. Applied optics, 58(14), 3807-3811. 2) Itakura, K., & Hosoi, F. (2018). Automatic leaf segmentation for estimating leaf area and leaf inclination angle in 3D plant images. Sensors, 18(10), 3576.