機械学習に基づく中山間地域向け農業用散布ドローン群 マルチエージェント・マルチロボットプランニング研究会 2024

Transcript

1. 機械学習に基づく中山間地域向け 農業用散布ドローン群 有田朋樹・和田唯我 2024年度 未踏IT人材発掘・育成事業 / マルチエージェント・ロボットプランニング研究会
2. 有田朋樹 o 慶應義塾大学 M1 o 滑川研 o ドローン，マルチエージェント制御 自己紹介 和田唯我 o 慶應義塾大学 M2 o 杉浦孔明研 o 機械学習，画像認識 (CVPR24 Highlight)
3. 原発被災の中心都市である大熊町を復興するため かつて特産品だったキウイの栽培を始めた
4. 日本全体，特に中山間地域における 農業を取り巻く厳しい現実を知る 友人との作業風景 (1.5倍速) トロッコに乗るほど過酷な斜面 ※中山間地域：斜面が多く地理的条件が悪い ため、農業の生産条件が不利な地域
5. 日本における中山間地域の割合 38% 耕地面積 44% 総農家数 40% 農業産出額 92% 60歳以上の 就業者割合 ※母数は日本国内の農業経営体および研究団体 ※農研機構資料より https://shingi.jst.go.jp/pdf/2021/2021_jst-3_003.pdf 機械化の必要性
6. 5% 作業プロセスの 機械化 1% 中山間地域における機械化の遅れ&我々がやるべきこと ※母数は日本国内の農業法人経営体および研究団体 中山間地域・ 不整地 受粉作業の 機械化 5~10例 ※独自調べ 全体 (整備環境) ※農研機構スマート推進フォーラム資料 https://www.maff.go.jp/kinki/seisan/s mart/event/attach/pdf/smart_2023- 5.pdf ? ≫
7. Vision 不整地の農作業をドローン×AIで代替し， 日本初の中山間地域の機械化を実現する 果樹農業における主な工程 畑の耕起 ・整地 苗植え 摘蕾・摘果 ・防除 受粉 収穫
8. 未踏におけるMission 不整地果樹棚下における受粉作業を ドローン×AIで代替する 果樹農業における主な工程 畑の耕起 ・整地 苗植え 摘蕾・摘果 ・防除 受粉 収穫 果樹棚下の例 未踏における ターゲット
9. 現状のソリューションと小型ドローンの可能性 自動走行型 アームロボット 大型散布ドローン 室内受粉ドローン (日本工業大学) 整備されたハウス内で モーションキャプチャを 用いることを前提 積載効率 不整地における 機動性 狭路(果樹棚下など) における機動性 Excellent Poor Good Very Poor Poor Good Poor Good ? Very Poor
10. 現状のソリューションと小型ドローンの可能性 自動走行型 アームロボット 大型散布ドローン 整備されたハウス内で モーションキャプチャを 用いることを前提 https://scienceportal.jst.go.jp/gateway/clip/20230728_g01/ ・安定したビニールハウス ・大型カメラによるドローンの位置推定 → 完全に整備された環境 積載効率 不整地における 機動性 狭路(果樹棚下など) における機動性 Excellent Poor Good Very Poor Poor Good Poor Good ? Very Poor 室内受粉ドローン (日本工業大学)
11. 現状のソリューションと小型ドローンの可能性 自動走行型 アームロボット 大型散布ドローン 積載効率 不整地における 機動性 狭路(果樹棚下など) における機動性 Excellent Poor Good Very Poor Poor Good Poor Good ? Very Poor Agriswarm Fair Excellent Excellent 整備されたハウス内で モーションキャプチャを 用いることを前提 室内受粉ドローン (日本工業大学)
13. Sensing Approach & 受粉 Flower Detection & Pose Estimation 概要: Agriswarmの受粉技術
14. 詳細: 受粉における群制御技術 Multi Agent Path Finding Multi Agent SLAM (Simultaneous Localization and Mapping) Agriswarm [Zhou+, Science Robotics 2022] によって障害物×不整地の ドローン飛行が初めて実現 → 当該環境におけるドローンの 社会応用は未踏性が高い ROS上でのマルチエージェント 経路計画のシミュレーション
15. Flower Detection & Pose Estimation 詳細: 花認識における機械学習技術 • 花の姿勢推定: 花粉を適切に散布するには花の姿勢情報が重要 • 人間の頭部の向きを推定するHead Pose Estimationから着想を得て， 花の姿勢 (オイラー角)を推定 → TokenHPE [Zhang+, CVPR23]をベースに • 花の物体検出 • デファクトスタンダードのモデル (e.g., YOLO) により物体検出を実行 TokenHPE [Zhang+, CVPR23]
16. Flower Detection & Pose Estimation • 姿勢推定モデルの汎化には大量のデータが必要 → 非常に高コストな作業 • 花が 𝑵 輪，撮影角度が 𝑴 個必要だとする． • 𝑴 個の角度から花の写真を撮影 (𝑵 × 𝑴 回) • 𝑵 枚全ての花の写真に対して，姿勢をアノテーション(𝑵 × 𝑴 回) > 𝑵 × 𝑴 =10万も人間がアノテーションするの？？ Q. 花のアノテーションを効率的に収集するには？ ① N = 3 M = 4 ② ④ ⑤ ⑫ ⑥ ⑦ ⑧ ⑨ ⑩ ⑪ ③ 詳細: 花認識における機械学習技術
17. Flower Detection & Pose Estimation Q. 花のアノテーションを効率的に収集するには？ A. 花の動画を撮影し，動画から3Dモデルを作成 (NeRF) →三次元空間上でたった一回だけアノテーション • 𝑵 × 𝑴 → 𝑵 回にまで工数を削減 • 𝑵回のアノテーションで， 𝑵 × 𝑴 枚のGTを取得 ① ② ③ N = 3 M = 4 詳細: 花認識における機械学習技術
18. ROS1の非分散性 vs ROS2の低OSSリ ソース を ROS1(local)&LCM で解決 システム構成 “1台で動く”と“マルチエージェントで動く” を両立する必要が ある
19. システム構成 機械学習モデルの推論コストを を Onnxruntime&TensorRT で解決 Ego-Planner base D2SLAM base “1台で動く”と“マルチエージェントで動く” を両立する必要が ある Polynomial Trajectory Dual Variable & Closure Loop
20. 現在開発中…
22. 第31回 未踏IT成果報告会 (未定) 例年2月中旬 昨年度(第30回) : 2/18~19, 富士ソフトアキバプラザ ご清聴ありがとうございました ぜひ未踏報告会にお越しください