未踏ブースト会議資料

大きい進捗等は書いてないので公開OK

機械学習に基づく中山間地域向け農業用散布ドローン群（落合陽一PM）
慶應義塾大学 理工学研究科 D1 和田唯我 (Yuiga Wada; YuWd)

Transcript

1. 機械学習に基づく中山間地域向け 農業用散布ドローン群 有⽥ 朋樹・和⽥唯我
2. 2 自己しょーかい 有⽥朋樹 (M1) 慶應義塾⼤学 理⼯学部 SD ドローン，マルチエージェント制御 和⽥唯我 (M2) 慶應義塾⼤学 理⼯学部 情報⼯学 機械学習，画像認識, ロボティクス
3. 3 自己しょーかい 有⽥朋樹 (M1) 慶應義塾⼤学 理⼯学部 SD ドローン，マルチエージェント制御 和⽥唯我 (M2) 慶應義塾⼤学 理⼯学部 情報 機械学習，画像認識 福島県⼤熊町を復興するため，かつての特産品だったキウイの栽培を始めた → ドローン × AI でキウイの受粉作業を⾃動化できないか？
4. 虫ばい 人手(大体これ) 接触感染する病気(かいよう病など)への理解 → 徐々に吹き付け受粉へと変化 導⼊コストが⼤きく， 野外では不可能な場合も多い 開花時期が不確定かつ短期間→ ⼈⼿を雇⽤するのが困難 → 中⼭間地帯においては過酷な労働となるため⼈⼿が存在しない キウイの受粉はひじょーに大変！！ 4
5. 5 キウイの受粉はひじょーに大変！！ 受粉きつすぎ問題 月別投下労働時間 せん定： 60時間 受粉： 40時間 防除： 14時間 収かく： 35時間 （１アールあたり）
6. 6 受粉可能な期間は限られ短期間のみ(満開は3~5⽇)の⼤量の雇⽤が発⽣する 受粉という単⼀の作業のために，果樹栽培全体のハードルが上昇 震災前は地元のおばちゃんたちをパートで取って，地域で助け合っていた 震災後⻑期の避難指⽰で地域コミュニティは喪失 ⼈⼝もまだ⾮常に少なくパートで取るのは難しい 農家の声
7. 7 現状のソリューションと小型ドローンの可能性 ⾃動⾛⾏型 アームロボット ⼤型散布ドローン 室内受粉ドローン (⽇本⼯業⼤学) 整備されたハウス内で モーションキャプチャを ⽤いることを前提 積載効率 不整地における 機動性 狭路(果樹棚下など) における機動性 Excellent 👍 Poor Good Very Poor 👎 Poor Good Poor Good ? Very Poor 👎
8. 室内受粉ドローン (⽇本⼯業⼤学) 現状のソリューションと小型ドローンの可能性 8 ⾃動⾛⾏型 アームロボット ⼤型散布ドローン 整備されたハウス内で モーションキャプチャを ⽤いることを前提 積載効率 不整地における 機動性 狭路(果樹棚下など) における機動性 Excellent 👍 Poor Good Very Poor 👎 Poor Good Poor Good ? Very Poor 👎 ⾃動⾛⾏型 アームロボット https://scienceportal.jst.go.jp/gateway/clip/20230728_g01/ ・安定したビニールハウス ・⼤型カメラによるドローンの位置推定 → 完全に整備された環境
9. 9 現状のソリューションと小型ドローンの可能性 ⾃動⾛⾏型 アームロボット ⼤型散布ドローン 室内受粉ドローン (⽇本⼯業⼤学) 整備されたハウス内で モーションキャプチャを ⽤いることを前提 積載効率 不整地における 機動性 狭路(果樹棚下など) における機動性 Excellent 👍 Poor Good Very Poor 👎 Poor Good Poor Good ? Very Poor 👎 Agriswarm Fair Excellent 👍 Excellent 👍
10. 10 本PJで何をやるか： ドローン群 X 機械学習 ２.近づく （MAPF） Multiagent path finding 4.受粉 (電動吹付) Shoot!! 1.飛ぶ （SLAM） Simultaneous localization and mapping 緑：制御⼯学による制御 ⻘：機械学習による認知 3.花の向きは？ （HPE） Head pose estimation
11. 11 本PJで何をやるか： ドローン群 X 機械学習 ２.近づく （MAPF） Multiagent path finding 4.受粉 (電動吹付) Shoot!! 1.飛ぶ （SLAM） Simultaneous localization and mapping 緑：制御⼯学による制御 ⻘：機械学習による認知 3.花の向きは？ （HPE） Head pose estimation
12. 12 5. 受粉タイムアタック （Coverage Control） Starlink WiFi ルータ 実証フィールド: 福島県⼤熊町にあるキウイの國 (⾃称, 2.5haの借地) 本PJで何をやるか： ドローン群 X 機械学習 ※ Starlinkなどの通信環境は整備済み
13. 13 しんちょく： 実機の開発を開始！！ 重さ： 311g 飛行時間(推定)： １０分弱 FCU: Kakute H7 Mini 計算資源： Jetson Xavier NX 受粉機構： かいはつちゅー 名前： だっきー(仮)
14. 14 〜電装ぱーと〜 物理そう&通信
15. 15 〜機構ぱーと〜 コンプレッサーを元に受粉機構を開発中 電動きり吹き 分解 コンプレッサー 必要最小限の モータトルクを 計算して 試行さくご中...
16. 16 〜制御ぱーと〜 だっきー(仮)の群制御技術 制御 環境地図を仲間で 共有して協調しながら SLAMを⾏う 仲間に ぶつからないように 移動経路を計画する Multi Agent Path Finding Multi Agent SLAM
17. Multi Agent Path Finding Multi Agent SLAM (Simultaneous Localization and Mapping) [Zhou+, Science Robotics22] に よって障害物×不整地の ドローン⾶⾏が初めて実現 → 当該環境におけるドローンの 社会応⽤は難易度が⾼い！ ROS上でのマルチエージェント経路計画のシミュレーション 〜制御ぱーと〜 だっきー(仮)の群制御技術
18. 18 花の姿勢推定: 花粉を適切に散布するには花の姿勢情報が重要 ⼈間の頭部の向きを推定するHead Pose Estimationから着想を得て， 花の姿勢 (オイラー⾓)を推定 → TokenHPE [Zhang+, CVPR23]をベースに 花の物体検出 デファクトスタンダードのモデル (e.g., YOLO) により物体検出を実⾏ 〜機械学習ぱーと〜 花粉を適切に散布するために花の姿勢を推定
19. 19 姿勢推定モデルの汎化には⼤量のデータが必要 → ⾮常に⾼コストな作業 花が 𝑵 輪，撮影⾓度が 𝑴 個必要だとする． 𝑴 個の⾓度から花の写真を撮影 (𝑵 × 𝑴 回) 𝑵 枚全ての花の写真に対して，姿勢をアノテーション(𝑵 × 𝑴 回) > 𝑵 × 𝑴 =10万も⼈間がアノテーションするの？？ 効率的なアノテーション収集がひつよう！！ ① N = 3 M = 4 ② ④ ⑤ ⑫ ⑥ ⑦ ⑧ ⑨ ⑩ ⑪ ③
20. 〜機械学習ぱーと〜 20 機械学習のフロー 花の動画 を撮る 3D上でアノテーション 姿勢推定モデルを学習 はたけで推論 NeRF/Gaussian Splatting により花の3Dモデルを作成 → アノテーションコストを20分の1に削減 ⼈間の頭部の向きを 推定するHPE技術を元に 花の姿勢 (オイラー⾓)を学習 YOLOv8で花検出 HPEで姿勢推論 三次元空間上でたった⼀回だけ アノテーション
21. 〜機械学習ぱーと〜 21 花の動画 を撮る 3D上でアノテーション 姿勢推定モデルを学習 はたけで推論 NeRF/Gaussian Splatting により花の3Dモデルを作成 → アノテーションコストを20分の1に削減 ⼈間の頭部の向きを 推定するHPE技術を元に 花の姿勢 (オイラー⾓)を学習 YOLOv8で花検出 HPEで姿勢推論 機械学習のフロー
22. 22 受粉機構の制作 吹付機構は受粉に限らず広く存在するため従来の機構を電気制御可能に改造することで 実現可能であると考えられるが，ドローンの⾶⾏可能推⼒との兼ね合いについては未確 定→ 前例のある筆などでの接触受粉機構をプランBとして⾒据えるべき 上位プランナのシステム設計 1. 広域における花の識別管理 既に受粉した花の識別などのために，広域における花の管理システムが必要．開放環 境では推定した花の位置の不確定性が⾼いため，どのようにシステムを設計するかが 課題である．→ GPSを⽤いて⼤域の位置管理を⾏うことや，散布する受粉溶液に⾊を つけるなど，局所における問題解決に緩和することも視野に⼊れている． 2. ⾶⾏可能時間のマネジメント 現時点でのドローンの⾶⾏時間は約10分ほどであると想定されるため，バッテリーの 残量を考慮した上位プランナの設計が必要である． 現状の課題
23. 23 SLAM on だっきー（仮） しんちょく： SLAM / 3Dモデル / 飛行 キウイと3Dモデル
24. 25 SLAM on だっきー（仮） だっきー（仮）の飛行 しんちょく： SLAM / 3Dモデル / 飛行
25. 26 本PJが目指す未来！！ 新たな農業風景 一体化(共変形) のプロセス ドローンによって キウイが変形する キウイによって ドローンが変形する キウイポテンシャル ドローン群ポテンシャル
26. 27 本PJが目指す未来！！ 小型ドローン群を農業風景と一体化させる
27. Appendix
28. 機械学習に基づく中⼭間地域向け 農業⽤散布ドローン群 有⽥朋樹・和⽥唯我
29. 原発被災の中⼼都市である⼤熊町を 復興するため，かつて特産品だった キウイの栽培を始めた
30. ⽇本全体，特に中⼭間地域における 農業を取り巻く厳しい現実を知る ※中⼭間地域：斜⾯が多く地理的条件が悪い ため、農業の⽣産条件が不利な地域
31. ⽇本における中⼭間地域の割合 38% 耕地⾯積 44% 総農家数 40% 農業産出額 92% 60歳以上の 就業者割合 ※⺟数は⽇本国内の農業経営体および研究団体 ※農研機構資料より https://shingi.jst.go.jp/pdf/2021/2021_jst-3_003.pdf 機械化の必要性
32. 5% 作業プロセスの 機械化 1% 中⼭間地域における機械化の遅れ&我々がやるべきこと ※⺟数は⽇本国内の農業法⼈経営体および研究団体 中⼭間地域・ 不整地 受粉作業の 機械化 5~10例 ※独⾃調べ 全体 (整備環境) ※農研機構スマート推進フォーラム資料 https://www.maff.go.jp/kinki/seisan/s mart/event/attach/pdf/smart_2023- 5.pdf ? ≫
33. Vision 不整地の農作業をドローン×AIで代替し， ⽇本初の中⼭間地域の機械化を実現する 果樹農業における主な⼯程 畑の耕起 ・整地 苗植え 摘蕾・摘果 ・防除 受粉 収穫
34. 未踏におけるMission 不整地果樹棚下における受粉作業を ドローン×AIで代替する 果樹農業における主な⼯程 畑の耕起 ・整地 苗植え 摘蕾・摘果 ・防除 受粉 収穫 果樹棚下の例 未踏における ターゲット
36. Sensing Approach & 受粉 Flower Detection & Pose Estimation 概要: Agriswarmの受粉技術
37. 詳細: 受粉における群制御技術 Multi Agent Path Finding Multi Agent SLAM (Simultaneous Localization and Mapping) Agriswarm [Zhou+, Science Robotics 2022] によって障害物×不整地の ドローン⾶⾏が初めて実現 → 当該環境におけるドローンの 社会応⽤は未踏性が⾼い ROS上でのマルチエージェント 経路計画のシミュレーション
38. Flower Detection & Pose Estimation 詳細: 花認識における機械学習技術 • 花の姿勢推定: 花粉を適切に散布するには花の姿勢情報が重要 • ⼈間の頭部の向きを推定するHead Pose Estimationから着想を得て， 花の姿勢 (オイラー⾓)を推定 → TokenHPE [Zhang+, CVPR23]をベースに • 花の物体検出 • デファクトスタンダードのモデル (e.g., YOLO) により物体検出を実⾏ TokenHPE [Zhang+, CVPR23]
39. • 姿勢推定モデルの汎化には⼤量のデータが必要 → ⾮常に⾼コストな作業 • 花が 𝑵 輪，撮影⾓度が 𝑴 個必要だとする． • 𝑴 個の⾓度から花の写真を撮影 (𝑵 × 𝑴 回) • 𝑵 枚全ての花の写真に対して，姿勢をアノテーション(𝑵 × 𝑴 回) > 𝑵 × 𝑴 =10万も⼈間がアノテーションするの？？ Q. 花のアノテーションを効率的に収集するには？ ① N = 3 M = 4 ② ④ ⑤ ⑫ ⑥ ⑦ ⑧ ⑨ ⑩ ⑪ ③ 詳細: 花認識における機械学習技術
40. Flower Detection & Pose Estimation Q. 花のアノテーションを効率的に収集するには？ A. 花の動画を撮影し，動画から3Dモデルを作成 (NeRF) →三次元空間上でたった⼀回だけアノテーション • 𝑵 × 𝑴 → 𝑵 回にまで⼯数を削減 • 𝑵回のアノテーションで， 𝑵 × 𝑴 枚のGTを取得 ① ② ③ N = 3 M = 4 詳細: 花認識における機械学習技術
41. 現時点の進捗 ドローンのシミュレーション環境を 開発 ドローンの実機制御システムを開発 ⾃⼰位置推定，経路計画，花の状態 推定，etc. Gazebo上で，SITL(Software in the Loop)環境を構築．各制御モジュール, プランナの検証が可能 ドローンの実機(プロトタイプ)を 実装・実地検証 花認識システムを構築(モデル &アノテーションツール)
42. 現時点までに実装したソースコード は全てgithubで公開している． https://github.com/AgriSwarm 現時点の進捗
43. 担当:有⽥ システム構成 ＆役割分担 上位プランナ
44. 50% 80% 80% 80% 改良した実機を製作 受粉機構と 制御システムの開発 上位プランナ の開発 未着⼿ 未着⼿ 対象の花に 対する⾼い 汎化性能が 必要 →改善の余地 圃場全体における 花の管理・⾏動計画 未着⼿ システム構成 ＆役割分担 機械学習 システム統合 ドローン群制御 実機実装 有⽥ 和⽥
45. Agriswarmの展望 未踏プロジェクト開始 未踏プロジェクト終了 受粉に限らない 汎⽤型の中⼭間地域向け ドローンとして改良 中⼭間地域向け 農業ソリューションとして ビジネス展開 2024/6 2025/2 3年後の果樹数：500本 想定される花の数：10,000本 耕地⾯積：2.8ha 導⼊確定農園(実証フィールド) その他協⼒農園(⾒込) : 2 福島県⼤熊町キウイ農園 (東京ドームの半分以上)
46. キウイの國圃場に関する主なメトリクス 1反（10a） キウイ16本 25反(10年計画) せん定： 60時間 受粉： 40時間 防除： 14時間 収かく： 35時間 約3トン（2万個） のキウイを 100円/個 で売る キウイの国 受粉： ～1000時間 5千万円 (内費用2千万)
47. WiFi環境(実証フィールド) ⾮WiFi環境 想定する通信⽅式 Peer to peer ad-hoc network , PCIe Starlink アンテナ WiFi ルータ サーバ機 プロトタイプ Linux Laptop 画像伝送 システム, 2.4Ghz帯無線
48. 想定するビジネス展開と収益性 約200万円 農業⽤⼤型ドローン Agriswarm ~20万円 Agriswarm10台で⼤型ド ローン1台の性能を上回 れば収益性有り 価格 整地環境 における収益性 不整地環境 における収益性 受粉ドローン 受粉需要は特定の時期に集中するた め，買い切りではなくレンタルでの 展開を想定 汎⽤農業ドローン 年間需要に対応できるようになった 段階で買い切り⽤の製品化を⽬指す ※現在の⼤型ドローンの多く は不整地で適⽤できないため
49. Agriswarmの展望 9% 8,450億円 国内農業算出額に占める 果樹の割合 https://www.maff.go.jp/j/cou ncil/seisaku/kazyu/r01_1_kajy u/attach/pdf/index-19.pdf 全体 92,742億円 ⼭間農業地域, 9,441ha 中間農業地域, 48,555ha 都市的地域, 22,929ha 平地農業地域, 53,950ha 果樹全体に占める 中⼭間地域の割合 https://www.maff.go.jp/kanto/seisan/ engei/kaju/attach/pdf/190709-4.pdf 本プロジェクトが持つ 潜在経済規模 (全作業の1%を代替できた場合) 受粉の代替 農作業全体の代替 3,718億円 > 37億円
50. Nvidia Xavier NX Realsense d435 Holybro Pixhawk 4 Hardware Main Processer Flight Controller Unit Sensor/Camera Software Ardupilot フライトコントローラ ⾃⼰位置推定 VINS-Mono (Visual Inertial Odometry) Protype Crazyflie 2.1 経路計画 EGO-Planner (Multi Agent Path Finding) 画像認識 NeRF(3d Reconstruction) & HPE(Pose Estimation)
51. 姿勢推定モデルの学習に必要なデータセット数 • ⼀般的なHead Pose Estimation (HPE) • 300W-LP consists of 66,225 face samples collected from multiple databases that are further enhanced to 122,450 samples by image flipping. It is based on around 4000 real images. The ground truth is provided in the Euler angle format. For training, we convert them into the matrix form. • → ⼀般的なHPEにおいては12万枚の画像を要する • 今回の系においてはどうか？ • 「⼈間の顔写真」という複雑性の⾼い⼊⼒と⽐較して，「花の画像」の複雑 性は低い • → 汎化させるのに10万枚の画像はtoo muchだと思われる • しかし，実際に学習させてみないと分からないというのが実情
52. アノテーションツールによって期待される削減⼯数の期待値 • 前⾴より，今回の系において 1,000枚程度のGround Truthが必要だと仮定 • 1 instance (1輪)で学習に使える画像が10枚取れるとすると，100 instance あれば，1,000枚のGTが取得可能 • 逆に何instanceあれば汎化するのか？ • 経験則的に，⼀つの花の種類に 50 instance程度だと推測 • 1instanceにつき 1,000 / 50 = 20枚取る • 我々のソリューションだと 50回 のアノテーション • ⼀般的な⽅法論であれば1,000回 のアノテーション • → 20倍ものアノテーション数削減が⾒込める • → プロジェクトを円滑に進める上で必要不可⽋
53. キウイに対する熱意