SSII2025 [OS3-03] 有機ミニトマト農場におけるロボット開発と基礎研究

Transcript

1. 有機ミニトマト農場における ロボット開発と基礎研究 森裕紀 株式会社トクイテン 共同創業者／取締役 早稲⽥⼤学次世代ロボット研究機構 研究院客員准教授 OS3 どの論⽂でもダメなんだけど！ 〜実応⽤とその課題〜
2. ⾃⼰紹介 • 名前 森裕紀 twitter@HirokiMori • 出⾝ 愛知県 • 早稲⽥⼤学 次世代ロボット研究機構 • 客員主任研究員/研究院客員准教授 • トクイテン株式会社 • 共同創業者・取締役 • 経歴 • 岐⾩⼯業⾼等専⾨学校（1997〜2002） • 第⼀回ロボカップ観戦（1997） • ロボコン参加（1999,2000） • ニューラルネットワークで卒論（2001年度） • 豊橋技術科学⼤学 情報⼯学課程（2002〜2004） • 豊橋技術科学⼤学⼤学院 情報⼯学専攻 修⼠課程（2004〜2006） • 計算論的神経科学（宇野洋⼆教授・福村直博助教授） • 東京⼤学⼤学院 博⼠課程（2006〜2009） • 発達ロボティクス（⼤津・國吉・原⽥研究室） • 単位取得退学→2011年3⽉博⼠取得（指導教員：國吉康夫） • JST ERATO浅⽥共創知能システムプロジェクト 研究員（2009〜2011） • ⼤阪⼤学 浅⽥研究室 助教（2011〜2016） • University of Cergy-Pontoise (France) (2016〜2017) • Alex Pitti （國吉研時代の同僚） • 早稲⽥⼤学 次世代ロボット研究機構（2017〜） • 株式会社トクイテン （2021年8⽉6⽇設⽴） • 有機農業をロボットで全⾃動化を⽬指す • 興味 • 勝⼿に賢くなるシステム • ヒトとロボットの学習・発達 • 有機農業の完全⾃動化
4. ձࣾ֓ཁ ๛٢ོҰ࿠ τΫΠςϯ୅දऔక໾ ೥ੜ·Ε ذෞݝग़਎ ذෞ޻ۀߴ౳ઐ໳ֶߍͰϩϘίϯશࠃ४༏উɺ χϡʔϥϧωοτΛֶͼଔۀɻ೥݄ʹגࣜձ ࣾ.JTPDBΛઃཱɻΫϥ΢υ੥ٻ؅ཧαʔϏε ʮ.JTPDBʢϛιΧʣʯ͸ສࣄۀऀҎ্͕ొ࿥͢ ΔαʔϏεʹ੒௕ͤ͞೥ʹձࣾΛ໻ੜגࣜձ ࣾ΁ച٫ɺ୅දΛୀ೚ɻͦͷޙɺۮવ஌Γ߹͍ͷ೶ ۀΛख఻ͬͨ͜ͱ͔Β೶ۀʹڵຯΛ࣋ͪɺ࣍ͷىۀ Ͱ͸ਓੜΛṌ͚ͯࣾձͷͨΊʹͳΔ͜ͱ͕͍͍ͱɺ ྩ࿨೥౓ ೶ۀऀҭ੒ࢧԉݚमʹ௨͍೶ۀΛֶͿ ৿༟ل ത࢜ʢ৘ใཧ޻ֶʣ τΫΠςϯऔక໾ ذෞ޻ۀߴ౳ઐ໳ֶߍଔۀɻϦʔμʔͱͯ͠ϩϘίϯ४༏উɻߴઐ࣌୅ʹχϡʔϥ ϧωοτΛֶͼɺͦΕҎདྷɺਓؒ΍ϩϘοτͷֶशɺೝ஌ɺൃୡɺӡಈ੍ޚʹ͍ͭ ͯݚڀ͢Δɻ๛ڮٕՊେ೥࣍ฤೖޙଔۀɾम࢜मྃɻ౦େΑΓത࢜ʢ৘ใཧ޻ ֶʣɻࡕେॿڭɺϑϥϯεͰͷݚڀΛܦͯɺૣҴాେֶɾݚڀӃ।ڭतɾओ೚ݚڀ һɻݱࡏ͸τΫΠςϯʹ࣠଍ΛҠ͠ɺҾ͖ଓ͖ૣҴాେֶͰݚڀӃ٬һ।ڭतɾ٬ һओ೚ݚڀһͱֶͯ͠ज़ݚڀ΋ܧଓ͍ͯ͠Δɻ ݚڀςʔϚɿඥ݁ͼ΍Ϙλϯֻ͚ͳͲॊΒ͔͍෺ମΛऔΓѻ͏ϩϘοτɺܭࢉྔͷ গͳ͍஫ҙػߏΛ༻͍ͨಈ࡞ੜ੒Ϟσϧɺਂ૚ੜ੒ϞσϧΛ༻͍ͨܦ࿏ܭըͷݚڀɺ ෩ધΛ࢖ͬͨॊΒ͔͍ϩϘοτɺશ਎ےࠎ֨ɾ೴ਆܦܥγϛϡϨʔγϣϯɺͳͲͷ ݚڀΛߦ͍ͬͯΔɻ جຊ৘ใ ձ໊ࣾ ୅දऀ ૑ۀ೥݄೔ ॴࡏ஍ ೶৔ ैۀһ਺ ࣄۀ಺༰ גࣜձࣾτΫΠςϯ ๛٢ོҰ࿠ʢͱΑ͠ΓΎ͏͍ͪΖ͏ʣ ೥݄೔ ໊ݹ԰ࢢதଜ۠Ҫਂொ൪߸ ৽໊ݹ԰ηϯλʔϏϧ ຊਞ֗߸ࣨ ஌ଟࢢਧࠐ4-86 ໊ʢ೥݄ݱࡏɺύʔτɾۀ຿ҕୗؚΉʣ ༗ػϛχτϚτͷੜ࢈ɾൢചɺ೶ۀ༻ϩϘοτ౳ͷ։ൃ 共同創業者
5. Organic Farming × Technology ೥݄੡࡞ ࣄۀਐ௙ಈը
6. ͳͥ༗ػ೶ۀ͕ਪਐ͞Ε͍ͯΔͷ͔ Խֶංྉ ʢ஠ૉ ϦϯࢎΞϯϞχ΢Ϝ ԘԽΧϦ΢Ϝʣ 肥料をめぐる情勢 農林⽔産省 令和５年５⽉ 農産局 技術普及課 https://www.maff.go.jp/j/seisan/sien/sizai/s_hiryo/attach/pdf/HiryouMegujiR5- 5.pdf 2016 2030 2050 化学肥料削減量の⽇本政府⽬標 20% 削減 30% 削減 国内資源の 循環利⽤ 施肥の 効率化 ɾ೔ຊ͸શͯͷԽֶංྉΛ༌ೖʹཔ͍ͬͯΔ ɾ೶ྛਫ࢈ۀ͔Βഉग़͞ΕΔԹࣨޮՌΨε͸શମͷ11%ʢԽֶංྉ੡଄ʹԽੴ೩ྉ͕ඞཁʣ ɾؾީมಈରࡦɾ৯ྉ҆શอোͷͨΊԽֶංྉͷ࢖༻ΛݮΒ͢ඞཁ ɾ೔ຊ੓෎ʹΑΔʮΈͲΓͷ৯ྐγεςϜઓུʯʹΑΓ༗ػ೶৔ͷ֦େ໨ඪ͕ઃఆ 輸⼊化学肥料の価格 2023 2022 2021 2020 2019 2018 2017 2016 2015 2014 2013 2012 2011 2010 0 100 千円 / トン x 尿素 リン酸アンモニウム 塩化カリウム 施肥の スマート化
7. Organic Farming × Technology ೶ۀैࣄऀ͸ݮΓଓ͚͍ͯΔ • 令和4年の平均年齢： 68.4歳 農林⽔産省 農業労働⼒に関する統計 基幹的農業従事者（個⼈経営体）
9. 基礎研究と応⽤技術 • ⼤学での基礎研究（⼀部） • ⾼次局所⾃⼰相関による3次元動画像認識 • cGANによるロボット軌道⽣成 • 微分可能な⾮衝突姿勢⽣成モデルによる最適軌道計算 • 視覚注意モデルとRNNによるロボット動作⽣成 • 道具使⽤に伴う⾝体像の拡張 • トクイテンにおけるロボット開発 • ⾃律⾛⾏ • 収穫ロボット • トング vs 吸引 • 物体検出モデルの活⽤
10. ⾼次局所⾃⼰相関特徴を⽤いた ４次元パターン認識 [Mori+, 2015] • Kinectが発売された翌年（2011年）に学部⽣の卒論でやってみた • ハードウェアありきの研究 • 特許第6052533号 特徴量抽出装置および特徴量抽出⽅法 • この研究を始めた年から深層学習ブームへ… ⼿法 マスク数 HLAC 35 CHLAC 279 4D HLAC 2563
11. cGANによるロボット軌道計画の研究 Ando, Mori+, Learning-based collision-free planning on arbitrary optimization criteria in the latent space through cGANs Advanced Robotics Best Paper Awards 2024, 2024年度FA財団論⽂賞 ・条件付きGANを⽤いて凸包となる潜在空間とロボット姿勢の対応関係を学習 ・障害物の環境情報を条件⼊⼒→⾃⼰衝突回避を含む必ず衝突しない姿勢を⽣成 ・微分可能なモデルの特性を活かして任意の基準による軌道最適化も可能 • 世界の全てが低次元 潜在空間に埋め込ま れたらどうなるか？ • フランス滞在中 （2016年）に思いつ いて⼿をつけていた 研究を早稲⽥尾形研 とPFNの共同研究議 論で捩じ込んだ研究
12. Abrupt postural change 衝突を回避した最適軌道⽣成 12 最適化なし（潜在空間の線分） Minimize ∑! 𝒗 " " ⽬的に応じた最適規範を設定することで勾配法により最適化可能 Short trajectory length Minimize ∑! 𝒋 " " Minimize ∑! 𝒂 " " Smooth movement w/o abrupt postural change Small backward motion of the arm Minimize (∑! 𝒗 " " , ∑! 𝒂 " " , ∑! 𝒋 " ") Abrupt postural change
13. 適応的注意によるEnd-to-Endロボット動作⽣成 (Hiruma, Mori+ 2022a, Hiruma, Mori+ 2022b) 13 選択︓Attention Mapの⽣成 抽出︓注意情報を選択的に抽出 注意が向いたピクセルの特徴量と座標を抽出 → Attention Mapの値を重みとして平均 Key=画像特徴量、Query=注意対象の特徴量ベクトル Attention Map=KeyとQueryのピクセル毎の内積 → 値が⾼い箇所に注意が向く Query Key 𝑘!"# 𝑞!"# (= 𝑘!"# ) Feature Value 𝑣!"# Attention Map 1 2 Coordinate Value 内積 Softmax 2D 重み付き平均 Feature Output 𝑣!"# Coordinate Output 2 𝐹𝐶𝑁$ Key カメラ画像 𝐹𝐶𝑁% Feature Value カメラ画像 (1) 選択 (2) 抽出 CNNを使ったEnd-to-Endロボット動作⽣成モデルの汎化性を向上するにはどうし たら良いか？→画像中の座標を陽に表現すれば良い（Positional Encoding）
14. 提案モデル︓ 視覚的注意からの動作⽣成 14 カメラ画像(t) 注意特徴量(t) 関節⾓度(t) 注意座標(t) 注意特徴量(t+1) 関節⾓度(t+1) 注意座標(t+1) Query 動作実⾏ 学習の補助 学習の補助 • 共有LSTMにより何に注意するかを決定 → 共有LSTMによりボトムアップな情報を統合して注意のQueryを⽣成 動作予測モジュール 注意機構 注意機構 注意機構 Feature LSTM XY LSTM Joint LSTM 共有 LSTM 変換 外部指⽰
15. 15 学習結果 ・近い場合︓ハンドで把持 遠い場合︓道具により引き寄せ ・近い/遠い未教⽰の初期位置で動作を⽣成 条件︓ 近い初期位置 条件︓ 遠い初期位置 条件︓ 遠い初期位置＋邪魔 → 物体の位置に応じた動作の切り替えが確認できた 結果︓ 直接把持動作 結果︓ 引き寄せ→把持動作 結果︓ 引き寄せ→引き寄せ 道具使⽤実験 1× 1× 1×
16. 16 条件︓ 遠い初期位置＋邪魔 注意の切り替えが創発︓道具へ⾝体が拡張︖ 注意の内訳 #0 : 道具への注意 #2 : 物体への注意 #1, 3: 役割ベースの注意 凡例 ◦: 時刻ｔの注意点 ◦: 時刻ｔ+1の注意点（予測） →: 対応する注意点を接続 結果 • 物体が遠ざかると引き寄せ→引き寄せ動作を⽣成 • 注意の挙動 引き寄せ終了時、#1と#3は把持動作⽤に切り替わる → #2で物体の位置が遠いことを確認 → #1と#3が再度引き寄せ動作⽤に切り替わる • 環境の状況に応じた適切な注意の切り替えを実現 ⼯学的⼯夫から⾝体性認知科学的に興味深い成果に
17. ࠿ഓશମΛ ࣗಈԽ 害虫捕殺ロボット 収穫ロボット 液体噴霧ロボット モニタリングロボット
18. Organic Farming × Technology ೥݄੡࡞ ࣄۀਐ௙ಈը
19. Organic Farming × Technology ࣗ཯૸ߦͷΞϧΰϦζϜ • ೋͭͷΞϧΰϦζϜΛ૊Έ߹Θͤͨ ◦ "36$0ϚʔΧʔʹΑΓࣄલʹ༻ҙͨ͠ϚοϓͷதͰͷࣗݾҐஔΛܾఆ ͯ͠ɺܦ࿏Λܭըͯ͠૸ߦ ◦ ੊ʢබΛ২͑ΔͨΊͷ੝Γ্͕ͬͨ෦෼ʣͱ੊ͷؒͷ௨࿏Λ૸ߦ͢Δͨ Ί-J%"3ʹΑΓ੊Λݕग़͠ɺԾ૝ϙςϯγϟϧ๏ʹΑΓதԝΛ௨Δ
20. Organic Farming × Technology ࣗ཯૸ߦʹΑΔ๷஬ػͷ८ճ • "S6DPϚʔΧʔͱ੊ؒ௨࿏ͷಓͳΓ૸ߦΛ૊Έ߹Θͤͨࣗ཯૸ߦ • ԫ৭͍ޫͰίφδϥϛΛ͓ͼ͖دͤͯั·͑Δ๷஬ػΛ८ճ 2022年11⽉7⽇ 実験ハウス内での⾃律⾛⾏実験 （10倍速） 2023年5⽉27⽇ 20aハウス内での⾃律⾛⾏
21. Organic Farming × Technology ऩ֭༻ΤϯυΤϑΣΫλ 没になったハンド（2022年1⽉27⽇） トング （2022年2⽉11⽇） • 3Dプリンタなどで⼯夫したものの100円ショップ で購⼊した200円のトングの性能が⼀番⾼かった • 実のグリップ • 適度なしなり • トングと実のズレを引き込んで包み込む曲⾯
22. Organic Farming × Technology ೥݄೔ͷࣗಈऩ֭ςετˏࡉ໺ϑΝʔϜ
23. Organic Farming × Technology τϯάʹΑΔऩ֭ํࣜɿλϒϨοτʹΑΔऩ֭ࢦࣔ • 異業種交流会メッセナゴヤでのデモがNHKのニュースで紹介 • （2022年11⽉16⽇放送） ◦ 本⽇のトクイテンブースでご覧になれます Yolov5によるトマト認識 トマト認識に基づいて収穫動作 実はYOLOの結果は使ってない
24. Organic Farming × Technology ϛχτϚτऩ֭ػߏ ϋϯυܕɾٵҾܕ 完熟するとヘタと実が適度に剥 がれやすい品種を栽培 Realsenseによりトマトの実の 三次元位置を検出 トングを⽤いたハンドによって 捻って収穫 ⼀つ⼀つの実を捻って採る収穫 ⽅法では収穫速度に課題 動画4倍速（2022年7⽉） 吸引⽅式により収穫速度の向上に挑戦中（特許出願予定） ・動画は等倍速 （2023年7⽉） ・⾃動収穫アルゴリズムやメカニズムを改善して収穫率 ・速度を向上予定
25. Organic Farming × Technology :0-0WʹΑΔτϚτͷೝࣝ • 吸引⽅式：バウンディングボックスの中央にアプローチすれば2cm程度の 誤差なら吸引可能
26. Organic Farming × Technology ࣗಈऩ֭ͷํ๏ͱը૾ೝࣝ ・全ての個別技術はシステム全体の部品 ・システムの⽬的のため部品は必要⼗分な機能であるべき ・トクイテンの収穫ロボット ・トングで捻って取る⽅式vs吸引⽅式 ・トング：アプローチ位置と⽅向を適切に設定する必要 Realsenseからの画像をクリックして決定 （誤差：mm単位） ・吸引：YOLOの検出領域の中央を雑に⽬標とすれば良い （誤差：cm単位） ・DTERも試したが、モデルによらずデータさえ増やせば⾃動収穫に⼗分な性能 が出ることがわかり、引き続きYOLOv8を使⽤している ・深層学習を使ってトングのアプローチを決定するモデルは作成可能だが、吸引⽅ 式により必要なくなった
27. Organic Farming × Technology ৽ܕτϚτऩ֭ϩϘοτ ・吸引型 ・直交ロボットアーム ・レール移動式 ・YOLOv8によるトマト検出 ・3Dカメラによるトマト3次元位置推定
28. Organic Farming × Technology ೥݄ͷࣗಈऩ֭ͷ༷ࢠʢिճӡ༻தʣ ロボット収穫したトマトは可能な限り出荷
29. Organic Farming × Technology ௧ΜͰ͍ΔτϚτΛݟ͚ͭͯϩϘοτΛվળ ・凹みや傷を⾒つけて都度対策 ・現時点でロボット収穫したトマトへのクレームは⼀度も来ていない B品としてみなされたトマト
30. Organic Farming × Technology िؒʹճఔ౓ςετΛଓ͚͍ͯΔ ・ロボット収穫のトマトは選果後に出荷 ・最⼤限の収穫量に挑戦した結果23.35 kgを収穫（2025年1⽉8⽇） ・収穫すべきトマトの50%以上を収穫 ・ロボット収穫後に⼈間が収穫 ・両者でA品として選果されたトマトを⽐較
31. Organic Farming × Technology ೥݄೔ͷऩ֭ಈ࡞ςετ
32. Organic Farming × Technology ϝοηʔδ ・基礎研究は⾃由にやりましょう ・⼯学的な興味から科学的な成果になることもあるし、逆もしかり ・直接応⽤されなくてもインスピレーションになることがある ・再現性は不可⽋ ・オープンソース（YOLOがオープンソースで助かった） ・チュートリアル ・たまたま実応⽤のパズルのピースとして合う「場合がある」程度に考える ・適切な問題の分割とモデル開発 ・ユーザとして開発することで応⽤のハードルを下げよう ・⾃分たちが農家になることで最も使える最低限のロボットを開発（50%収穫でも役にたつ） ・End-to-Endは基礎研究としてどんどんやる ・究極の知能を求めるならEnd-to-Endを⽬指すべき ・可能な限り⼀つのモデルで全体システムを作る ・実応⽤としてのハードルを基礎研究で乗り越えたい