AIエージェントはよき園芸家になれるのか？

鯱.py × Unagi.py コラボイベント in 豊橋 2026/09/26

Transcript

1. AIエージェントはよき園 芸家になれるのか？ 鯱.py × Unagi.py コラボイベント in 豊橋 2026/9/26 小池
2. 自己紹介 プロフィール 小池 誠 • • • 静岡大学で農業×AIの研究に従事 CQ出版『トランジスタ技術』『Interface』などに 寄稿 最近は関心：AIエージェント作り ◦ Nanobot，FastMCPなど 2
3. 最近のAIエージェント • Googleトレンドによる検索ワード数の推移（国内） 2025/5 Codex 2025/2 Claude Code 2023/3 GPT-4リリース 2024/11 MCP公開 「AIエージェントとは」 的な記事は既にあっ た 2022/10 ReAct 2023/3 AutoGPT 2024/8 ?? 2024/12 Devin Agentforce2.0 Project Mariner ～2022：チャットAI中心の時代 2023：AIエージェント黎明期 - クラウド中心 2024：Tool Calingの発展 2025：コーディングエージェントが実用化 2026：常駐型AIエージェントが普及 2025/8 GPT-5リリース 2025/10 Agent Skills公開 2026/9 GPT-6リリース 2025/11 OpenClaw 国内では年明 けごろに人気 に 2022/10 LangChain 3
4. 最近の〇〇エンジニアリング • Googleトレンドによる検索ワード数の推移（国内） ▪プロンプト・エンジニアリング LLMへの指示文を工夫して，望む出力を得る技術 ▪コンテキスト・エンジニアリング プロンプトだけでなく，会話履歴・検索結果など，LLMに与える情 報を設計する技術 Karpathy (OpenAI->Anthropic)のX: https://x.com/karpathy/status/1937902205765607626 ▪ハーネス・エンジニアリング LLMの周囲にTools,Skillsなどを整え，安定して仕事をさせる仕組 みを設計する技術 Mitchell Hashimoto (HashiCorp) (：https://mitchellh.com/writing/my-ai-adoption-journey ▪ループ・エンジニアリング 人間が毎回プロンプトする代わりに，エージェントを起動→実行→ 検証→修正→再実行するループを設計する技術 Addy Osmani(Google):https://addyosmani.com/blog/loop-engineering/ ▪グラフ・エンジニアリング 複数のエージェントや処理をノードとして配置し，ワークフロー全 体をグラフとして設計する技術 Peter Steinberger(OpenClaw): https://x.com/steipete/status/2078277297791189132 4
5. AIエージェントとは • 最近のAIエージェントとは，LLMが目標に応じて推論し，必要に応じてツー ルを使って行動し，その結果を観測しながら，ユーザに代わって自律的に タスクを遂行する システム [1]である． Instructions エージェントの動作方法を 定義する明確なガイドライ ンとガードレール Input Tools Model User Output エージェントがアクションを実行 するために使用できる外部関数ま たはAPI エージェントの推論と 意思決定を支えるLLM Observation 5 [1] A practical guide to building agents, https://openai.com/business/guides-and-resources/a-practical-guide-to-building-ai-agents/, accessed on 2026/09/22
6. AIエージェント・システムの中身 Channel chat Terminal コミュニケーション ツール Harness Core LLM ：技術要素 Agent Loop Skills Tools Instructions MCP Memory Slack State Short Memory discord Long Memory Dreaming Computer Use Teams ... Security Sandbox Scheduler Gardrails Heartbeat Cron 6
7. AIエージェント・システムを作ろう • • 組み合わせによってどんなエージェントも作れる Final Fantasyのジョブ・システムに似ている ＜エージェント・システム＞ 経営者 会計士 秘書 研究者 コーダー ヤンキー AIエージェントはよき園芸家になれるのか？ 7
8. 趣味の園芸 • 我が家ではいろいろな花を育てて いる（母の趣味） ◦ • 花がある生活はいいですよ！ 鉢植えは管理が大変 ◦ ◦ 根をはる領域が狭い 土壌の栄養素が限られている 鉢植えの管理をAIエージェントに 任せられないか… 8
9. 園芸エージェントを作る • エージェントに任せる仕事 ◦ ◦ ◦ ◦ ◦ • 育てる花 ◦ ◦ ◦ • 植え付け ：人が行う 水やり ：AIが行う 追肥 ：AIが判断し作業は人 花がら摘み ：AIが判断し作業は人 切り戻し ：AIが判断し作業は人 ペチュニア 花言葉「あなたと一緒なら心が和む」 栽培難易度：★☆☆☆☆（初級） 使用するLLM ◦ ◦ ◦ ◦ Gemini-3.5-flash Claude Sonnet-4.6 GPT-5.5 Qwen-3.6:27B 9
10. 作った園芸エージェント：ハードウェア カメラ：M5TimerCameraX 温湿度気圧センサ：Unit ENVⅢモジュール 給水ポンプ：500円の水中ポンプ 10
11. 作った園芸エージェント：ソフトウェア • Nanobot：AIエージェント・フレームワーク ◦ ◦ ◦ ◦ https://github.com/HKUDS/nanobot 超軽量・オープンソースなAIエージェントフレームワーク Pythonで実装 されている 使ってみた感想 ▪ 比較的わかりやすい（OpenClawよりは） ▪ config.txtですべてを設定 ▪ マルチエージェントも簡単に作れる 11
12. 作った園芸エージェント：ハーネスなど ・観測ツール ・潅水ツール Harnessを追加 Core LLM Channel Terminal Open-Meteo Agent Loop MCP 観測サーバー Skills AGENTS.md Memory discord Short Memory Long Memory Dreaming ・判断基準 ・潅水操作 など 灌水サーバー Scheduler Heartbeat Cron 定期タスクの実行 12
13. MCP(Model Context Protocol)サーバー構築 • FastMCP: The Framework for MCP ◦ ◦ ◦ ◦ https://gofastmcp.com/getting-started/welcome MCPアプリケーションを構築するための包括的なフレームワーク Pythonで実装 されている 使ってみた感想 ▪ デコーダ，型ヒント，Docstringを使って完結に書ける（FastAPIライク） 13
14. MCPで追加したカスタムツール • 花の写真取得ツール ◦ ◦ • 栽培環境データ取得ツール ◦ ◦ • ツール名：fetch_environmental_data 説明 ：指定されたIPアドレスから，現在の気温・相対湿度・気圧データを取得する 灌水ツール ◦ ◦ • ツール名：fetch_plant_image_from_server 説明 ：指定されたIPアドレスから，現在の花の写真を取得する ツール名：control_irrigation_valve 説明 ：指定されたポンプIDを指定された秒数だけ開け灌水を行う 天気予報ツール ◦ Open-Meteo APIを使用 【実装方法：写真取得ツールの例】 ・M5TimerCameraでWeb(API)サーバを立てる ・エンドポイント”/capture”をGETすると，カメラ撮影して画像データを返す ・エンドポイント”/env”をGETすると，環境データをJSON形式で返す ＝AIがツール呼び出しを行うと，FastMCPが裏で各端末からデータを取得する 14
15. Agent Skills • • • Skillsは，AIエージェントに「特定の仕事のやり方」を追加するための再 利用可能な知識・手順パッケージ[2] である 単なるプロンプトではなく，必要ならスクリプト・参考資料・テンプレート までまとめて持てるのが特徴 LLMがコンテキストに応じてプロンプトに読み込む ＜基本構造＞ my-skill/ ├─ SKILL.md ├─ scripts/ ├─ references/ └─ assets/ 15 [2] Equipping agents for the real world with Agent Skills,https://www.anthropic.com/engineering/equipping-agents-for-the-real-world-with-agent-skills, accessed on 2026/09/23
16. 栽培スキル • 灌水判断スキル a) b) 情報収集 植物状態の分析 ▪ ▪ ▪ ▪ c) d) e) • --name: irrigation-judgment description: MCP ツールを通じて取得した「視覚情報（画像）」と「環境データ」を総合的に分析し、植物の枯渇を防ぐための最適な水 やり行動を自律的に決定します。 --# 水やり総合判断スキル ## 1. 情報収集（マルチモーダル入力） アクションを決定する前に、必ず下記のツールを読み出して最新のデータを取得すること。 - ** 画像取得 **: `fetch_plant_image_from_server` を使用し、対象となる植物および土壌の表面画像を取得する。 - ** 環境データ取得 **: `fetch_environmental_data` を使用し、現在の気温、湿度、気圧の JSON データを取得する。 - ** 水やりログ **: workspace/Logs フォルダに前回の水やりログがある場合は参照する。 土壌の色が濃く湿っているか 葉がしおれて垂れ下がっていないか 雨は降っていないか 気温は30℃以上の猛暑で乾燥している 判定ロジック 実行と報告 ログの保存 健康診断スキル a) b) 情報収集 植物状態の分析 ▪ ▪ ▪ c) d) e) 葉の繁茂状態 花とつぼみの数 茎の徒長 判定ロジック 判定結果の報告 ログの保存 など ## 2. 状態の分析 取得したデータに基づき、以下の要素を総合的に分析し、状況を言語化すること。 - ** 視覚情報の評価 **: - 土の表面状態（色が濃く湿っているか、白っぽく乾燥しているか） - 植物の葉の状態（葉が上を向いて張りがあるか、しおれて垂れ下がっているか、変色はないか） - 雨の状況（天候は晴れているか、雨が降っているか） - ** 環境情報の評価 **: - 現在の気温（ 30℃以上の猛暑で乾きやすいか） - 現在の湿度（空気が乾燥し蒸散が活発か、湿度が高く乾燥しづらい環境か） - 現在の気圧（晴れているか、雨が降っているか） - 今後の天気（雨が降る可能性があるか） - ** 水やり間隔の評価 **: - 水やり後は必ず１時間以上のインターバルを設けること（水のやり過ぎによる根腐れ防止） ## 3. 判定ロジック 下記の基準に従って判定をくだすこと。 - ** 見送り（天候不良） **: 雨が降っている場合 - ** 見送り（根腐れ防止） **: 前回の水やりから１時間経過していない、または、土の表面が湿っている場合 - ** 水やり実行（早朝灌水） **: 朝7:00 に雨が降っていない、または、その日の天気予報が雨でない場合 - ** 水やり実行（通常灌水） **: 土の表面が乾いている、または、葉がしおれて下を向いている場合 - ** 水やり実行（緊急事態） **: 葉も花も極度にしおれて下を向いている場合（前回から１時間経過を待たずに直ちに水やり実行） ## 4. 実行と報告 - 判定結果に応じたアクション（実行・見送り）を決定し、その結果に至った論理的な根拠（画像からの所見と数値データの分析結果）を ユーザへ分かりやすく報告すること。 - 水やりを実行する場合は、適切なツールを読み出して指定された灌水バルブ開き灌水を完了させること。 - 灌水バルブの開時間は、早朝灌水では 20秒、通常灌水では 10秒とすること。 参照する情報や条件を， 客観的に細かく記述 ## 5. ログの保存 - workspace/Logs フォルダに判断に使用した画像と環境データを保存し、次回以降参照できるようにすること。 - ファイル名は、 "2026-06-13_1200.jpg" や"2026-06-13_1200.json" のように日時とすること。 16
17. スケジューラ • • Nanobotには独自のスケジューラ（cron風）機能がある 定期タスクの登録はチャットからLLMが判断して自律的に行う 17
18. 栽培実験 • • 6月～7月にかけて栽培実験を行った 園芸店でペチュニアの苗を購入して植え替え 18
19. 灌水実験の結果 • 平均気温と灌水量は概ね正の相関 ◦ • 天気にあわせて灌水できている Open-Meteoの1時間予報が有用 19
20. 健康チェックの結果① • 花がら判定 ◦ ◦ ◦ どのモデルも検出できていなかった（低精度） 解像度の問題か？ ▪ カメラの性能に大きく左右される 別途，物体検出モデル（YOLO）でもよさそう M5TimerCam（640x320) - gemini Pixelカメラ - gemini 20
21. 健康チェックの結果② • 追肥の判定 ◦ ◦ ◦ ほぼできなかった 追肥の判断は熟練者にも難しい ▪ というか，熟練者でも明確な基準はない ▪ 言語化が難しい 日々の変化をLLMが解釈できるデータ（文章）として入力できれば改善しそう 21
22. 健康チェックの結果③ • 切り戻しが必要な株 切り戻しの判定 ◦ ◦ ◦ Qwen以外はできた（ただし，少し判断が遅かった） 具体的で条件が明確であれば画像データから判断できる ▪ 「茎が伸びで鉢から大きくはみ出ている」 ▪ 「紫の花が咲いている」など カメラ１台では情報が少なすぎる ▪ 人間は様々な角度から観察できるため，正しい判断 を素早く行うことができる 私 切り戻しを 6/30ごろ 提案してきた時期 Claude Gemini GPT Qwen 7/5 7/12 7/15 なし 切り戻し後 22
23. 栽培上手はどのモデル？ 1位👑 Sonnet-4.6 2位 GPT-5.5 3位 Gemini-3.5-flash 4位 Qwen3.6-27B 23
24. 運用コスト 毎日約2,000円が飛んでいく！ 24
25. やってみて分かったこと • 知識は十分だが現実世界との紐付けが課題！ ◦ ◦ • 現実世界の情報をLLMへどう入力するのかが課題！ ◦ ◦ • 言語化の壁（微妙な葉の色の変化など） 固定カメラ台数や画角の壁 ⇒ Hand-Eye，Active Visionなどの研究がる コンテキストサイズの調整は重要！ ◦ ◦ • 目の前の植物の状態と知識とを紐付けて思考できていない Physical AIの基盤モデル/世界モデルでなんとかなるかも？植物に特化したVLMが必要か？ 最近のモデルは最大128K～256Kあたりが主流で大きくすると性能向上 ただし，メモリ消費＆コストとのトレードオフ 常駐型エージェントは高コスト過ぎる！ ◦ ローカルLLMでの運用でないと無理かも…判断だけならJev的なモデルも要検討 25
26. まとめ AIエージェントはよき園芸家になれるのか？ 現状は無理 ただし，可能性は十分にある （必要な能力と課題はかなり明確） 26