衛星画像 x GIS x AIで考える農業モニタリング

登壇資料

https://fusic.connpass.com/event/290625/presentation/

Transcript

1. Copyright Fusic All Rights Reserved. 位置情報＆宇宙ビジネスMTG Fusic vs MIERUNE 福岡 VS 北海道 地元の誇りを賭けた討論会 衛星画像 x GIS x AIで考える農業モニタリング 2023.08.22
2. Copyright Fusic All Right Reserved. 目次 2 1. 背景 2. ハマった所のtips 3. SAR画像を機械学習で分類してみる
3. Copyright Fusic All Rights Reserved. 自己紹介 3 名前 : 石橋 龍 所属 : Fusic(株) 先進技術部門 先端技術チーム 出身地 : 北海道 旭川市 趣味 : 温泉巡り、ドライブ、個人開発
4. Copyright Fusic All Rights Reserved. 自己紹介 4 最近個人開発で作ったアプリ React Native + FastAPI (ChatGPT先生をメンターに迎えて) これもある意味GISアプリかも
5. Copyright Fusic All Right Reserved. 目次 5 1. 背景 2. ハマった所のtips 3. SAR画像を機械学習で分類してみる
6. Copyright Fusic All Rights Reserved. 背景 : 衛星画像, GIS, 機械学習を取り巻く環境 6 近年、地球観測衛星の性能・機数は飛躍的に向上しておりさまざまな応用例が出てきている（衛 星の打ち上げ数の増加の大部分は通信衛星だが、地球観測衛星も着実に増えている） 出典：宙畑 owned by 衛星データプラットフォームTellus（https://sorabatake.jp/）
7. Copyright Fusic All Rights Reserved. 背景 : 衛星画像, GIS, 機械学習を取り巻く環境 7 農林水産省が実施する耕地面積調査等の母集団情報として約290万区画について衛星画像等をもと に筆ごとの形状に沿って作成した農地の区画情報 農林水産省統計部では、農業関連のオープンデータとして、農地の区画情報（筆ポリゴン）を提 供 筆ポリゴンの例（佐賀市下水処理センター付近）
8. Copyright Fusic All Rights Reserved. 背景 : 衛星画像, GIS, 機械学習を取り巻く環境 8 データという側面で見ると • 衛星データ • 圃場ポリゴン が増加、公開されたことで研究・ビジネス・農業政策などに利用できるデータが整い始めている → さらに近年のマシンの高性能化、機械学習技術の発達が後押しとなり更なる発展が見込まれる
9. Copyright Fusic All Rights Reserved. 背景 : 地上データの不足 9 特に日本の圃場は • 1つ1つの圃場が小さい • 同じ地域でもバラエティに富んでいる • 二毛作、三毛作などがあり、時期により別の作物になっている可能性がある これらの要因が、解析を困難にしている → 解決のためには定期的に現地のデータを取得するための仕組みが求められる （過去データであれば、JAなどに行くと生産管理データとして台帳にデータが残っていることが ある）
10. Copyright Fusic All Right Reserved. 目次 10 1. 背景 2. ハマった所のtips 3. SAR画像を機械学習で分類してみる
11. Copyright Fusic All Rights Reserved. ハマった所のtips : Sentinel-2のSAR画像をポリゴンで切り取る 11 ハマるポイント : ポリゴンの座標系とSentinel-2のデータの座標系を一致させる必要がある 日本でよく使うUTM座標系は32651 ~ 32656まであり適宜設定する必要がある 解決策 : 福岡、佐賀などはZone52なので32652。東京などだったらZone54なので32654と設定 ポリゴン作成ツールなどではEPSG:4326がよく使われるので、 EPSG:4326でポリゴンを作成した後、対象のEPSGコードで変換してあ げるのが良いと思う
12. Copyright Fusic All Rights Reserved. ハマった所のtips : Sentinel-1のSAR画像をポリゴンで切り取る 12 ハマるポイント : EPSG:4326で作成されているポリゴンでSentinel-1の画像を切り取ることが できない（切り取った結果の画像が空になる）現象 解決策 : gdal warpの機能を使ってSARの画像をEPSG:4326に飛ばすとうまくいく Pythonからrasterioで読み込んでから、.crsで情報にアクセスするとSentinel-2では取得できるが、 Sentinel-1の場合別領域に情報がある。Sentinel-1の場合は .gcpsという領域にgcp_crsという名前で格納 されている。Warp後は.crsでアクセスできるようになっている この作業をした後であれば、rasterioのmask関数で切り抜きができる
13. Copyright Fusic All Rights Reserved. ハマった所のtips : コードも含めた記事を書いてるので詳細はそちらを参照 13 Zennとモナレッジ（個人開発で作ったメディア）に記事を載せているので使う方は参照されたい
14. Copyright Fusic All Right Reserved. 目次 14 1. 背景 2. ハマった所のtips 3. SAR画像を機械学習で分類してみる
15. Copyright Fusic All Rights Reserved. 実験 : Sentinel-1の画像から機械学習を用いて、水地を分類してみる 15 概要 : 日本の耕作面積の約半分は水田であり、水田の利活用のモニタリングおよび最適化 は重要な課題であると考える。（行政タスクとしては補助金の申請の判断などの効率化な どにも関心が高いと考えられる領域） 今回の実験では、水田の地上データが十分に手元に無かったため、 「海, ダム」など常に水があると判断できるポリゴンと 「空港、市街地、ゴルフ場」など非水地で作成したポリゴンで Sentinel-1のSAR画像を切り取り、機械学習で分類タスクを解くという実験を行った 結果 : ランダムに作成したテストデータに対して は左記のようなスコアになった
16. Copyright Fusic All Rights Reserved. データセット step.1 16 Keene State College(KSC)が提供しているPolyline Toolを用いて 水地 : 15個 非水地 : 14個 の計29個のポリゴンを作成した 水地ポリゴンの例 非水地ポリゴンの例
17. Copyright Fusic All Rights Reserved. データセット step.1 17 地上でも比較的平らなエリアは結構暗く映ることがある e.g.) 空港の滑走路など 滑走路 水地
18. Copyright Fusic All Rights Reserved. データセット step.1 18 ポリゴンの場所を一部を表示
19. Copyright Fusic All Rights Reserved. データセット step.2 19 先ほど作成した29個のポリゴンを用いて、5日分の画像について画像の切り取りを行った 1日の撮影で、vv、vhの2種類の画像があるため 29 x 5 x 2 = 290 枚の画像を作成し、150枚の水地、140枚の非水地のデータセットを作成した （本来であれば、vv, vhでデータの特性が違うため分けて実験した方が望ましいかもしれないが、実験的にvv, vhも混ぜたデータセット で実験してみることとした） 使用した画像リスト
20. Copyright Fusic All Rights Reserved. 学習 20 今回はGCPのVertex AI（旧Auto ML）を使用してみた 特徴として画像の前処理が不要なため最も簡単に機械学習を利用できると個人的には思っている （しかし、若干コストが高めかつ制御がGUIによってる部分が多いため運用のことを考えるとAWSの方が向いているという印象。Vertex AI非機械学習 エンジニアの方が手元にデータがある時に簡単に実験をしてみるというユースケースでは優れている印象） Vertex AIの操作画面
21. Copyright Fusic All Rights Reserved. 結果 21 想像以上に全体の精度が良かった（びっくり） 学習結果の画面 • vv, vhも一緒のデータセットだったが全体精度がそこそこ良かった → 水判定のタスクならvv, vhのどちらでも利用できる可能性有 • 機械学習でSARの水判定は効果的な選択肢である可能性有
22. Copyright Fusic All Rights Reserved. 今後 22 • 実際の田んぼの状況がわかるようなデータを取得する機構の作成 （本来であれば、筆ポリゴンの圃場ポリゴンで、実際の圃場で実験を行いたいが、いつからいつまで水張り、田植え、などの状況なの かを知らなければ不確実なデータセットとなってしまう懸念がある） → 補助金事業に採択されたため、今年はデバイスの改善・量産化を目指す • リバースエンジニアリング？ Vertex AIの背景で何のモデルが使われているのか（ResNet? EfficientNet? etc） わからないのが悩ましいところ。分類タスクで解けそうなこと今回の実験で分かったが 具体的に何のモデルで学習すればいいのかは別途調べる必要がある • 機械学習以外の手法の比較 おそらく、機械学習ではない手法でも分類自体はできる可能性があると考えられるので 速度、精度、コスト等を比較するために他手法の実験も進めたい • 筆ポリゴンとSAR画像を精度良く重ねる方法の模索 SAR画像は斜めから観測するため補正後も若干ずれた画像になっている。さらに 筆ポリゴン自体もややずれているところがあるため、この課題の解決策を模索
23. Copyright Fusic All Rights Reserved. ご清聴ありがとうございました！
24. Copyright Fusic All Rights Reserved. アンケートのご協力をお願いいたします