FOSS4G 2023 Japan@FUKUI コアデイ 一般発表8 Segment Anything Modelを用いて地物抽出を試してみた

2023年9月18日（月）に福井市地域交流プラザにて開催されたFOSS4G 2023 Japan@FUKUI コアデイの一般発表8「Segment Anything Modelを用いて地物抽出を試してみた」に使用した発表資料です。

Transcript

1. Segment Anything Modelを
 用いて地物抽出を試してみた
 青木 亮祐 (ぴっかりん @ra0kley)
 FOSS4G 2023 Japan@FUKUI 一般発表8 

2. FOSS4G 2023 Japan@FUKUI
 発表内容
 1. 自己紹介
 2. Segment Anything Model(SAM)って何？
 3. 地理空間情報への適用例
 → リモートセンシング画像
 → 3次元点群データ
 4. GISでも利用可能？
 5. まとめ
 2

3. FOSS4G 2023 Japan@FUKUI
 1. 自己紹介
 • 氏名: 青木 亮祐（あおき りょうすけ）
 • 所属: パンのメーカと間違われる航測会社
 • 趣味: 地理空間情報と戯れる、ラジオを聴く etc...
 • 推し: 鬼頭明里さん、すそのん
 ←個人では「ぴっかりん」という名前で
 SNS等に生息してます
 3

4. 2. Segment Anything Model
 (SAM)って何？ 
 4

5. FOSS4G 2023 Japan@FUKUI
 2. Segment Anything Model(SAM)って何？
 • 2023年4月にMeta社が発表したAIモデル
 • 画像中の色々な物体をセグメンテーション（領域分割）
 することが可能
 5
 出典: https://segment-anything.com/

6. FOSS4G 2023 Japan@FUKUI
 2. Segment Anything Model(SAM)って何？
 自動でセグメンテーションする以外にポイント、矩形、
 マスク、テキストのプロンプトもある
 6
 自動
 ポイント
 矩形

7. FOSS4G 2023 Japan@FUKUI
 2. Segment Anything Model(SAM)って何？
 実際に使うには？
 → コードがGitHubに公開されている
 → Apache License 2.0で利用可能
 7
 出典: https://github.com/facebookresearch/segment-anything

8. 3. 地理空間情報への適用例
 8

9. FOSS4G 2023 Japan@FUKUI
 3. 地理空間情報への適用例
 地理空間情報への適用を試行した論文も徐々に出てきている
 9
 出典: https://arxiv.org/search/?query=%22segment+anything+model%22+%22remote+sensing%22&searchtype=all&abstracts=show&order=-announced_date_first&size=50 

10. FOSS4G 2023 Japan@FUKUI
 3. 地理空間情報への適用例
 これ以降のスライドで紹介するリモートセンシング画像
 および3次元点群データへの適用例は、以下のGitHub
 リポジトリでNotebookなどを公開しています
 10

11. FOSS4G 2023 Japan@FUKUI
 3. 地理空間情報への適用例 | リモートセンシング画像
 segment-geospatial（samgeo）というPythonライブラリにて利用可 能
 11
 ↑ 公式ドキュメント
 ↑ GitHubリポジトリ

12. FOSS4G 2023 Japan@FUKUI
 3. 地理空間情報への適用例 | リモートセンシング画像
 MITライセンスだが、よく見ると教育目的のみに提供しているという記 述が...
 12
 出典: https://samgeo.gishub.org/#legal-notice

13. FOSS4G 2023 Japan@FUKUI
 3. 地理空間情報への適用例 | リモートセンシング画像
 • 航空写真(解像度20cm)に対して、適用してみる
 ◦ 自動でのセグメンテーション
 ◦ テキストで対象を指定してセグメンテーション
 
 • 衛星画像（解像度10m）に対して、適用してみる
 ◦ ポイントで対象を指定してセグメンテーション
 13

14. FOSS4G 2023 Japan@FUKUI
 3. 地理空間情報への適用例 | 航空写真
 • 使用した航空写真
 VIRTUAL SHIZUOKA 静岡県 富士山南東部・伊豆東部 点群データ LPデータ　オ ルソ画像データ
 
 14

15. FOSS4G 2023 Japan@FUKUI
 3. 地理空間情報への適用例 | 航空写真
 • 自動でセグメンテーションしてみた結果
 
 15
 判読対象画像
 セグメンテーション結果

16. FOSS4G 2023 Japan@FUKUI
 3. 地理空間情報への適用例 | 航空写真
 • テキスト(swimming pool)で判読対象を指定してみた結果
 ▪: 判読結果
 
 16
 判読対象画像
 セグメンテーション結果

17. FOSS4G 2023 Japan@FUKUI
 3. 地理空間情報への適用例 | 衛星画像
 • 使用した衛星画像
 ◦ Sentinel-2衛星画像（True color）
 ◦ 20203/05/05に長野県付近を撮影した画像
 ◦ この日に鎮火した山火事の延焼範囲を抽出してみる
 
 
 17
 出典: https://www3.nhk.or.jp/news/html/20230505/k10014057961000.html

18. FOSS4G 2023 Japan@FUKUI
 3. 地理空間情報への適用例 | 衛星画像
 • 使用した衛星画像
 
 
 18
 ここの黒くなっている箇所が
 山火事によって焼けた範囲
 produced from ESA remote sensing data 

19. FOSS4G 2023 Japan@FUKUI
 3. 地理空間情報への適用例 | 衛星画像
 • ポイントで対象を指定してみた結果
 
 
 19
 判読対象画像
 セグメンテーション結果
 produced from ESA remote sensing data 
 produced from ESA remote sensing data 
 produced from ESA remote sensing data 

20. FOSS4G 2023 Japan@FUKUI
 3. 地理空間情報への適用例 | 3次元点群データ
 • segment-lidar(samlidar)というPythonライブラリにて
 3次元点群データに適用可能
 → BSD 3-Clause Licenseで利用可能
 20
 ↑ 公式ドキュメント
 ↑ 公式GitHub

21. FOSS4G 2023 Japan@FUKUI
 3. 地理空間情報への適用例 | 3次元点群データ
 • 3次元点群データに対して、各地物ごとに
 セグメンテーションを行うことが可能
 • 今のところは自動でのセグメンテーションのみ対応？
 21
 出典: https://github.com/Yarroudh/segment-lidar

22. FOSS4G 2023 Japan@FUKUI
 3. 地理空間情報への適用例 | 3次元点群データ
 • 使用した3次元点群データ
 VIRTUAL SHIZUOKA 静岡県 富士山南東部・伊豆東部 点群データ LPデータ　ダ ウンロードページ
 
 22

23. FOSS4G 2023 Japan@FUKUI
 3. 地理空間情報への適用例 | 3次元点群データ
 • 判読結果
 「セマンティック」ではないので、色に意味は無い（たぶん）
 
 23

24. 4. GISでも利用可能？
 24

25. FOSS4G 2023 Japan@FUKUI
 4. GISでも利用可能？
 25
 QGIS
 Geometric Attributesという
 プラグインから利用可能
 ArcGIS Pro
 ArcGISのサイトから学習済みモデ ルをダウンロードして利用可能
 出典: https://github.com/BjornNyberg/Geometric-Attributes-Toolbox/wiki/U ser-Guide#segment-anything-model 
 出典: https://www.arcgis.com/home/item.html?id=9b67b441f29f4ce6810979f5 f0667ebe

26. FOSS4G 2023 Japan@FUKUI
 4. GISでも利用可能？
 双方試してみましたが、PyTorchなどの
 インストールバージョンの制約が厳しく
 未だに動かすことができず。。。
 
 → 動いたよ！という方がいたらコツなど教えてください
 
 26

27. FOSS4G 2023 Japan@FUKUI
 5. まとめ
 • SAMはリモートセンシング画像や3次元点群データに対して、 地物の抽出などに試行され始めている
 
 • PythonやGISから利用可能
 
 • 大規模言語モデルと組み合わせることで、自然言語の指示だ けで地物の抽出が行えるようになるかも？
 27

28. ありがとうございました！
 ↑ X (旧Twitter)アカウント 
 ↑ GitHubアカウント
 28