[FOSS4G 2019 Niigata] AIによる効率的危険斜面抽出システムの開発について

Slide 1

Slide 1 text

AIによる効率的危険斜面抽出システムの開発について株式会社ノーザンシステムサービス課題名「山地災害リスクを低減する技術の開発」小課題名「AIによる効率的危険斜面抽出及び林地崩壊予測システムの開発」研究成果報告農林水産省委託プロジェクト PRISM

Slide 2

Slide 2 text

自己紹介 2 岩手にある (株)ノーザンシステムサービスという会社で地図やAIを使ったりした研究開発をしています。最近はバイクでキャンプツーリングしたりしております。色々面白いものを置いてあるので、興味がある方は是非当社までお越しください！ Twitter： @wayama_ryousuke

Slide 3

Slide 3 text

頻発する大規模土砂災害 3 2014年平成26年8月豪雨 • 前線に向かい温暖湿潤な空気が流入、各地で記録的な大雨 • 広島市では土石流・崖崩れなどにより死者76名（災害関連死を含む）、家屋被害計4,749棟の被害出典：地理院地図/ 国土地理院 (http://www.maps.gsi.go.jp)

Slide 4

Slide 4 text

頻発する大規模土砂災害 4 2018年北海道胆振東部地震 • 最大震度７の大規模な地震 • 液状化現象や北海道全域の停電などの被害 • 台風21号の影響もあり広範囲の土砂崩れが発生出典：国土地理院ウェブサイト(http://www.gsi.go.jp/BOUSAI/H30-hokkaidoiburi-east-earthquake-index.html) いぶり

Slide 5

Slide 5 text

弊社のこれまでの取り組み 5 Deep Learning を用いた崩落地形予測・抽出 • 2016年台風10号による岩手県内の崩落箇所データを用い、雨量や地形などのデータから崩落箇所を予測（FOSS4G 2017 HOKKAIDO）出典：国土地理院(http://maps.gsi.go.jp/development/ichiran.html)，標高タイルを加工して作成国土地理院(http://www.gsi.go.jp/BOUSAI/H28.taihuu10gou.html)，土砂崩壊・堆積地等分布図を加工して作成

Slide 6

Slide 6 text

2018年度の取り組み 6 pix2pix および Mask R-CNN を使い、地形画像から崩落箇所を判別 • pix2pix：変換前後の画像をペアで学習させ、DCGANにより画像変換を行う入力出力正解標高タイル ⇒ 陰影図航空写真 ⇒ 地図

Slide 7

Slide 7 text

2018年度の取り組み 7 pix2pix および Mask R-CNN を使い、地形画像から崩落箇所を判別 • Mask R-CNN：画像データと物体の輪郭を示すマスクデータを与えることで、物体検出を行う出典： Jason Remillard, “Images to OSM”. https://github.com/jremillard/images-to-osm, 2017 動作デモ航空写真 ⇒ 野球場（Remillard, 2017）

Slide 8

Slide 8 text

2018年度の取り組み 8 CS立体図地質図（pix2pixのみ）正解データ崩落箇所データセット：地形・地質・植生 • 地形：CS立体図 • 地質：地質図 • 植生：Bing Map から取得した航空写真 • Mask R-CNNはCS立体図だけで学習航空写真（pix2pixのみ）出典： Bing Map (https://www.bing.com/maps)

Slide 9

Slide 9 text

2018年度の取り組み 9 CS立体図地質図（pix2pixのみ）正解データ崩落箇所教師データ：崩落箇所データ • 「地形」「植生」データから熟練者が抽出航空写真（pix2pixのみ）出典： Bing Map (https://www.bing.com/maps)

Slide 10

Slide 10 text

2018年度の取り組み 10 結果 • pix2pix：抽出失敗入力（CS立体図）出力正解

Slide 11

Slide 11 text

2018年度の取り組み 11 結果 • Mask R-CNN：抽出成功 • 植生が回復した過去の崩落地も抽出できている入力（CS立体図）出力正解

Slide 12

Slide 12 text

本年度（2019年度）の課題設定 12 ① 崩落の危険性がある箇所を予測する • 教師データ：平成29年広島県土砂災害の崩落箇所 • 入力データ：崩落前の土地データ（CS立体図、Bing航空写真、土壌図、表層地質図）と雨量 • 目標：崩落危険箇所の抽出 CS立体図正解データ崩落箇所航空写真土壌図表層地質図雨量出典：CS立体図（5mDEMもあり） (http://kouapp.main.jp), Bing Map (https://www.bing.com/maps)

Slide 13

Slide 13 text

本年度（2019年度）の課題設定 13 ② 「直近の災害により崩落した箇所」を識別する • 教師データ：平成29年広島県土砂災害の崩落箇所 • 入力データ：CS立体図 • 目標：崩落が起こった箇所の抽出正解データ崩落箇所 CS立体図

Slide 14

Slide 14 text

2019年度の課題設定 14 使用するDNN • MS-GAN：pix2pix を改良、モード崩壊を防止 https://github.com/HelenMao/MSGAN • Mask R-CNN

Slide 15

Slide 15 text

MS-GANによる崩落危険箇所の予測 15 航空写真、土壌図、表層地質図を読み込ませる入力正解航空写真土壌図表層地質図出典：Bing Map (https://www.bing.com/maps)

Slide 16

Slide 16 text

MS-GANによる崩落危険箇所の予測 16 CS立体図、航空写真、土壌図、表層地質図、雨量を読み込ませる → 抽出失敗入力（Bing航空写真）出力正解出力出典：Bing Map (https://www.bing.com/maps)

Slide 17

Slide 17 text

MS-GANによる崩落危険箇所の予測 17 まるでファミコン版ドラクエのマップのような出力ドラクエマップジェネレータとして応用できる？入力出力エポック 56 エポック 53 入力出力エポック 100 エポック 151 出典：Bing Map (https://www.bing.com/maps)

Slide 18

Slide 18 text

MS-GANによる崩落箇所の抽出 18 CS立体図のみを読み込ませる • QGIS用プラグイン”CSMapMaker “を使ってデータセット作成（https://github.com/waigania13/CSMapMaker）入力（CS立体図）正解

Slide 19

Slide 19 text

MS-GANによる崩落箇所の抽出 19 CS立体図のみを読み込ませる → 抽出失敗入力（CS立体図）出力正解出力

Slide 20

Slide 20 text

MS-GANのまとめ 20 なぜ、うまくいかなかったのか？ • MS-GANの特徴（多様性を維持するため、画像にノイズを加えている） • データセットの粒度、作成手法（機械的に作成/人力で作成）が異なる

Slide 21

Slide 21 text

Mask R-CNNによる崩落危険箇所の予測 21 画像から一般物体認識に特化したDNN • RGB3チャネルの画像データを読み込む能力をもつ → 多チャネル画像の読み込みが可能なように改造（https://github.com/matterport/Mask_RCNN/wiki） →種類の異なるタイル画像を1枚のTIFF画像にまとめ、入力画像とする 1～3バンド（航空写真） 4～6バンド（CS立体図） 7～9バンド（土壌図） 10～12バンド（表層地質図）出典：Bing Map (https://www.bing.com/maps)

Slide 22

Slide 22 text

Mask R-CNNによる崩落危険箇所の予測 22 2種類のデータ（航空写真、CS立体図）を1枚の画像として読み込ませる → 抽出失敗、海上で崩落のおそれあり？ • 原因は座標軸の入れ替え時のミス入力（CS立体図、航空写真）出力正解？出典：CS立体図（5mDEMもあり） (http://kouapp.main.jp)

Slide 23

Slide 23 text

Mask R-CNNによる崩落危険箇所の予測 23 バグが紛れ込んだときに見つけづらい！入力（CS立体図、航空写真）出力正解出典：CS立体図（5mDEMもあり） (http://kouapp.main.jp) ？

Slide 24

Slide 24 text

Mask R-CNNによる崩落危険箇所の予測 24 修正し再トライ → 山岳地形を抽出しているが、実際の崩落箇所からずれている • データの種類が不足？ • 抽出対象物（崩落箇所）が小さすぎる？出力（赤）＋正解（青）

Slide 25

Slide 25 text

Mask R-CNNによる崩落危険箇所の予測 25 CS立体図＋ Bing航空写真＋土壌図 + 表層地質図 CS立体図＋ Bing航空写真＋土壌図 + 表層地質図＋雨量を使って再トライ → 山岳地形を抽出しているが、実際の崩落箇所からずれている • とくに雨量を加えて訓練すると、抽出箇所が塊状になる傾向がある入力（CS立体図）出力（雨量なし学習）出力（雨量あり学習）正解出典：CS立体図（5mDEMもあり） (http://kouapp.main.jp)

Slide 26

Slide 26 text

Mask R-CNNによる崩落危険箇所の予測 26 なぜ、うまくいかなかったのか？ • 抽出対象の物体（崩落箇所）が小さすぎる → ズームレベルを上げ、抽出対象物が大きく写る画像を使えばよい？（手元にない…）ズームレベル14 ズームレベル18 （画像は崩落後のもの）出典：CS立体図（5mDEMもあり） (http://kouapp.main.jp)

Slide 27

Slide 27 text

Mask R-CNNによる崩落危険箇所の予測 27 なぜ、うまくいかなかったのか？ • データセットの粒度、作成手法（機械的に作成/人力で作成）が異なる → 入力画像の種類を少なくして、高精細・ファクトデータだけを使えばよい？低解像度（雨量）中解像度（土壌）高解像度（地形）出典：CS立体図（5mDEMもあり） (http://kouapp.main.jp)

Slide 28

Slide 28 text

Mask R-CNNによる崩落箇所の抽出 28 崩落箇所予測の教訓 • 抽出対象の物体（崩落箇所）が小さすぎる → ズームレベルを14から18に拡大 • データセットの粒度、作成方法が異なる → 高解像度・ファクトデータであるCS立体図のみ使う

Slide 29

Slide 29 text

Mask R-CNNによる崩落箇所抽出 29 CS立体図ズームレベル18 → 崩落箇所を抽出できている例もあったが、総じて精度は低い入力（CS立体図）正解出力

Slide 30

Slide 30 text

Mask R-CNNによる崩落箇所抽出 30 CS立体図ズームレベル18 → 崩落箇所を抽出できている例もあったが、総じて精度は低い入力（CS立体図）正解出力

Slide 31

Slide 31 text

Mask R-CNNによる崩落箇所抽出 31 PNG標高タイル • 標高データをWeb上で高速転送することを主眼にした標高データフォーマット • 一定の可読性のある生データ西岡芳晴,長津樹理『PNG 標高タイル―Web 利用に適した標高ファイルフォーマットの考案と実装―』「情報地質」26巻4号, pp.155-163. 2015.

Slide 32

Slide 32 text

Mask R-CNNによる崩落箇所抽出 32 PNG標高タイル → 崩落箇所を検出しはじめている？入力（PNG標高タイル）正解出力

Slide 33

Slide 33 text

Mask R-CNNによる崩落箇所抽出 33 PNG標高タイル → 崩落箇所を検出しはじめている？入力（PNG標高タイル）正解出力

Slide 34

Slide 34 text

結果 34 崩落のおそれがある箇所の予測 → もっと研究が必要崩落地形の検出 → 入力データによるが、検出はできそう

Slide 35

Slide 35 text

考察 35 MS-GANはラベル推定には不向き？出典：Qi Mao, Hsin-Ying Lee, (et al.) “Mode-seeking Generative Adversarial Networks for Diverse Image Synthesis.” In

Slide 36

Slide 36 text

考察 36 検出対象物が十分大きく、データセットが高精細ファクトデータであれば、Mask R-CNNを用いて崩落箇所を検出できる × 検出対象が小さすぎるデータから特徴量を捉えられない × データセットの画像が粗すぎる微細な地形の特徴を捉えられない粗すぎるデータ（雨量）小さすぎる検出対象（ズームレベル14）

Slide 37

Slide 37 text

今後の展望 37 事前予測：ズームレベルを上げれば… 崩落検出：高精細雨量データ・オルソ画像などと組み合わせれば… 精度向上が期待できる十分な精度が得られた暁には… 土砂災害発生時に、標高データ（DEM）などのファクトデータから崩落箇所を自動的に抽出することが可能に？ • 被災箇所をすばやく把握、災害対応に役立てる