SappoRo.R#10_EBImageを用いたVR画像の変化域抽出と生態系への活用.pdf

Transcript

1. EBImageを用いた
   VR画像の変化域抽出と生態系ヘの活用
   Wakamatsu Takumu
   @wakama1994
   SappoRo.R #10
   

   View Slide

2. 自己紹介 出身...北海道
   経歴...
   2018年 北海道大学　法学部卒
   ❏ 計量政治学との出会いがデータ分析を始めるきっかけ
   2020年 北海道大学 農学院　環境資源学専攻　修士修了
   ❏ VR技術を用いた湿地景観のアーカイブ化
   >今日の発表
   2020年4月〜 気象関係の会社に就職
   ❏ スポーツアナリティクス(2年)
   >気候変動の分析と開発(1年)
   R歴...主に学生時代
   趣味... 一人旅 食べ歩き スポーツ観戦 物事の分析
   wakama1994
   Wakamatsu Takumu
   

   View Slide

3. VRカメラで湿原を撮影し
   EBImageで植生変化を抽出してみた！
   今日の発表内容
   

   View Slide

4. なぜVR画像を活用するのか？
   ● 省力的な調査が可能で 植物の種の同定までできる
   ○ 人が出向いた調査は高齢化に伴い 専門家が激減
   ○ 上空からの撮影技術 を活用する場合 内部の細かな状況は確認が困難
   ○ VR画像だと 1度撮影するだけで誰でも湿原の内部環境 が確認できる
   活用例 ① バーチャルツアーによる
   映像アーカイブ
   Google street viewを活用
   ②複数時期の画像からの
   植生変化域の抽出
   Rのcolormapを使用
   リモートセンシング
   

   View Slide

5. 映像の取得方法
   ● 札幌市の篠路福移湿原で撮影
   ● 撮影期間は2019年6~10月で
   計5回（月1の頻度）
   ● 撮影地点は10地点
   札幌
   江別
   石狩
   小樽
   篠路福移
   当別
   手動設営による
   タイムラプス撮影
   

   View Slide

6. 実験方法
   ● 画像の背景差分を行い 緑輝度値の標準偏差から変化を抽出
   ○ 手動撮影によるズレも考慮し 複数ピクセルの正方形グリッド で抽出
   ○ 生物の専門家が使うため OpenCVではなくRで実装されているEBImageを使用
   

   View Slide

7. 解析コード
   # EBImage導入
   install.packages("EBImage")
   library("EBImage")
   #ColroRamps導入
   install.packages("colorRamps")
   library("colorRamps")
   #ディレクトリー選択
   setwd("C:/Users/takum/Desktop/jikkenn_1")
   #画像読み込み
   img1 img2 img3 img4 img5 #G輝度画像生成
   img1gimg2gimg3gimg4gimg5g#各グリッドサイズ(40，80，160，320px)
   の標準偏差を算出
   g40for(j in 1:192)
   {for(k in 1:96){
   g40[j，k] (k*40-39):(40*k)]，img2g[(j*40-39):(40*j)，
   (k*40-39):(40*k)]，img3g[(j*40-39):(40*j)，
   (k*40-39):(40*k)]，img4g[(j*40-39):(40*j)，
   (k*40-39):(40*k)]，img5g[(j*40-39):(40*j)，
   (k*40-39):(40*k)]))
   }
   }
   g80for(j in 1:96)
   {for(k in 1:48){
   g80[j，k] (k*80-79):(80*k)]，img2g[(j*80-79):(80*j)，
   (k*80-79):(80*k)]，img3g[(j*80-79):(80*j)，
   (k*80-79):(80*k)]，img4g[(j*80-79):(80*j)，
   (k*80-79):(80*k)]，img5g[(j*80-79):(80*j)，
   (k*80-79):(80*k)]))
   }
   }
   g160for(j in 1:48)
   {for(k in 1:24){
   g160[j，k](k*160-159):(160*k)]，img2g[(j*160-159):(160*j)
   ，(k*160-159):(160*k)]
   ，img3g[(j*160-159):(160*j)，
   (k*160-159):(160*k)]，img4g[(j*160-159):(160*j)
   ，(k*160-159):(160*k)]
   ，img5g[(j*160-159):(160*j)，
   (k*160-159):(160*k)]))
   }
   }
   g320for(j in 1:24)
   {for(k in 1:12){
   g320[j，k](k*320-319):(320*k)]，img2g[(j*320-319):(320*j)
   ，(k*320-319):(320*k)]
   ，img3g[(j*320-319):(320*j)，
   (k*320-319):(320*k)]，img4g[(j*320-319):(320*j)
   ，(k*320-319):(320*k)]
   ，img5g[(j*320-319):(320*j)，
   (k*320-319):(320*k)]))
   }
   }
   

   View Slide

8. 解析コード
   #各グリッドサイズの画像標準偏差の値をcsvファイルに書き込み
   write.csv(g40，"40g.csv")
   write.csv(g80，"80g.csv")
   write.csv(g160，"160g.csv")
   write.csv(g320，"320g.csv")
   #各グリッドサイズの画像標準偏差を正規化
   nmax40nmin40nnorm40nmax80nmin80nnorm80nmax160nmin160nnorm160nmax320nmin320nnorm320#サイズ調整
   nnorm_resize40nnorm_resize80nnorm_resize160nnorm_resize320#カラーマップ化
   o= colormap(nnorm_resize40， blue2red(10))
   writeImage(o，"color40.jpg")
   p= colormap(nnorm_resize80， blue2red(10))
   writeImage(p，"color80.jpg")
   q= colormap(nnorm_resize160， blue2red(10))
   writeImage(q，"color160.jpg")
   r= colormap(nnorm_resize320， blue2red(10))
   writeImage(r，"color320.jpg")
   #カラーマップとエッジ域（6月の映像）の合成
   kansei_40kansei_80kansei_160kansei_320#完成した図の書き込み
   writeImage(kansei_40，"kansei_40.jpg")
   writeImage(kansei_80，"kansei_80.jpg")
   writeImage(kansei_160，"kansei_160.jpg")
   writeImage(kansei_320，"kansei_320.jpg")
   

   View Slide

9. 有効性の評価
   変化域抽出に活用可能かを2つの事象で検証
   ①適切な複数グリッドの選定
   ○ 40px,80px,160px,320pxで比較
   ■ 標準偏差の平均値を取り 一元配置分散分析を実施
   ○ 6つのカテゴリーで検証
   ■ 植物の成長（撮影近傍 ), 植物の成長（撮影遠方 ),
   植物の枯死, 花の開花, 出穂,成長無
   ■ 各カテゴリーの画像選定は目視で判別
   ○ ピクセル間で差が無かった場合は実用面を考慮
   ②植生変化抽出の有効性評価
   ○ 選定した複数グリッドで成長無以外の
   5つのカテゴリーと成長無との 平均の差の検定で植生変化
   を抽出できたかの評価
   ■ 撮影遠方成長の比較は別途遠方の成長無を
   リサンプルして評価
   出穂
   植物の
   成長から枯死まで
   出穂
   湿原に咲く
   ノハナショウブ
   

   View Slide

10. ①適切な複数グリッドの選定
    40px単位
    80px単位
    160px単位
    320px単位
    ● どのカテゴリーでもpx間で有意な差が検出されない
    ● VR上での表示を考慮し 160pxが妥当と判断
    ○ 40,80pxだとノイズのように表示され
    320だと変化が特定しにくい恐れ
    

    View Slide

11. ②植生変化抽出有効性評価
    ● 撮影近傍の成長と枯死に有意差あり
    ● 遠望の成長,出穂,開花では有意差なし
    ○ 開花や出穂は緑輝度が不適当
    ○ 遠方の成長に関しては グリッド数に問題あ
    り
    同じpxでも表現する距離が異なる
    

    View Slide

12. まとめ
    ● 複数時期のVR画像から湿原植生の変化域抽出を実験
    ○ 緑輝度値の標準偏差では植物の成長と枯死が検出可能
    ○ 開花や出穂などの湿原特有の植生の検出は困難
    ■ 検出できなかった項目は オブジェクト検出で改良できる可能性
    ○ 今後研究室の方では 湿原への侵入による破壊を防ぐため UAVとVRカメラ使用した植生
    調査とバーチャルツアー教材を制作予定
    チューリップのオブジェクト検出例（バウンディングボックス）
    

    View Slide

13. 研究室紹介
    ● 北海道大学　農学部　生態環境物理学研究室
    ○ https://sites.google.com/view/hiroyuki-yamada
    ● 指導教官　山田浩之先生
    ● 学生さんの研究テーマ (計 7名)
    ○ 鳥類のモニタリング（ M2 1名 B4 2名）
    ○ 湿原再生地域の植生モニタリング (M2 1名)
    ○ 湖沼の生態系調査（ M1 2名 B4 1名）
    ■ 今回紹介した技術は阿寒湖のマリモを VRカメラ調査している学
    生さんに引き継がれてます！
    ● 学生さん作成の研究室紹介動画もあります
    ○ https://www.youtube.com/watch?v=v9ZsjvYN1eM
    IoTカメラを用いた水鳥モニタリング
    カメラによるマリモ調査
    

    View Slide

14. 補足資料: 研究で撮影したバーチャル（VR）ツアー
    ● 篠路福移湿原のバーチャルツアー
    ● 雨竜沼湿原のバーチャルツアー　
    ● 別寒牛湿原（厚岸町）のバーチャルツアー
    

    View Slide