Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
201803生態学会山北集会
Search
naru-T
March 19, 2018
Research
0
230
201803生態学会山北集会
naru-T
March 19, 2018
Tweet
Share
More Decks by naru-T
See All by naru-T
Naru Tsutsumida
narut
0
1.6k
Other Decks in Research
See All in Research
データサイエンティストの就労意識~2015→2024 一般(個人)会員アンケートより
datascientistsociety
PRO
0
980
経済学と機械学習:因果推論と密度比推定を中心に
masakat0
0
130
Agentic AIとMCPを利用したサービス作成入門
mickey_kubo
0
410
AIによる画像認識技術の進化 -25年の技術変遷を振り返る-
hf149
7
3.9k
診断前の病歴テキストを対象としたLLMによるエンティティリンキング精度検証
hagino3000
1
120
SSII2025 [TS3] 医工連携における画像情報学研究
ssii
PRO
2
1.3k
Combinatorial Search with Generators
kei18
0
590
SSII2025 [SS1] レンズレスカメラ
ssii
PRO
2
1k
20250502_ABEJA_論文読み会_スライド
flatton
0
190
電力システム最適化入門
mickey_kubo
1
830
SatCLIP: Global, General-Purpose Location Embeddings with Satellite Imagery
satai
3
260
学生向けアンケート<データサイエンティストについて>
datascientistsociety
PRO
0
5.3k
Featured
See All Featured
Java REST API Framework Comparison - PWX 2021
mraible
33
8.8k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
How to Ace a Technical Interview
jacobian
279
23k
Testing 201, or: Great Expectations
jmmastey
45
7.6k
Building Applications with DynamoDB
mza
96
6.6k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Fireside Chat
paigeccino
39
3.6k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
Rebuilding a faster, lazier Slack
samanthasiow
83
9.1k
The Straight Up "How To Draw Better" Workshop
denniskardys
236
140k
How GitHub (no longer) Works
holman
314
140k
How to train your dragon (web standard)
notwaldorf
96
6.2k
Transcript
大規模リモートセンシングデータをもちいた土地 被覆分類 堤田 成政 京都大学 地球環境学堂
内容 大規模リモートセンシングデータをもちいた土地被覆分類 ◦ 1.データが大きいので・・・ ▪ DL→分析前処理までが大変 ▪ 分析が大変 ◦ 2.教師データの収集が大変(教師付き分類)
▪ なんだかんだいって教師データにすべてがかかっている ◦ 3.精度評価の辛み ▪ 精度評価は評価サンプルにすべてがかかっている ▪ 精度評価の辛み ▪ 空間精度評価の試み ▪ 誤差を含んだ分類図利用 ▪ ポリゴンデータの精度評価 ◦ まとめ:ふるくてあたらしい土地被覆分類研究
1.データが大きいので・・・ • DL→分析前処理までが大変 ◦ 使用データがオープンデータであればGoogle Earth Engine (GEE)
データが大きいので・・・ • 分析が大変 (Rを想定) ◦ nvblas (on nvidia GPU)を使う ◦ ラスターの使用RAMの上限を引き伸ばすrasterOptions(maxmemory
= 1e10) ◦ raster::clusterRを使う ◦ おそらくPythonでも一緒(numpy, rasterioまわりをいじる?) • これだけで数倍速! ◦ 個人的にはRもpythonも速度的には大した差がないのでは
分析例1(機械学習のためのGEE) • データ収集(AVHRR CDR. 1982-2016, Daily =(365.25×35=12783 mosaiced images), 5km
res.)(計約3.4TB分)) • 下処理 (QA処理、バンドごと平均・標準偏差(一年ごと)=(12バンド×35年) • 結果をGoogle Driveへ出力 (12 パラメータ×35年 = 約266MB/年 = 9.3GB)) • Google DriveからDL • RF + Logit・・・などで分析 (with nvblas, cluserR) • 注:単純な機械学習ならGEEで可
分析例2(統計モデルのためのGEE) • データ収集(MOD09GQ. 2001-2016, Daily =(365.25×16=5844 mosaiced images), 250m res.)
(計約1.5TB分)) • 下処理 (QA処理、Harmonic analysis(一年ごと)) • 結果をGoogle Driveへ出力 (4 パラメータ×16年 = 64 images (約250MB/image = 16GB)) • Google DriveからDL • bfastによる時系列分析 (with nvblas, cluserR)
2.教師データの収集が大変(教師付き分類) • なんだかんだいって教師データにすべてがかかっている ◦ よい教師データ→(モデル) →よい結果 ◦ 悪い教師データ→(どんなによいモデルでも)→わるい結果 • 教師データのオリジナリティがすべて ◦
分類クラス数・定義はデータ作成者次第 ◦ 分類図ユーザーの需要とマッチしない ▪ 誰のための分類図? • 自分で集める ◦ フィールドワーク ◦ Google Earth など • 教師データをシチズンサイエンスとして集める ◦ Geo-wiki ◦ SACLAJ など Geo-wiki. Fritz et al. (2017) in Scientific data SALCAJ
3. 精度評価の辛み • 精度評価は評価サンプルにすべてがかかっている ◦ 評価サンプルはランダムサンプリング?階層サンプリング? ◦ 精度評価は評価サンプルからの相対評価 ▪ 異なる評価サンプルによる精度評価は比較不能
▪ 評価サンプルの精度を検証すべき? ▪ 誤差は伝搬する • 精度評価の辛み ◦ 全体精度(Overall accuracy) ◦◦% = 全体誤差 100 - ◦◦% ◦ 精度(誤差)の空間的な偏り ▪ 空間データに適用した非空間分類モデルの誤差はランダムでない ▪ ランダムサンプリングされた評価サンプルをつかっても代表性があるとは限らない
誤差を含んだ分類図利用 • 誤差は伝搬する ◦ 土地被覆変化分析の怪(Post-classification comparison) ▪ 2時点比較(Post-classification comparison)はただしい? •
例:0.75×0.75≒0.56 ▪ 時系列評価サンプル収集は可能か? • 例:2000年ー2010年の土地被覆変化 ▪ 精度評価は評価サンプルからの相対評価 ◦ 2時点での評価サンプルがあれば変化マトリックスの作成が可能
ポリゴンデータの精度評価 • ポリゴンデータ精度評価はかなり難しい ◦ 作成したポリゴンと参照ポリゴンを比べて・・・ ▪ 面積の重複率? ▪ 外縁の長さ?(例:海岸線) ▪
角度ずれ?(例:パズル) Su and Zhang, ISPRS 2017
まとめ:ふるくてあたらしい土地被覆分類研究 • 衛星・ドローン画像を分類する ◦ 使用データを決める(解像度) ▪ 使用データがおおすぎて決めれない ◦ 分類クラスを決める ▪
おれさま分類図はニーズにあわない • 人によって定義はバラバラ ▪ ユーザーがほしい分類図とは? ◦ 教師サンプルをつくる ▪ 多様なクラス組み合わせが可能な教師サンプル をどうつくる? ◦ モデルを組む ▪ 適切なモデル? ◦ 精度分析する ▪ 適切な参照データ? ▪ 適切な精度分析? ▪ 精度のばらつき • それ以外で分類する ◦ OSM ◦ Mapillary ◦ VR?