Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
3次元点群の分類における評価指標について
Search
Kenta Itakura
July 31, 2024
Research
0
110
3次元点群の分類における評価指標について
Kenta Itakura
July 31, 2024
Tweet
Share
More Decks by Kenta Itakura
See All by Kenta Itakura
LiDARとカメラのセンサーフュージョンによる点群からのノイズ除去
kentaitakura
0
24
センサーフュージョンを利用した橋梁の構造情報の推定
kentaitakura
0
5
深層学習を利用した3次元点群の分類を行う際の手順について
kentaitakura
0
160
外積やロドリゲスの回転公式を利用した点群の回転
kentaitakura
1
530
Segment Anything Modelを利用して 農作物のセグメンテーションを行ってみた
kentaitakura
0
170
LIMEを用いた判断根拠の可視化
kentaitakura
0
260
グリーンレーザーにより取得した3次元点群から海底や水面を分類した事例
kentaitakura
0
240
複数の入力の深層学習ネットワークの作成について
kentaitakura
0
150
LiDARとカメラのセンサーフュージョンによる点群のノイズ除去
kentaitakura
1
400
Other Decks in Research
See All in Research
DiscordにおけるキャラクターIPを活用したUGCコンテンツ生成サービスの ラピッドプロトタイピング ~国際ハッカソンでの事例研究
o_ob
0
210
Physics of Language Models: Part 3.1, Knowledge Storage and Extraction
sosk
1
800
大規模言語モデルを用いた日本語視覚言語モデルの評価方法とベースラインモデルの提案 【MIRU 2024】
kentosasaki
2
420
第60回名古屋CV・PRMU勉強会:CVPR2024論文紹介(Vision Transformer)
waka_90b
1
150
Isotropy, Clusters, and Classifiers
hpprc
3
490
Generative Predictive Model for Autonomous Driving 第61回 コンピュータビジョン勉強会@関東 (後編)
kentosasaki
0
160
大規模言語モデル (LLM) の技術と最新動向
ikuyamada
32
19k
MIRU2024_招待講演_RALF_in_CVPR2024
udonda
1
320
SSII2024 [OS2] 画像、その先へ 〜モーション解析への誘い〜
ssii
PRO
1
1.2k
SSII2024 [OS2] GPT-4Vで画像認識は終わるのか(オープニング)
ssii
PRO
0
750
SSII2024 [OS1] 画像生成技術の発展: 過去10年の軌跡と未来への展望
ssii
PRO
3
1.8k
SSII2024 [OS2] 大規模言語モデルと基盤モデルの射程
ssii
PRO
0
460
Featured
See All Featured
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3.4k
Bash Introduction
62gerente
608
210k
Building a Modern Day E-commerce SEO Strategy
aleyda
36
6.8k
Infographics Made Easy
chrislema
239
18k
YesSQL, Process and Tooling at Scale
rocio
167
14k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
663
120k
Documentation Writing (for coders)
carmenintech
65
4.3k
Robots, Beer and Maslow
schacon
PRO
157
8.2k
The World Runs on Bad Software
bkeepers
PRO
64
11k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
230
17k
Navigating Team Friction
lara
183
13k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
89
16k
Transcript
3次元点群の分類における評価指標について ImVisionLabs株式会社
3次元点群とは 3次元点群とは点の集合であり、3次元形状を表す 1 最近は、都道府県や建物の3次元点群データが公開されている 例)中野サンプラザ、綾瀬川 ※埼玉県より公開されている 道路・河川の3Dマップのデータを利用しています ※中野区より公開されているデータを利用しています
セマンティックセグメンテーション 2 ラベル付け前と後の画像 各点を分類し、どのような物体か判別する 画像出典: PLATEAU 「AIを用いた3D都市モデルの自動更新手法の開発」 https://www.mlit.go.jp/plateau/use-case/uc22-044/ 例) 人、車、植生、壁、フェンス
セマンティックセグメンテーションの例 セグメンテーションにより周辺環境を把握 例 道路、歩行者、障害物、標識、白線 衝突リスクの軽減する 走るべき場所を検出し、自動運転に寄与 3 自動運転 https://jp.mathworks.com/help/lidar/ug/automate- lidar-labeling-for-semantic-segmentation.html
https://medium.com/nerd-for-tech/autonomous-driving-annotation- case-study-semantic-segmentation-in-3d-point-cloud- 98e6da4f4dc0
分類精度評価指標の重要性 5 モデル A 分類精度 0.7 Loss 6 モデル B
分類精度 0.6 Loss 4 モデル A 分類精度 0.7 分類精度の高いA を採用しよう! 3割ほど誤分類のリ スクあるから、人によ る確認も追加しよう 分類精度をもとに最適なモデルを選択可能 誤分類の傾向を知ることでリスク回避につながる
予測値と正解の値(混同行列) 6 正 負 正 True Positive (TP) False Negative
(FN) 負 False Positive (FP) True Negative (TN) 機械学習モデル 手動でラベリング 予測 正解 予測と正解 が一致
全体精度(Accuracy) 7 正 負 正 True Positive (TP) False Negative
(FN) 負 False Positive (FP) True Negative (TN) Accuracy = TP + TN TP + TN + FP + FN = • シンプルな計算方法 • データセット全体の予測性能を評価 • クラス間で点数が大きく異なる場合に使いにくい メリット デメリット
再現率(Recall)、適合率(Precision) 8 Precision = TP TP + FP Recall =
TP TP + FN 予測値が正であるものが、 正解が正であるものをどれ だけ再現しているか 予測値が正であるものが、 正解が正であるものに適合 しているか トレードオフ 正 負 正 TP FN 負 FP TN 予測 正解
F1スコア 9 Precision Recall F1 = 2 × Precision ×
Recall Precision + Recall RecallとPrecisionの調和平均(逆数の和の平均の逆数) 調和平均は、2つの値がどちらも高い場合にのみ高い値を示す クラスの不均衡に対応しつつ、全体のデータセットの予測性能を評価できる
調和平均 vs 算術平均 10
IoU(Intersection over Union) 11 IoU = TP TP + FP
+ FN データセット全体の予測性能を評価 実際に真 予測が真 TP FP FN TN 正 負 正 TP FN 負 FP TN 予測 正解
具体例(クラスの不均衡) 12 正解データ 予測データ Accuracy: 0.995 Recall:0.928 Precision:0.540 F1:0.683 IOU:0.518
ほとんどが負のデータ であり、TP、FN、FP の比率にかかわらず、 Accuracyは大きくなる 正 負 正 TP 4428 FN 346 負 FP 3768 TN 876131 正解 予測 ※東京都より公開されている 東京都デジタルツイン実現プロジェクトのデータを利用しています 電線を正とする
具体例(クラス不均衡) 13 正解データ 予測データ Accuracy: 0.990 Recall:0.681 Precision:0.244 F1:0.360 IOU:0.220
同様にAccuracyは高 いが、Recall、 Precisionは低くなる 正 負 正 TP 2397 FN 1123 負 FP 7413 TN 873740 正解 予測 ※東京都より公開されている 東京都デジタルツイン実現プロジェクトのデータを利用しています 鉄塔を正とする
具体例(過剰予測) 14 正解データ 正 負 正 10758 (TP) 0 (FN)
負 67371 (FP) 0 (TN) 予測データ Accuracy: 0.14 Recall:1.00 Precision:0.14 F1:0.24 IOU:0.14 全然正しくないが Recallは高い ※DALESデータセットを利用しています 家を正とする
まとめ 15 iPhone12 LiDAR 3次元点群とは • 点の集合で3次元形状を表す 例:中野サンプラザ、綾瀬川 セマンティックセグメンテーション •
各点にクラスを分類(例:道路、歩行者) 利点:自動運転のリスク軽減 分類精度評価指標 • 指標例:Accuracy、Recall、Precision、F1スコア、IoU 分類精度評価の具体例を例示 • 目的に合った評価指標を中心に評価する必要性