Slide 1

Slide 1 text

3次元点群の分類における評価指標について ImVisionLabs株式会社

Slide 2

Slide 2 text

3次元点群とは 3次元点群とは点の集合であり、3次元形状を表す 1 最近は、都道府県や建物の3次元点群データが公開されている 例)中野サンプラザ、綾瀬川 ※埼玉県より公開されている 道路・河川の3Dマップのデータを利用しています ※中野区より公開されているデータを利用しています

Slide 3

Slide 3 text

セマンティックセグメンテーション 2 ラベル付け前と後の画像 各点を分類し、どのような物体か判別する 画像出典: PLATEAU 「AIを用いた3D都市モデルの自動更新手法の開発」 https://www.mlit.go.jp/plateau/use-case/uc22-044/ 例) 人、車、植生、壁、フェンス

Slide 4

Slide 4 text

セマンティックセグメンテーションの例 セグメンテーションにより周辺環境を把握 例 道路、歩行者、障害物、標識、白線 衝突リスクの軽減する 走るべき場所を検出し、自動運転に寄与 3 自動運転 https://jp.mathworks.com/help/lidar/ug/automate- lidar-labeling-for-semantic-segmentation.html https://medium.com/nerd-for-tech/autonomous-driving-annotation- case-study-semantic-segmentation-in-3d-point-cloud- 98e6da4f4dc0

Slide 5

Slide 5 text

分類精度評価指標の重要性 5 モデル A 分類精度 0.7 Loss 6 モデル B 分類精度 0.6 Loss 4 モデル A 分類精度 0.7 分類精度の高いA を採用しよう! 3割ほど誤分類のリ スクあるから、人によ る確認も追加しよう 分類精度をもとに最適なモデルを選択可能 誤分類の傾向を知ることでリスク回避につながる

Slide 6

Slide 6 text

予測値と正解の値(混同行列) 6 正 負 正 True Positive (TP) False Negative (FN) 負 False Positive (FP) True Negative (TN) 機械学習モデル 手動でラベリング 予測 正解 予測と正解 が一致

Slide 7

Slide 7 text

全体精度(Accuracy) 7 正 負 正 True Positive (TP) False Negative (FN) 負 False Positive (FP) True Negative (TN) Accuracy = TP + TN TP + TN + FP + FN = • シンプルな計算方法 • データセット全体の予測性能を評価 • クラス間で点数が大きく異なる場合に使いにくい メリット デメリット

Slide 8

Slide 8 text

再現率(Recall)、適合率(Precision) 8 Precision = TP TP + FP Recall = TP TP + FN 予測値が正であるものが、 正解が正であるものをどれ だけ再現しているか 予測値が正であるものが、 正解が正であるものに適合 しているか トレードオフ 正 負 正 TP FN 負 FP TN 予測 正解

Slide 9

Slide 9 text

F1スコア 9 Precision Recall F1 = 2 × Precision × Recall Precision + Recall  RecallとPrecisionの調和平均(逆数の和の平均の逆数)  調和平均は、2つの値がどちらも高い場合にのみ高い値を示す  クラスの不均衡に対応しつつ、全体のデータセットの予測性能を評価できる

Slide 10

Slide 10 text

調和平均 vs 算術平均 10

Slide 11

Slide 11 text

IoU(Intersection over Union) 11 IoU = TP TP + FP + FN データセット全体の予測性能を評価 実際に真 予測が真 TP FP FN TN 正 負 正 TP FN 負 FP TN 予測 正解

Slide 12

Slide 12 text

具体例(クラスの不均衡) 12 正解データ 予測データ Accuracy: 0.995 Recall:0.928 Precision:0.540 F1:0.683 IOU:0.518 ほとんどが負のデータ であり、TP、FN、FP の比率にかかわらず、 Accuracyは大きくなる 正 負 正 TP 4428 FN 346 負 FP 3768 TN 876131 正解 予測 ※東京都より公開されている 東京都デジタルツイン実現プロジェクトのデータを利用しています 電線を正とする

Slide 13

Slide 13 text

具体例(クラス不均衡) 13 正解データ 予測データ Accuracy: 0.990 Recall:0.681 Precision:0.244 F1:0.360 IOU:0.220 同様にAccuracyは高 いが、Recall、 Precisionは低くなる 正 負 正 TP 2397 FN 1123 負 FP 7413 TN 873740 正解 予測 ※東京都より公開されている 東京都デジタルツイン実現プロジェクトのデータを利用しています 鉄塔を正とする

Slide 14

Slide 14 text

具体例(過剰予測) 14 正解データ 正 負 正 10758 (TP) 0 (FN) 負 67371 (FP) 0 (TN) 予測データ Accuracy: 0.14 Recall:1.00 Precision:0.14 F1:0.24 IOU:0.14 全然正しくないが Recallは高い ※DALESデータセットを利用しています 家を正とする

Slide 15

Slide 15 text

まとめ 15 iPhone12 LiDAR 3次元点群とは • 点の集合で3次元形状を表す 例:中野サンプラザ、綾瀬川 セマンティックセグメンテーション • 各点にクラスを分類(例:道路、歩行者) 利点:自動運転のリスク軽減 分類精度評価指標 • 指標例:Accuracy、Recall、Precision、F1スコア、IoU 分類精度評価の具体例を例示 • 目的に合った評価指標を中心に評価する必要性