Pose Estimationの汎用的な評価指標について

Python勉強会#100にてLT登壇した際の資料

Transcript

1. © 2023 FastLabel Inc. All Rights Reserved. 1 Pose Estimationの汎用的な評価指標について2024/1/25みんなのPython勉強会#100FastLabelInc.飛田祥弥 カスタムキーポイントのための評価指標
2. • フレーム内に映る人間や物体に対し、対象の各部位（キーポイント）を識別する技術 ◦ 行動認識や物体追跡などのタスクに向いており、スポーツや医療など幅広い分野で利用される Pose Estimationについて 2
3. • 人間を対象とした評価指標の一つで、推定-正解キーポイント距離が閾値内であるか評価する 1. 各キーポイントの推定座標と正解座標の間の距離を算出する 2. 算出した距離を頭部長や胴体長をもとに正規化する 3. 正規化された距離が閾値以下（τ * l以内）であるキーポイントの割合を算出 既存の評価指標 -PCK（Percentage of correct keypoints）- 3
4. 既存の評価指標 -OKS（Object Keypoint Similarity）- 4 • 人間を対象とした評価指標で、キーポイント間距離、検出しやすさ、大きさから類似度を評価する 1. 検出できている各キーポイントの推定-正解座標間の距離を算出する 2. 座標のmin, maxから大きさを推定し、キーポイントの正規化を行う 3. 正規化した距離に検出しやすさを表す係数を加味し平均した値を類似度とする
5. カスタムキーポイントにおける問題 5 • PCKやOKSは代表的なデータセットのキーポイントを基準としており、カスタムで学習した結果を評価しづらい ◦ PCKでは頭部長や胴体長で正規化してるけど、どちらも視認しずらい場合はどうする？ ◦ OKSで検出のしやすさを表す変数があるけど、人間以外のキーポイントだと適用しづらくない？
6. 汎用的な評価指標 6 • 以下の4点を考慮し、汎用的な評価指標を考える 1. 検出したキーポイントのx,yからmin, maxをとり、物体の大きさ（仮のBoundingBox）を推定する 2. 推定された大きさからx長,y長をとり、その長さに閾値（％）を掛け、距離誤差の許容範囲とする 3. 各キーポイントで推定-正解座標の距離誤差を算出し、許容範囲内のキーポイント数を数え上げる 4. 数え上げられたキーポイント数と全体のキーポイント数から割合を求め、その割合を精度とする
7. 汎用的な評価指標 7 • 以下の4点を考慮し、汎用的な評価指標を考える 1. 検出したキーポイントのx,yからmin, maxをとり、物体の大きさ（仮のBoundingBox）を推定する 2. 推定された大きさからx長,y長をとり、その長さに閾値（％）を掛け、距離誤差の許容範囲とする 3. 各キーポイントで推定-正解座標の距離誤差を算出し、許容範囲内のキーポイント数を数え上げる 4. 数え上げられたキーポイント数と全体のキーポイント数から割合を求め、その割合を精度とする
8. 汎用的な評価指標 8 • 以下の4点を考慮し、汎用的な評価指標を考える 1. 検出したキーポイントのx,yからmin, maxをとり、物体の大きさ（仮のBoundingBox）を推定する 2. 推定された大きさからx長,y長をとり、その長さに閾値（％）を掛け、距離誤差の許容範囲とする 3. 各キーポイントで推定-正解座標の距離誤差を算出し、許容範囲内のキーポイント数を数え上げる 4. 数え上げられたキーポイント数と全体のキーポイント数から割合を求め、その割合を精度とする
9. 汎用的な評価指標 9 • 以下の4点を考慮し、汎用的な評価指標を考える 1. 検出したキーポイントのx,yからmin, maxをとり、物体の大きさ（仮のBoundingBox）を推定する 2. 推定された大きさからx長,y長をとり、その長さに閾値（％）を掛け、距離誤差の許容範囲とする 3. 各キーポイントで推定-正解座標の距離誤差を算出し、許容範囲内のキーポイント数を数え上げる 4. 数え上げられたキーポイント数と全体のキーポイント数から割合を求め、その割合を信頼度とする
10. • まとめ ◦ PCKやOKSを用いた評価指標は人間以外の物体やカスタムキーポイントに適用しづらい ◦ 今回の評価指標は、物体の大きさを考慮し、推定-正解間座標の相対距離から簡潔に精度を求められる ◦ 人間以外の物体などに対しても適用可能な評価指標である • 課題 ◦ Multi Pose Estimationなどの複数物体が映る場合にどう個々へ適用するか ▪ ボトムアップの場合にはクラスタリングなどが必要？ ◦ 本来は大きな物体を小さいと仮定して精度を厳しく（その逆も）算出してしまう可能性がある ▪ 体を丸くしている場合などは過小評価してしまう ◦ 複雑な姿勢に対する推定の難しさ（オクルージョン推定が寄与しない）を考慮できていない ▪ 視認できていないキーポイントを推定できていても、精度へ影響を与えなくなってしまう まとめと課題 10
11. © 2022 FastLabel Inc. All Rights Reserved. 11 End of File