20260618_CVPR読み会.pdf

Transcript

1. CV勉強会関東 | CVPR 読み会 What Is the Optimal Ranking Score Between Precision and Recall? We Can Always Find It and It Is Rarely F₁ S. Piérard, A. Deliège, M. Van Droogenbroeck University of Liège, Belgium ｜ arXiv:2511.22442v2
2. Confidential & Proprietary | 自己紹介 学生時代は、産業技術総合研究所で卒業研究を実施。 その縁で、AIST認定ベンチャーに入社。 その後、25年以上AIの研究開発に従事。 主に取り組んだ研究開発事例 ・GAによる光学機器の自動調整、半導体設計の最適化 ・動画/静止画/センサ/音の異常検知 2012年 弊社創業と同時に入社 2014年 現職
3. Confidential & Proprietary | 3 “いつもと違う”を検知する産総研発ベンチャー企業 株式会社アダコテック（設立：2012年3月12日） 永井 慶 産総研特許技術を基軸とした外観検査AIソフトウェア・ アルゴリズムの開発・販売 自動車OEM/Tier1メーカー 、大手電子部品・半導体、 インフラ、警備会社 等 東京大学エッジキャピタルパートナーズ、東大IPC、DNX Ventures、リアルテックファンド、Spiral Capital 他 約13名 Mission テクノロジーで 生産現場を エンパワーメントする 会社名 代表取締役 事業内容 取引実績 主要株主 社員数
4. Confidential & Proprietary | 4 なぜこの論文を選んだのか？ 仕事がら、タイトルに惹かれた 「Rarely F₁」——定番の評価指標を疑う。 今後のお仕事の勝利の方程式につながらないか？
5. Confidential & Proprietary | 著者の研究動機 1. 業界経験との接続 みんな F₁ を使っている（CVPR採択論文の約10%）。でも本当に最適？ 医療・検査系では特に「精度」か「見逃し防止」かの葛藤がある。 2. 具体的な失敗事例：CADA-RRE 医療画像チャレンジ CADA-RRE 主催者の意図：「見逃し（Recall）を4倍重視」 実装方法：F₂ スコア（β=2）を採用 結果：F₂ のランキング ≒ Recall のみ（Precision をほぼ無視） → 意図と実装が乖離している
6. Confidential & Proprietary | 著者主張の3行要約 【1】F_β 族の中に「最適な妥協点」が必ずある β を動かすと Pr から Re へ滑らかに移る一本道。最適点はその途中にある。 【2】ただし、その最適点が F₁ とは限らない 定番の F₁ は一般に最適ではない（クラス比率が偏ると片方に寄る）。 【3】でも、最適な β は簡単に計算できる 閉形式で O(n²)。だから F₁ に頼らず、最適点を直接選べる。 F_β の中に答えがある → それは F₁ ではない → でも計算で見つけられる
7. Confidential & Proprietary | 主張1：F_β 族の中に「最適な妥協点」が必ずある ① F_β ＝ Pr と Re の重み付き調和平均 F_β⁻¹ = (1−b)·Pr⁻¹ + b·Re⁻¹ ( b=β²/(1+β²) ) β=0→Pr（=F₀）／ β=1→F₁ ／ β=∞→Re（=F∞ ） ② 良い妥協点 ＝ Pr順と Re順の「中間」の順位表 Pr との距離 ＝ Re との距離：d(F₀,F*) = d(F*,F∞) ※ d ＝ Kendall距離（順位が逆転した手法ペア数） ③ 中点は一意に定まり、明示的に求まる（根拠：最短経路） A：一致ペアは動かさない（平均だから） B：食い違うペアは1回だけ反転（戻らない＝単調） → d(Pr,Re)=d(F₀,F_β)+d(F_β, F∞ )（寄り道ゼロ） → だから最適な妥協点は必ず F_β の中にある 論文 図1：ランキングの「道」 両端◆＝Pr・Re の順位表 ／ 道の上＝各 β の順位表 中央◆＝ちょうど中間（最適・1つに定まる） F₁・SIVF は道のどこにでも来る（真ん中の保証なし） 出典：Piérard et al., arXiv:2511.22442v2, Fig.1
8. Confidential & Proprietary | 補足：「2つの順位表の中間」とは？（具体例） 手法 A（精度重視）・ B（バランス）・ C（再現重視）を、Precision と Recall で順位付けすると── 順位表①（Pr 高い順） 1位 A 2位 B 3位 C 中間の順位表（最適な妥協） 1位 B 2位 A 3位 C 順位表②（Re 高い順） 1位 B 2位 C 3位 A 入れ替え 1回ぶん 入れ替え 1回ぶん 読み方：各手法を「Pr順位と Re順位の真ん中」に置き直すと、中間の順位表になる A：Pr 1位・Re 3位 → 中間 2位 ／ B：Pr 2位・Re 1位 → 中間 1位 ／ C：Pr 3位・Re 2位 → 中間 3位 ＝ Pr の言い分と Re の言い分を半分ずつ反映（Pr からも Re からも同じ入れ替え回数＝等距離）
9. Confidential & Proprietary | 主張2：F₁ は一般に最適ではない 各マス＝ROC空間の“等値線”（同じスコアになる性能の集まり）。線の向きがランキングを決める。 Pr（左端）は放射状、Re（右端）は水平。同じ F₁ でもクラス比率 π₊ で形が変わる（要の位置 ℓ = β²·π₊/π₋）。 Precision F₁ （β=1） Recall F₁ が妥当 π₊=0.5（ℓ=1） → Pr と Re の中間 ◎ F₁ が破綻 π₊=0.9（ℓ=9） → ほぼ Re ＝ Pr を無視 ✗ 見方のコツ ・線が放射状 → Pr 寄り ・線が水平 → Re 寄り ポイント F₁ を固定しても、クラス比率次第で等値線が Pr 側 にも Re 側にも寄る。 → 片方を完全に無視する“破滅ケース”が起こりうる 。 出典：Piérard et al., arXiv:2511.22442v2, Fig.2（列＝スコア／行＝クラス比率 π₊）
10. Confidential & Proprietary | 主張3：最適 β は常に計算できる 考え方（主張1の帰結） β を上げると“食い違うペア”が1回ずつ反転し、戻らない ・Pr からの距離 ＝ 通過した反転点の数 ・Re までの距離 ＝ まだ通っていない反転点の数 → 反転点の“ちょうど真ん中”＝左右同数＝中点（最適） 求め方（3ステップ） ① 各ペア(i,j)の反転点 ϑᵢⱼ を計算（(Pr,Re)から閉形式・式11） β²ᵢⱼ = −(Prᵢ⁻¹−Prⱼ⁻¹) / (Reᵢ⁻¹−Reⱼ⁻¹) ② 全 ϑᵢⱼ を β順に並べ、中央値をとる → β* = median{ϑᵢⱼ}（式12） ③ その β* でランキングを確定 ※ 選んだ β の最適度は指標「最適性 ⊛」で測れる（100%＝最適） 計算量 O(n²)（＝ペア数 nC2）—— 1000手法でも1秒未満 論文 図3(a)：CADA-RRE の実演 赤線＝手法ごとの F_β（左端Pr・右端Re） 黒点＝2手法の反転点 ϑᵢⱼ 緑線＝反転点の中央値 β*（左右で同数＝中点） 出典：arXiv:2511.22442v2, Fig.3(a)
11. Confidential & Proprietary | 実験：2つのアプローチで検証 ① 理論の検証（数理計算） 【やったこと】性能の分布を数式で仮定し、 最適 β と F₁ の最適性 ⊛ を解析的に計算 （Mathematica 厳密積分／一部モンテカルロ） 仮定した分布 5種 1. 全性能の一様分布 2. 真陰性確率を固定 3. クラス比率を固定 4. 無スキル以上に限定 5. オラクル近傍に限定 → F₁ が最適なのは π₊ が特定値のときだけ ② 現実での確認（実データ） 【やったこと】動画ごとに57手法から 最適 β* を実際に計算し、F₁ の最適性を測定 CDnet 2014（Kaggle 的な公開ベンチマーク） 背景差分／監視カメラのピクセル分類 規模：動画 53本 × 手法 57種 狙い：最適βは実際どれだけバラつく？F₁は最適？ → 最適β=0.29〜22.79 ／ F₁妥当 35/53 ／ 最適性 平均78%
12. Confidential & Proprietary | 実験結果 理論分布での発見 F₁ が「等距離点（＝最適）」になるのはごく限定的（一様分布：π₊≈0.381 ／ 無スキル超え：π₊≈0.325） CDnet 2014（実データ）での発見 最適 β は動画ごとにバラつく 0.29 〜 22.79 （＝ベストな β は一定でない） F₁ が妥当な範囲 [0.5–2] に 最適 β が入った動画 35 / 53 本 （≈66%。残り18本は F₁ が不適） F₁ を使ったときの 最適性 ⊛（100%が理想） 平均 78% （平均で約2割、最適に劣る） ※ 「35/53(≈66%)」と「平均78%」は別の指標です（前者=最適βがF₁近傍の動画割合／後者=F₁順位の最適への近さ）。 ボーナス：β² = E[偽陽性] / E[偽陰性] が最適βをよく予測（r≈0.91）。一方、クラス比率からは予測できない。
13. Confidential & Proprietary | 論文のまとめ：貢献と提言 数学的な貢献 ✓ 最短経路（一本道）の定式化 ✓ 最適点＝等距離点の一意性の証明 ✓ 最適βの閉形式解（中央値） ✓ 理論はシンプルで堅い 著者の実務提言 F_β でランキングするときは τ(Pr;F_β) と τ(F_β;Re) を併記 すれば、第三者がその選択の 最適性 ⊛ を検証できる 「値の平均が釣り合っても、順位の妥協が釣り合うとは限らない」
14. そうは言っても、CADA-RRE問題の解決に つながるかというとそうではない気がしています
15. Confidential & Proprietary | ROC系指標の方が良くないか問題 結局、実運用では②の方が好まれないか問題
16. Confidential & Proprietary | 16 結局、見落としは許してくれないんでしょ問題 • 著者が指摘したようなCADA-RREの場合、基本的に見逃しは許してくれない • 結局recall = 1.0は実現した体になっていないと話は進まないよね。 ◦ 検出できない対象に対しては、「検出できなくても問題ない」ストーリーが必要 • となってくると、F_βの最適化より、どの単位でスコアを求めるかみたいな方が重要かも ◦ 画像単位 ◦ ピクセル単位 ◦ 欠点単位などなど
17. うちは、こう評価してるぜみたいなお話を 懇親会で聞かせてください。
18. ご関心をお持ちの方はお気軽にこちらまでご連絡ください。 Email : sales@adacotech.co.jp TEL: 03-4346-4171 https://adacotech.co.jp/ Thank you very much for your time!!