IDperturb: Enhancing Variation in Synthetic Face Generation via Angular Perturbation

■ イベント
第67回 コンピュータビジョン勉強会＠関東（後編）
https://kantocv.connpass.com/event/397925/

■登壇概要
タイトル：IDperturb: Enhancing Variation in Synthetic Face Generation via Angular Perturbation
登壇者：技技術本部 研究開発部 ⼤⽵ ひな

■ 技術本部 採用情報
https://media.sansan-engineering.com

Transcript

1. 第67回 コンピュータビジョン勉強会＠関東（後編） IDperturb: Enhancing Variation in Synthetic Face Generation via Angular Perturbation Sansan 株式会社 技術本部 研究開発部 ⼤⽵ ひな
2. capture ⼤⽵ ひな（Hina Otake） 技術本部 研究開発部 Automation グループ 機械学習エンジニア 早稲⽥⼤学⼤学院先進理⼯学研究科物理学及応⽤物理学専攻修⼠ 課程修了。在学中は、Deepfake検出や⽣成画像を⽤いた画像認 識モデルの研究に取り組む。 2026年に新卒でSansanに⼊社。深層学習を活⽤した名刺OCR （⽂字認識）技術の研究開発に従事している。
3. ⽬次 - 論⽂情報 - 前提知識：顔認識と埋め込み空間 - 研究背景・関連研究 - 提案⼿法：IDPERTURB - 実験と結果 - まとめ・所感
4. 論⽂情報 - タイトル：IDperturb: Enhancing Variation in Synthetic Face Generation via Angular Perturbations - 著者：Fadi Boutros, Eduarda Caldeira, Tahar Chettaoui, Naser Damer - 所属機関 - Fraunhofer Institute for Computer Graphics Research IGD, Germany - Technical University of Darmstadt (TU Darmstadt), Germany - 概要：顔認識のための合成データセット⽣成⼿法 - ID の埋め込みに⾼次元単位超球⾯上の幾何学的な摂動を加え、同⼀⼈物内の多様性を⾼める - ⽣成モデルの再学習・改造・属性ラベルを⼀切必要としない「サンプリング戦略」
5. 前提知識：顔認識と埋め込み空間
6. 顔認識 - 顔画像を特徴ベクトルに変換し、その近さで同⼀⼈物 かを判定するタスク - 使い⽅ - 1 対 1 の本⼈確認（スマホのロック解除） - 1 対 N の検索（⼤勢の中から特定の⼈物を探す） - 学習に「同⼀⼈物の画像が複数枚ある」⼤規模データ が必要 - 本論⽂のテーマ：この学習データを実写なしで合成す る
7. 前提：顔認識モデルの「埋め込み空間」 - 顔画像を d 次元ベクトルに変換し、⻑さ 1 に正規化 - 全ての顔が単位超球⾯上の点 - 同⼀⼈物かは「2 本のベクトルのなす⾓𝜽」で決まる - 𝜃が狭い＝ コサイン類似度が⾼い＝同⼀⼈物 - 学習データに求められる 2 つの性質 - ① クラス間分離性：別⼈同⼠は超球⾯上で離れている - ②クラス内多様性：同⼀⼈物の中で表情・⾓度・年齢が 適度にばらけている - 本論⽂は「⾓度」を直接編集し、 ② を作り出す
8. 研究背景・関連研究
9. 研究背景 実世界顔データのプライバシー制限が合成データによる学習の台頭を促す 1. プライバシー・法規制の強化 - 欧州のGDPRや各国の⽣体認証情報保護規則により、同意を得ていない実世界 データの商業利⽤・モデル学習に対する制限が厳格化 2. ⼤規模データセットの撤回 3. 合成データの重要性
10. 研究背景 実世界顔データのプライバシー制限が合成データによる学習の台頭を促す 1. プライバシー・法規制の強化 2. ⼤規模データセットの撤回 - 顔認識モデルの⾶躍的発展を⽀えた「MS-Celeb-1M」、「VGGFace2」など の主要な⼤規模顔データセットが、プライバシー問題により撤回 3. 合成データの重要性
11. 研究背景 実世界顔データのプライバシー制限が合成データによる学習の台頭を促す 1. プライバシー・法規制の強化 2. ⼤規模データセットの撤回 3. 合成データの重要性 - 実データに代わるスケーラブルで、プライバシー・法規制上の制約を受けにく い「合成データ」による学習が注⽬を集めている - 拡散モデルの進化によって、写実的かつ同⼀性を保った顔⽣成が可能に
12. 関連研究：GANベースとDMベース - GAN（敵対的⽣成ネットワーク）ベース - 顔認識モデル⽤の初期の合成データ⽣成で主流だったアプローチ - 主な⼿法とアプローチ > 潜在空間（W空間等）のDisentanglementや、同⼀性のブレンド（Mix-up）によ りバリエーションを追加 > 代表例: SynFace, SFace, SFace2, ExFaceGAN - 主な限界・課題 > ⽣成画像の解像度が低く、ポーズや表情を変更した際の同⼀性（⼀貫性）保持能 ⼒に劣る > 結果として、下流の顔認識モデルの精度向上に限界があった
13. 関連研究：GANベースとDMベース - DM（拡散モデル）ベース - 写真のように極めてリアルで、優れた同⼀性⼀貫性を保持できる最新トレンド - 主な⼿法とアプローチ > 多様性を⽣み出すために、ドロップアウトの適⽤、スタイル別制御、マルチ フェーズ⽣成などのサンプリングを導⼊ > 代表例: IDiff-Face, DCFace, ID3, Arc2Face, UIFace - 主な限界・課題 > 多様性創出のために、専⽤ネットワークの学習、外部のスタイルバンク追加、あ るいは⼤量の属性ラベル（表情・年齢等）が必要 > 制御プロセスが極めて複雑になり、モデルの汎⽤性が損なわれる
14. 既存モデルのボトルネック - 同⼀性条件付き拡散モデルは多様性が乏しい - 固定の同⼀性埋め込みだけでは表情や⾓度の多様性が不⾜し、⼀貫性とのジレ ンマから顔認識モデルの実⽤的な精度が上がらない課題 Identity Consistency ⽣成される画像が同⼀⼈物に⾒え Intra-Class Variation Trade-off 表情、ポーズ、照明、年齢など。 るように、特徴埋め込みベクトル 顔認識システムが実世界でロバス を⼊⼒として強く条件付ける トであるために必要不可⽋な要素
15. 提案⼿法
16. ベースとなる⽣成の流れと IDPERTURB の介⼊点
17. 提案⼿法：IDPERTURB ID ベクトルを単位超球⾯上の円錐の中でランダムに回す。学習もラベルも不 要 - 従来：固定した 1 本の ID ベクトル𝑣を条件に、初期ノイズ 𝒛 ! だけを振って 𝐾枚 ⽣成 - 同⼀⼈物には⾒えるが、表情・姿勢・年齢がほとんど動かない $𝟏 ⋯ 𝒗 $𝑲 を作り、1 枚ごとに別の条件として - 提案：IDごとに 𝐾 本の摂動ベクトル 𝒗 与える - 摂動は「 𝒗 とのコサイン類似度 ≧ 𝑙𝑏（Lower Bound）」という円錐の内側に限定 - 幾何演算のみで追加の学習パラメータもモデル呼び出しもなし
18. Angular Sampling の定式化 "を作る ⽬標： 𝒗 とのなす⾓を制御しつつ、ランダムな摂動ベクトル 𝒗 1. ⽬標コサイン類似度を⼀様サンプル - 𝑠~𝑈 𝑙𝑏, 1 - 𝜃 = 𝑎𝑟𝑐 cos(𝑠) 2. ノイズ 𝑛~𝑁(0, 𝐈) を 𝒗 と直交する超平⾯へ射影 - 𝒖= !" !#𝒗 𝒗 !" !#𝒗 𝒗 ⋯ 𝒗に直交する単位ベクトル 3. 𝒗 と 𝒖 が張る平⾯内で θ だけ回す 7 = cos 𝜃 8 𝒗 + sin 𝜃 8 𝒖 - 𝒗
19. Angular Sampling の定式化 "を作る ⽬標： 𝒗 とのなす⾓を制御しつつ、ランダムな摂動ベクトル 𝒗 - 保証されること 7 =1 - ノルム保存： 𝒗 7, 𝒗 = cos 𝜃 = 𝑠 - ⾓度を厳密に制御： 𝒗 - 摂動なしと⼀致：𝜃 = 0のとき7 𝒗=𝒗
20. ハイパーパラメータ 𝑙𝑏 ―「どこまで回してよいか」 "のコサイン類似度の下限 ＝ 円錐の広さ - 𝑙𝑏 は 𝒗 と 𝒗 - 𝑙𝑏 → 1 ：摂動なしで従来⼿法と⼀致 - 𝒍𝒃が⼩さいほど多様性↑・同⼀性↓ - 𝒍𝒃が⼩さすぎる場合 7 が他の合成 ID の⽅に近づいてしまう - 𝒗 - 「⼈物 𝑗の顔なのにラベルは 𝑖」という壊れた学習 データになる
21. 𝒍𝒃 のもう⼀つの役割：ID ラベルを壊さないための安全弁 - 対策：𝒍𝒃 ← 𝒎𝒂𝒙 𝒍𝒃, 𝐦𝐚𝐱 𝐜𝐨𝐬 𝒋%𝒊 ∠(𝒗𝒊 ,𝒗𝒋 ) 𝟐 - ID ごとに下限を設定する - 摂動⾓は最近傍 ID との⾓度の半分までに制限される
22. 実験と結果
23. 実験設定 - ベース⽣成モデル：IDiff-Face（context dropout 25%）の公開 2 モデル - FFHQ（7 万枚）で学習したもの ／ CASIA-WebFace（C-WF, 49 万枚）で学習したもの - ⽣成データ：10,000 ID × 50 枚 = 0.5M 枚（⽐較⽤に 20,000 ID × 50 枚 = 1.0M 枚も） - DDIM 50 ステップ、CFG スケール ω = 1、乱数シード固定（1337） - 参照 ID の埋め込みは UIFace が公開したものを流⽤ - 顔認識モデル：ResNet-50 + CosFace（m = 0.35, s = 64）を 34 エポック学習 - 評価 - 精度：LFW / AgeDB-30 / CFP-FP / CA-LFW / CP-LFW の平均、および⼤規模な IJB-C - データ側：EER・FMR100・FDR（ID 分離性）、D_intra（多様性）・C_intra（⼀貫性）
24. 𝒍𝒃 を変えたときの顔認識（FR）精度 - 𝑙𝑏 = 0.4〜0.9 の全てでベースラインを上回る - C-WF ベース：91.25% → 93.62%（ 𝑙𝑏 = 0.6） - FFHQ ベース：86.58% → 88.79%（ 𝑙𝑏 = 0.5） - 最適は 𝑙𝑏 = 0.5〜0.6。下げすぎると同⼀性が 崩れて落ちる - 初期ノイズを振るだけでは届かない差が出る - 縦軸は 5 ベンチマークの平均
25. 多様性と⼀貫性のトレードオフ - 𝑙𝑏を下げると多様性は増え、⼀貫性は 下がる - 点線はそれぞれ実データ CASIAWebFace の⽔準 - 両者が釣り合うのは 𝒍𝒃 = 0.6
26. 多様性と⼀貫性のトレードオフ - 𝑙𝑏を下げると多様性は増え、⼀貫性は 下がる - 点線は摂動なしのベースライン 91.25% - 全ての𝑙𝑏でベースラインを上回る - 多様性と⼀貫性のバランスが取れた 𝒍𝒃 = 0.6 で顔認識精度が最⼤になる
27. 幾何学的な摂動が「表情・姿勢・年齢」の変化に - IDPERTURB は埋め込み空間の編集のみで画像側の属性が広がる - 年齢・表情・頭部姿勢のばらつきは、 𝑙𝑏 を下げるほど単調に増加 - 𝑙𝑏 = 0.6 では実データ C-WF と同⽔準に到達
28. CFG（Classifier-Free Guidance）のスケール𝜔 - CFG：画像の⽣成時に「指定したID らしさ」 を強める仕組み - 𝜔がその強さを決める - 𝝎を上げると同⼀性は強まるが、FR 精度は 𝝎＝𝟏~𝟐が頂点で、その先は下がる - 強めすぎると IDPERTURB で⾜した多様性が押 し戻され、似た顔ばかりになる - 同⼀性（CFG）と多様性（IDPERTURB）の 絶妙な調和（ω=1∼2）こそが、データセット の価値を決定する
29. 既存の最先端⼿法（SOTA）との対⽐ - C-WF 学習の DMにおいてSOTA の UIFaceを上回る精度 - 1.0M 枚に増やすと 94.48%となり、実データ C-WF（94.63%）との差は 0.15pt データの規模 ⼿法 データ⽣成⽅法 Avg C-WF 0.49M C-WF 0.5M C-WF UIFace 実データ IDPERTURB C-WF 1.0M UIFace IDPERTURB DM DM DM DM ※ Avg = LFW / AgeDB-30 / CFP-FP / CA-LFW / CP-LFW の 1:1 顔照合精度の平均（%） 94.63 93.27 93.62 94.06 94.48 ／ 「データの規模」＝ ⽣成モデルの学習データと⽣成枚数
30. 汎⽤性と適⽤コスト - 特定の⽣成モデルに依存しない - FFHQ 学習・C-WF 学習という独⽴した 2 つのベース DM で、どちらも⼀貫して改善 - ⽣成モデルの再学習、アーキテクチャ変更、属性ラベルはいずれも不要 - 追加コストはほぼゼロ - 1 つの ID を 50 回摂動するのに +0.01 秒（M3 CPU） - 拡散モデルのサンプリング時間に対して無視できる - 注意：論⽂が検証しているのは IDiff-Face 系の 2 モデルのみ - Arc2Face など他の ID 条件付きモデルへの適⽤は本論⽂の範囲外
31. まとめ - 課題：ID 条件付き拡散モデルの合成顔は「同⼀⼈物内の多様性」が乏しい - 提案：ID ベクトルを単位超球⾯上の円錐の中でランダムに回す（Angular Sampling） 7 = cos 𝜃 8 𝒗 + sin 𝜃 8 𝒖 - 𝑠~𝑈 𝑙𝑏, 1 → 𝜃 = 𝑎𝑟𝑐 cos(𝑠) 、直交⽅向 𝒖 をとって 𝒗 - 他 ID との衝突は 𝑙𝑏 を動的に引き上げることで回避 - 結果： 𝑙𝑏 = 0.6 で平均 93.62%（ベースライン 91.25%）、同条件の SOTA を上回る - 1.0M 枚まで増やすと 94.48% で、実データ 94.63% に⾁薄 - 埋め込みの「⾓度」を触るだけで、画像側の表情・姿勢・年齢が動く
32. 限界と所感 論⽂が挙げる限界 - 照明・表情などの属性を個別に制御できない → 顔認識以外の⽤途には向かない - ベースとなる拡散モデルの品質やバイアスをそのまま引き継ぐ - 𝑙𝑏 は下流タスクごとに経験的なチューニングが必要 所感 - シンプルさが強い。学習済みモデルに数⼗⾏⾜すだけで再現できる - 「分離性が⾼すぎる合成データは学習データとして弱い」という指摘が⽰唆的 - 𝑙𝑏 は全 ID 共通の固定値。ID ごとの最適化や⽣成後フィルタとの併⽤は伸びしろ
33. 補⾜
34. 補⾜：クラス内多様性・⼀貫性の指標の定義 - 年齢エントロピー：事前学習済みの年齢推定モデルで推定した年齢の、同⼀ ID 内の分布エントロピー - 表情エントロピー：事前学習済みの表情認識モデルで推定した表情の、同⼀ ID 内の分布エントロピー - ⼤きいほど、正⾯顔だけでなく斜め顔・横顔まで含まれる D_intra（知覚的多様性）：同⼀ ID 内の全画像ペアの LPIPS の平均 - - ⾼いほど、真顔に固定されず笑顔・驚きなどの表情変化が⽣まれている ヨー⾓ STD：事前学習済みの頭部姿勢推定モデルで推定した yaw / pitch / roll の、同⼀ ID 内の標準偏差 - ⾼いほど、同じ⼈物でも幅広い年齢層の顔が⽣成されている ⾼いほど、服装・照明・背景・髪型など「⾒た⽬」の情報が豊かにばらついている C_intra（クラス内⼀貫性）：特徴がクラス中⼼とのコサイン類似度 ≧ 0.3 となる画像の割合 - ⾼いほど「同じ⼈に⾒える」。D_intra とはトレードオフの関係にある
35. 補⾜：指標の実測値（論⽂ Table 2） - ベースは C-WF 学習の DM。lb を下げるほど 4 つの多様性指標はすべて単調に増加し、C_intra だけが単調に減少する 設定 年齢 Ent. ヨー⾓ STD ピッチ STD ロール STD 表情 Ent. D_intra C_intra FR 平均 実データ C-WF 0.354 23.479 9.069 5.154 0.589 0.423 0.948 94.63 摂動なし（ベースライン） 0.283 18.881 7.992 3.230 0.429 0.366 0.999 91.25 IDperturb lb=0.9 0.325 19.907 8.384 3.606 0.492 0.393 0.998 92.68 IDperturb lb=0.8 0.369 20.899 8.727 4.029 0.538 0.417 0.994 93.31 IDperturb lb=0.7 0.416 21.816 9.117 4.551 0.574 0.439 0.978 93.44 IDperturb lb=0.6 0.461 22.735 9.467 5.124 0.603 0.458 0.939 93.62 IDperturb lb=0.5 0.501 23.611 9.724 5.602 0.621 0.474 0.875 93.56 IDperturb lb=0.4 0.538 24.279 9.957 6.040 0.636 0.487 0.790 93.36 ※ 年齢・表情はエントロピー、ヨー/ピッチ/ロールは度数の標準偏差。D_intra は LPIPS ベース、C_intra は⾼いほど同⼀性が強い。FR 平均は 5 ベンチマークの平均精度（%）。
36. Sansan 技術本部 採⽤情報 https://media.sansan-engineering.com/
37. 会社概要
38. 出会いから イノベーションを⽣み出す
39. Sansan株式会社の働き⽅を変えるAXサービス ⽣産性を向上させ、企業のAI活⽤を最⼤化するデータベースとしても貢献できる 「働き⽅を変えるAXサービス」を提供します。 法⼈向け 個⼈向け 名刺データベースが、収益を最⼤化する 契約データベースが、利益を守る 「なくせる」をつくり、全社の働き⽅を変える 営業AXサービス 契約AXサービス 経理AXサービス 名刺アプリ 営業 契約 請求 名刺管理 データクオリティマネジメント 各サービスの活⽤で変わる働き⽅ 必要な情報を すぐに⾒つけられる 情報の管理がしやすく すぐに共有できる 情報を分析・活⽤しやすく データに基づいた判断ができる
40. Sansan株式会社の働き⽅を変えるAXサービス ⽣産性を向上させ、企業のAI活⽤を最⼤化するデータベースとしても貢献できる 「働き⽅を変えるAXサービス」を提供します。 法⼈向け 個⼈向け 名刺データベースが、収益を最⼤化する 契約データベースが、利益を守る 「なくせる」をつくり、全社の働き⽅を変える 営業AXサービス 契約AXサービス 経理AXサービス 名刺アプリ 営業 契約 請求 名刺管理 データクオリティマネジメント 設⽴ 資本⾦ 2007年6⽉ 73億58百万円 第三者 機関認証の 取得状況 （2026年5⽉31⽇時点） 上場証券取引所 事業 東京証券取引所 プライム市場 働き⽅を変えるAXサービスの 企画・開発・販売 拠点 ISO/IEC 27001（ISMS） ISO/IEC 27017 JIS Q 15001（Pマーク） ISMAP-LIU 本社 関⻄⽀店 福岡⽀店 中部⽀店 グループ企業 Sansan Global Pte. Ltd. （シンガポール） Sansan Global Development Center, Inc. （フィリピン） Sansan Global (Thailand) Co., Ltd.（タイ） ナインアウト株式会社 株式会社⾔語理解研究所 Eightキャリア株式会社
41. 会社概要 社名 Sansan株式会社 設⽴ 2007年6⽉11⽇ 従業員数 上場証券取引所 拠点 2,077名（2026年5⽉31⽇時点） 東京証券取引所 プライム市場 本社：東京都渋⾕区桜丘町1-1 渋⾕サクラステージ28F 関⻄⽀店、福岡⽀店、中部⽀店 サテライトオフィス グループ会社 Sansan神⼭ラボ、Sansan Innovation Lab、Sansan⻑岡ラボ Sansan Global Pte. Ltd. （シンガポール） Sansan Global Development Center, Inc. （フィリピン） Sansan Global (Thailand) Co., Ltd.（タイ） ナインアウト株式会社 株式会社⾔語理解研究所 Eightキャリア株式会社