誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術

CEDEC2022で発表した資料です。

Transcript

1. 1 © FURYU Corporation. 目を大きくするだけではない！ プリントシール機における事例 誰が写っても間違いなく"盛れる“ 理想の写真を実現する画像処理技術 フリュー株式会社 中嶋 俊介
2. 2 © FURYU Corporation. 自己紹介 中嶋 俊介 フリュー株式会社 プリントシール機事業部 ソフトウエア開発部 2005年、株式会社フロム・ソフトウェア入社。 「ARMORED CORE4」「meet-me」開発に携わる。 2013年、フリュー株式会社に入社。 2018年より、ソフトウエア開発 画像処理技術リーダーを務める。
3. 3 © FURYU Corporation. プリントシール機とは
4. 4 © FURYU Corporation. プリントシール機とは アミューズメント施設などに 設置される写真シール作成機です。 通称「プリ機」、 さらに縮めて「プリ」とも呼びます。
5. 5 © FURYU Corporation. プリントシール機とは ・ゲームの流れ まず外側でコインを入れます。 そして、仕上がりコースや背景の柄などを選びます。
6. 6 © FURYU Corporation. プリントシール機とは ・ゲームの流れ 中に入り、カメラの前でポーズをとって撮影します。 5～8枚撮影し、動画が撮れる機種もあります。
7. 7 © FURYU Corporation. プリントシール機とは ・ゲームの流れ 撮影が終わったら、外に出て落書きコーナーへ。 ペンで落書きしたり、メイクアップ機能で装飾します。
8. 8 © FURYU Corporation. プリントシール機とは ・ゲームの流れ 落書きが終わったらシールが印刷されます。 画像の送信も行い、スマートフォンで取得できます。
9. 9 © FURYU Corporation. プリントシール機とは ・プリ文化の広まり 主なユーザーは若年層（中、高、大）の女性で、 撮影経験のある女子高生は実に97.9%に上ります。
10. 10 © FURYU Corporation. プリントシール機とは ・機種の多様性
11. 11 © FURYU Corporation. プリントシール機とは ・機種の多様性 なぜこれだけ多様な機種が開発されているのか？ どういった点が支持されているのか？ そのキーワードは“盛れる”にあります。
12. 12 © FURYU Corporation. ”盛れる”とは
13. 13 © FURYU Corporation. ”盛れる”とは ・盛る ：加工する（行動） ・盛れてる ：理想的に加工できている(状態） ・盛れる ：理想的に加工できる（道具） 「盛れる」とは普段の自分をより理想の自分に 近づけるためになにかしらの加工ができること。
14. 14 © FURYU Corporation. ”盛れる”とは 例：「このプリ、めっちゃ盛れるよ」 (訳：このプリ、とても理想顔に加工されるよ） プリ機のユーザーは、それぞれ自分の理想像を持ち、 それに近づくことを求めているのです。 自分の顔のパーツのまま写ってる感じ これがあるから自然に盛れてる感じする 全体的に顔がキュッと小さくなって 動物みたいでかわいいのが好き ※ユーザーアンケートから抜粋 コンプレックスを調整してくれるのがいい
15. 15 © FURYU Corporation. ”盛れる”とは プリに多様なバリエーションがある理由… それは、ユーザーそれぞれの異なった“盛れる”理想像 に応じて、プリもまた多様に進化してきたからです。
16. 16 © FURYU Corporation. ”盛れる”とは ・プリの掲げる様々な理想像 透明感のある写りを重視して、 肌はきめ細かさ、目は輝きを追求 可愛さを表現することを重視、 目は丸み、肌は柔らかさを訴求
17. 17 © FURYU Corporation. ”盛れる”とは ・理想像を実現する画像処理 プリの掲げる様々な理想像、 それを実現するために、 どのような画像処理を行っているのか、 ここからは詳しく見ていきます。
18. 18 © FURYU Corporation. 画像処理の構成
19. 19 © FURYU Corporation. 画像処理の構成 ・撮影 カメラで撮影された画像は、 プリ機に搭載されているパソコンに保存されます。 画像の解像度は4000×6000px以上になります。
20. 20 © FURYU Corporation. 画像処理の構成 ・顔の検出 画像が取得できたら、顔の検出を行います。 目や口といった特徴点や輪郭情報を取得します。
21. 21 © FURYU Corporation. 画像処理の構成 ・顔の部位変形 検出された情報をもとに、顔の形状を整えたり、 目や鼻、口などの部位単位で変形を行います。
22. 22 © FURYU Corporation. 画像処理の構成 ・領域抽出 処理する部位を領域として抽出していきます。 目・唇など大きなものから、涙袋といった 細かいものまで、約５０種類以上の領域を作成します。 目領域 唇領域 涙袋
23. 23 © FURYU Corporation. 画像処理の構成 ・補正処理 抽出した領域を元に、細かな補正をしていきます。 肌を綺麗にしたり、影やツヤを抑えたり… この仕上がりが、機種ごとの特徴が最も出る部分です。
24. 24 © FURYU Corporation. 画像処理の構成 ・完成 全体的なトーンや明るさ調整を施したら完成です。 こうした処理を経て、写真はユーザーに届けられます。
25. 25 © FURYU Corporation. 画像処理の構成 ここまで、どのような工程を経て 写真を理想像に近づけていくか、を見てきました。 しかし、こうした画像処理を実現するためには、 プリ固有の技術的な課題がありました。 それをこれからご説明します。
26. 26 © FURYU Corporation. 画像処理を実現するための壁
27. 27 © FURYU Corporation. 画像処理を実現するための壁 ・プリならではの制約 それは、すべての処理の内容を、 画像から全てを自動的に 判断しなければならない、ということです。
28. 28 © FURYU Corporation. 画像処理を実現するための壁 ・プリならではの制約 一般的なレタッチソフトやカメラアプリであれば、 ユーザーが自分で画像を見ながら、 対話的に操作して仕上げることができます。 しかし、プリではユーザーが操作することなく、 撮影された画像の情報のみを使用して、 画像を仕上げなければならないのです。
29. 29 © FURYU Corporation. 画像処理を実現するための壁 ・様々なユーザー、様々な写り方 プリを撮るユーザーの特徴は様々です。 顔かたちがそれぞれ異なるように、 肌の色やツヤの状態も異なります。 また、ユーザーによって写り方も様々です。 カメラからの距離、顔の角度や向き、ポーズなど…
30. 30 © FURYU Corporation. 画像処理を実現するための壁 ・様々な被写体を、理想の状態へ そうした様々な状態の画像に対して、 商品の掲げる理想像に近づけることが求められる、 それが、プリの画像処理にとって大きな壁となります。
31. 31 © FURYU Corporation. 画像処理を実現するための壁 ・様々な被写体を、理想の状態へ そこで今回は、 １．「誰が写っても」 ２．「どんな写り方をしても」 という２つのポイントを例に挙げ、 実現のための具体的な技法をご紹介します。
32. 32 © FURYU Corporation. 「誰が写っても」を実現する技術
33. 33 © FURYU Corporation. 「誰が写っても」を実現する ・肌の色の個人差 比較しないと気づきにくい差ではありますが、 肌の色は人によって微妙に異なります。
34. 34 © FURYU Corporation. 「誰が写っても」を実現する ・肌の色の個人差 比較しないと気づきにくい差ではありますが、 肌の色は人によって微妙に異なります。 RGB 224, 183, 152 RGB 250, 192, 173 赤み／マット 黄色み／ツヤ
35. 35 © FURYU Corporation. 「誰が写っても」を実現する ・肌の色の個人差 もし、これをそのまま一律に色調補正した場合、 理想に合わない色になってしまうケースが生まれます。 光り方を抑えて 赤みを強めたい
36. 36 © FURYU Corporation. 「誰が写っても」を実現する ・肌の色の個人差 もし、これをそのまま一律に色調補正した場合、 理想に合わない色になってしまうケースが生まれます。
37. 37 © FURYU Corporation. 「誰が写っても」を実現する ・肌の色の個人差 もし、これをそのまま一律に色調補正した場合、 理想に合わない色になってしまうケースが生まれます。 頬の赤みが 効きすぎている 陰影が不自然に 強調されてしまう
38. 38 © FURYU Corporation. 「誰が写っても」を実現する ・解決策：個別の肌補正 個人ごとの肌の特徴を掴んで、 それぞれに最適な処理を施すことができれば… そのために「個別肌補正」の処理を開発しました。
39. 39 © FURYU Corporation. 「誰が写っても」を実現する ・個人の肌ごとに色を分析 まず、被写体を個人ごとに識別します。 そして、それぞれの肌領域からサンプリングを行い、 基準とする彩度(H)/色相(S)/輝度(V)を設定します。 輝度と色相 輝度と彩度 色相と彩度 肌に相当する 彩度/色相/輝度 を注目対象とする
40. 40 © FURYU Corporation. 「誰が写っても」を実現する ・個別に補正量を算定 彩度/色相/輝度の各要素について、 理想となる目標値を設定し、個人ごとに算出した基準 値と照らして、それぞれに適切な補正値を算定します。 目標HSV 22, 81, 232 補正量 -14, 0, +8 対象HSV 36, 81, 224 対象HSV 21, 91, 232 補正量 +1, -10, 0
41. 41 © FURYU Corporation. 「誰が写っても」を実現する ・個別の色調補正 個人ごとの肌領域に対し、彩度/色相/輝度のそれぞ れについて、画素の色調を前段で求めた補正値に近 づけるよう、シフトして補正します。 補正量 -14, 0, +8 彩度/色相/輝度の各要素を 目標値に近づくように シフトしている
42. 42 © FURYU Corporation. 「誰が写っても」を実現する ・効果 これにより、個人ごとに肌の色に差がある場合でも、 それぞれを理想の肌色に近づけることができました。 Before
43. 43 © FURYU Corporation. 「誰が写っても」を実現する ・効果 これにより、個人ごとに肌の色に差がある場合でも、 それぞれを理想の肌色に近づけることができました。 After
44. 44 © FURYU Corporation. 「誰が写っても」を実現する ・効果 これにより、個人ごとに肌の色に差がある場合でも、 それぞれを理想の肌色に近づけることができました。 After 赤みの入り方が 強すぎず自然に 陰影が強調されずに 光を抑えている
45. 45 © FURYU Corporation. 「誰が写っても」を実現する ・まとめ ・ユーザーはそれぞれ肌の色やツヤに個人差があり、 一律な処理では理想像の実現が難しくなります。 ・「誰が写っても」を実現するためには、 各個人に合わせて細やかに調整できるような システムを用意することが重要になります。
46. 46 © FURYU Corporation. 「どんな写り方をしても」を実現する技術
47. 47 © FURYU Corporation. 「どんな写り方をしても」を実現する ・目の理想を追求する 目は人物写真の中でも強く印象を残す要素です。 様々な状態の目に対して、 理想の形に近づける処理が求められます。
48. 48 © FURYU Corporation. 「どんな写り方をしても」を実現する ・目の領域分析 そこで、色々な写り方をした目に対応するため、 目の周辺を細かいパーツとして分析し、 それぞれの領域を抽出する手法を開発しました。
49. 49 © FURYU Corporation. 「どんな写り方をしても」を実現する ・目の領域分析の例 白目と黒目の領域抽出 白目の領域 黒の色相領域から、 円範囲を抽出 目の周辺から、 白目に近い色相範囲を抽出 黒目の領域
50. 50 © FURYU Corporation. 「どんな写り方をしても」を実現する ・目の領域分析の例 まつ毛の領域抽出 エッジを抽出する 目の内部を除外して まつ毛を取り出す
51. 51 © FURYU Corporation. 「どんな写り方をしても」を実現する ・目の領域分析の効果 このように領域を抽出して、 それぞれに細かな調整を施すことで、 パーツ単位で理想の状態に近づけることができます。 Before
52. 52 © FURYU Corporation. 「どんな写り方をしても」を実現する ・目の領域分析の効果 このように領域を抽出して、 それぞれに細かな調整を施すことで、 パーツ単位で理想の状態に近づけることができます。 After
53. 53 © FURYU Corporation. 「どんな写り方をしても」を実現する ・目の領域分析の効果 このように領域を抽出して、 それぞれに細かな調整を施すことで、 パーツ単位で理想の状態に近づけることができます。 白目のトーンを締める 黒目の濃さに深みを まつ毛のコントラストを強く After
54. 54 © FURYU Corporation. 「どんな写り方をしても」を実現する ・目の領域分析の課題 しかし、ユーザーの目の状態や写り方によっては、 形状分析が難しいケースが存在します。
55. 55 © FURYU Corporation. 「どんな写り方をしても」を実現する ・目の領域分析の課題 しかし、ユーザーの目の状態や写り方によっては、 形状分析が難しいケースが存在します。 黒目に光が入り込み、 白目と色の差がない カラコンの色によって、 黒目の色が識別し難い 前髪が重なっていて、 まつ毛と境界が取れない
56. 56 © FURYU Corporation. 「どんな写り方をしても」を実現する ・機械学習による形状分析 こうした様々な状況に対して、 さらに正確な形状把握を行うため、 機械学習を利用した目の形状分析を導入しました。
57. 57 © FURYU Corporation. 「どんな写り方をしても」を実現する ・目分析の手順 目の周辺領域を切り出して、領域分割 (Semantic Segmentation)を行います。 これにより、目の各部を黒目・白目・周辺領域… といった細部に分類した結果が得られます。
58. 58 © FURYU Corporation. 「どんな写り方をしても」を実現する ・領域分割の詳細 領域分割の実行にはTensorFlow/Kerasを採用。 処理はGPUではなく、全てCPUで実施しています。 （GPUは画面描画を優先するため）
59. 59 © FURYU Corporation. 「どんな写り方をしても」を実現する ・学習データの生成 学習には、5000枚以上の画像を使用し、 それぞれに対しラベル付けを行い教師データを作成。 これは、定期的に実施しているユーザーアンケート結 果の蓄積により可能になりました。
60. 60 © FURYU Corporation. 「どんな写り方をしても」を実現する ・効果 これによって、様々な状態の目に対しても、 正確な形状把握ができるようになりました。
61. 61 © FURYU Corporation. 「どんな写り方をしても」を実現する ・効果 これによって、様々な状態の目に対しても、 正確な形状把握ができるようになりました。
62. 62 © FURYU Corporation. 「どんな写り方をしても」を実現する ・効果 これによって、様々な状態の目に対しても、 正確な形状把握ができるようになりました。 光が入り込んだ部分も 黒目として認識される カラコン部分であっても 正確な黒目形状に 前髪が重なった部分は 目の領域からは除外
63. 63 © FURYU Corporation. 「どんな写り方をしても」を実現する ・領域分析の波及 機械学習による形状分析は今ホットな分野であり、 目の部位のほかにも、唇の形や目の光領域といった、 様々な分野で応用が進んでいます。 唇の領域抽出 目の光領域抽出
64. 64 © FURYU Corporation. 「どんな写り方をしても」を実現する ・領域分析の波及 機械学習による形状分析は今ホットな分野であり、 目の部位のほかにも、唇の形や目の光領域といった、 様々な分野で応用が進んでいます。 唇の領域抽出 目の光領域抽出
65. 65 © FURYU Corporation. ・まとめ ・「どんな写り方をしても」理想像に近づけるために、 パーツごとに対応した細かな調整が重要です。 ・それには各種領域を正確に把握することが必要で、 そのために領域分析の技術を発展させてきました。 「どんな写り方をしても」を実現する
66. 66 © FURYU Corporation. おわりに
67. 67 © FURYU Corporation. おわりに ・まとめ ・プリ機はユーザーの求める理想像、 "盛れる"を実現するために進化してきました。 ・“盛れる”にはどんな人がどんな写り方をしても、 理想像に近い仕上がりになる事が重要になります。 ・それを実現するための技法の例として、 「個別肌補正」と「目の領域分析」をご紹介しました。
68. 68 © FURYU Corporation. おわりに ・おわりに プリの画像処理は、一般的なゲームの技術と違って、 女性向けの写真加工に進化した独特の世界です。 しかし、様々な制約の中、理想像を届けるという点で、 技術的に重なる部分の多い世界でもあると考えます。 今回ご紹介したこの世界の一端が、 皆様の助けになりましたら幸いです。
69. 69 © FURYU Corporation. ありがとうございました