誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術

by furyu-puri

Slide 1

Slide 1 text

1 © FURYU Corporation. 目を大きくするだけではない！プリントシール機における事例誰が写っても間違いなく"盛れる“ 理想の写真を実現する画像処理技術フリュー株式会社中嶋俊介

Slide 2

Slide 2 text

2 © FURYU Corporation. 自己紹介中嶋俊介フリュー株式会社プリントシール機事業部ソフトウエア開発部 2005年、株式会社フロム・ソフトウェア入社。「ARMORED CORE4」「meet-me」開発に携わる。 2013年、フリュー株式会社に入社。 2018年より、ソフトウエア開発画像処理技術リーダーを務める。

Slide 3

Slide 3 text

3 © FURYU Corporation. プリントシール機とは

Slide 4

Slide 4 text

4 © FURYU Corporation. プリントシール機とはアミューズメント施設などに設置される写真シール作成機です。通称「プリ機」、さらに縮めて「プリ」とも呼びます。

Slide 5

Slide 5 text

5 © FURYU Corporation. プリントシール機とは・ゲームの流れまず外側でコインを入れます。そして、仕上がりコースや背景の柄などを選びます。

Slide 6

Slide 6 text

6 © FURYU Corporation. プリントシール機とは・ゲームの流れ中に入り、カメラの前でポーズをとって撮影します。 5～8枚撮影し、動画が撮れる機種もあります。

Slide 7

Slide 7 text

7 © FURYU Corporation. プリントシール機とは・ゲームの流れ撮影が終わったら、外に出て落書きコーナーへ。ペンで落書きしたり、メイクアップ機能で装飾します。

Slide 8

Slide 8 text

8 © FURYU Corporation. プリントシール機とは・ゲームの流れ落書きが終わったらシールが印刷されます。画像の送信も行い、スマートフォンで取得できます。

Slide 9

Slide 9 text

9 © FURYU Corporation. プリントシール機とは・プリ文化の広まり主なユーザーは若年層（中、高、大）の女性で、撮影経験のある女子高生は実に97.9%に上ります。

Slide 10

Slide 10 text

10 © FURYU Corporation. プリントシール機とは・機種の多様性

Slide 11

Slide 11 text

11 © FURYU Corporation. プリントシール機とは・機種の多様性なぜこれだけ多様な機種が開発されているのか？どういった点が支持されているのか？そのキーワードは“盛れる”にあります。

Slide 12

Slide 12 text

12 © FURYU Corporation. ”盛れる”とは

Slide 13

Slide 13 text

13 © FURYU Corporation. ”盛れる”とは・盛る：加工する（行動）・盛れてる：理想的に加工できている(状態）・盛れる：理想的に加工できる（道具）「盛れる」とは普段の自分をより理想の自分に近づけるためになにかしらの加工ができること。

Slide 14

Slide 14 text

14 © FURYU Corporation. ”盛れる”とは例：「このプリ、めっちゃ盛れるよ」 (訳：このプリ、とても理想顔に加工されるよ）プリ機のユーザーは、それぞれ自分の理想像を持ち、それに近づくことを求めているのです。自分の顔のパーツのまま写ってる感じこれがあるから自然に盛れてる感じする全体的に顔がキュッと小さくなって動物みたいでかわいいのが好き ※ユーザーアンケートから抜粋コンプレックスを調整してくれるのがいい

Slide 15

Slide 15 text

15 © FURYU Corporation. ”盛れる”とはプリに多様なバリエーションがある理由… それは、ユーザーそれぞれの異なった“盛れる”理想像に応じて、プリもまた多様に進化してきたからです。

Slide 16

Slide 16 text

16 © FURYU Corporation. ”盛れる”とは・プリの掲げる様々な理想像透明感のある写りを重視して、肌はきめ細かさ、目は輝きを追求可愛さを表現することを重視、目は丸み、肌は柔らかさを訴求

Slide 17

Slide 17 text

17 © FURYU Corporation. ”盛れる”とは・理想像を実現する画像処理プリの掲げる様々な理想像、それを実現するために、どのような画像処理を行っているのか、ここからは詳しく見ていきます。

Slide 18

Slide 18 text

18 © FURYU Corporation. 画像処理の構成

Slide 19

Slide 19 text

19 © FURYU Corporation. 画像処理の構成・撮影カメラで撮影された画像は、プリ機に搭載されているパソコンに保存されます。画像の解像度は4000×6000px以上になります。

Slide 20

Slide 20 text

20 © FURYU Corporation. 画像処理の構成・顔の検出画像が取得できたら、顔の検出を行います。目や口といった特徴点や輪郭情報を取得します。

Slide 21

Slide 21 text

21 © FURYU Corporation. 画像処理の構成・顔の部位変形検出された情報をもとに、顔の形状を整えたり、目や鼻、口などの部位単位で変形を行います。

Slide 22

Slide 22 text

22 © FURYU Corporation. 画像処理の構成・領域抽出処理する部位を領域として抽出していきます。目・唇など大きなものから、涙袋といった細かいものまで、約５０種類以上の領域を作成します。目領域唇領域涙袋

Slide 23

Slide 23 text

23 © FURYU Corporation. 画像処理の構成・補正処理抽出した領域を元に、細かな補正をしていきます。肌を綺麗にしたり、影やツヤを抑えたり… この仕上がりが、機種ごとの特徴が最も出る部分です。

Slide 24

Slide 24 text

24 © FURYU Corporation. 画像処理の構成・完成全体的なトーンや明るさ調整を施したら完成です。こうした処理を経て、写真はユーザーに届けられます。

Slide 25

Slide 25 text

25 © FURYU Corporation. 画像処理の構成ここまで、どのような工程を経て写真を理想像に近づけていくか、を見てきました。しかし、こうした画像処理を実現するためには、プリ固有の技術的な課題がありました。それをこれからご説明します。

Slide 26

Slide 26 text

26 © FURYU Corporation. 画像処理を実現するための壁

Slide 27

Slide 27 text

27 © FURYU Corporation. 画像処理を実現するための壁・プリならではの制約それは、すべての処理の内容を、画像から全てを自動的に判断しなければならない、ということです。

Slide 28

Slide 28 text

28 © FURYU Corporation. 画像処理を実現するための壁・プリならではの制約一般的なレタッチソフトやカメラアプリであれば、ユーザーが自分で画像を見ながら、対話的に操作して仕上げることができます。しかし、プリではユーザーが操作することなく、撮影された画像の情報のみを使用して、画像を仕上げなければならないのです。

Slide 29

Slide 29 text

29 © FURYU Corporation. 画像処理を実現するための壁・様々なユーザー、様々な写り方プリを撮るユーザーの特徴は様々です。顔かたちがそれぞれ異なるように、肌の色やツヤの状態も異なります。また、ユーザーによって写り方も様々です。カメラからの距離、顔の角度や向き、ポーズなど…

Slide 30

Slide 30 text

30 © FURYU Corporation. 画像処理を実現するための壁・様々な被写体を、理想の状態へそうした様々な状態の画像に対して、商品の掲げる理想像に近づけることが求められる、それが、プリの画像処理にとって大きな壁となります。

Slide 31

Slide 31 text

31 © FURYU Corporation. 画像処理を実現するための壁・様々な被写体を、理想の状態へそこで今回は、１．「誰が写っても」２．「どんな写り方をしても」という２つのポイントを例に挙げ、実現のための具体的な技法をご紹介します。

Slide 32

Slide 32 text

32 © FURYU Corporation. 「誰が写っても」を実現する技術

Slide 33

Slide 33 text

33 © FURYU Corporation. 「誰が写っても」を実現する・肌の色の個人差比較しないと気づきにくい差ではありますが、肌の色は人によって微妙に異なります。

Slide 34

Slide 34 text

34 © FURYU Corporation. 「誰が写っても」を実現する・肌の色の個人差比較しないと気づきにくい差ではありますが、肌の色は人によって微妙に異なります。 RGB 224, 183, 152 RGB 250, 192, 173 赤み／マット黄色み／ツヤ

Slide 35

Slide 35 text

35 © FURYU Corporation. 「誰が写っても」を実現する・肌の色の個人差もし、これをそのまま一律に色調補正した場合、理想に合わない色になってしまうケースが生まれます。光り方を抑えて赤みを強めたい

Slide 36

Slide 36 text

36 © FURYU Corporation. 「誰が写っても」を実現する・肌の色の個人差もし、これをそのまま一律に色調補正した場合、理想に合わない色になってしまうケースが生まれます。

Slide 37

Slide 37 text

37 © FURYU Corporation. 「誰が写っても」を実現する・肌の色の個人差もし、これをそのまま一律に色調補正した場合、理想に合わない色になってしまうケースが生まれます。頬の赤みが効きすぎている陰影が不自然に強調されてしまう

Slide 38

Slide 38 text

38 © FURYU Corporation. 「誰が写っても」を実現する・解決策：個別の肌補正個人ごとの肌の特徴を掴んで、それぞれに最適な処理を施すことができれば… そのために「個別肌補正」の処理を開発しました。

Slide 39

Slide 39 text

39 © FURYU Corporation. 「誰が写っても」を実現する・個人の肌ごとに色を分析まず、被写体を個人ごとに識別します。そして、それぞれの肌領域からサンプリングを行い、基準とする彩度(H)/色相(S)/輝度(V)を設定します。輝度と色相輝度と彩度色相と彩度肌に相当する彩度/色相/輝度を注目対象とする

Slide 40

Slide 40 text

40 © FURYU Corporation. 「誰が写っても」を実現する・個別に補正量を算定彩度/色相/輝度の各要素について、理想となる目標値を設定し、個人ごとに算出した基準値と照らして、それぞれに適切な補正値を算定します。目標HSV 22, 81, 232 補正量 -14, 0, +8 対象HSV 36, 81, 224 対象HSV 21, 91, 232 補正量 +1, -10, 0

Slide 41

Slide 41 text

41 © FURYU Corporation. 「誰が写っても」を実現する・個別の色調補正個人ごとの肌領域に対し、彩度/色相/輝度のそれぞれについて、画素の色調を前段で求めた補正値に近づけるよう、シフトして補正します。補正量 -14, 0, +8 彩度/色相/輝度の各要素を目標値に近づくようにシフトしている

Slide 42

Slide 42 text

42 © FURYU Corporation. 「誰が写っても」を実現する・効果これにより、個人ごとに肌の色に差がある場合でも、それぞれを理想の肌色に近づけることができました。 Before

Slide 43

Slide 43 text

43 © FURYU Corporation. 「誰が写っても」を実現する・効果これにより、個人ごとに肌の色に差がある場合でも、それぞれを理想の肌色に近づけることができました。 After

Slide 44

Slide 44 text

44 © FURYU Corporation. 「誰が写っても」を実現する・効果これにより、個人ごとに肌の色に差がある場合でも、それぞれを理想の肌色に近づけることができました。 After 赤みの入り方が強すぎず自然に陰影が強調されずに光を抑えている

Slide 45

Slide 45 text

45 © FURYU Corporation. 「誰が写っても」を実現する・まとめ・ユーザーはそれぞれ肌の色やツヤに個人差があり、一律な処理では理想像の実現が難しくなります。・「誰が写っても」を実現するためには、各個人に合わせて細やかに調整できるようなシステムを用意することが重要になります。

Slide 46

Slide 46 text

46 © FURYU Corporation. 「どんな写り方をしても」を実現する技術

Slide 47

Slide 47 text

47 © FURYU Corporation. 「どんな写り方をしても」を実現する・目の理想を追求する目は人物写真の中でも強く印象を残す要素です。様々な状態の目に対して、理想の形に近づける処理が求められます。

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

Slide 53

Slide 53 text

53 © FURYU Corporation. 「どんな写り方をしても」を実現する・目の領域分析の効果このように領域を抽出して、それぞれに細かな調整を施すことで、パーツ単位で理想の状態に近づけることができます。白目のトーンを締める黒目の濃さに深みをまつ毛のコントラストを強く After

Slide 54

Slide 54 text

Slide 55

Slide 55 text

55 © FURYU Corporation. 「どんな写り方をしても」を実現する・目の領域分析の課題しかし、ユーザーの目の状態や写り方によっては、形状分析が難しいケースが存在します。黒目に光が入り込み、白目と色の差がないカラコンの色によって、黒目の色が識別し難い前髪が重なっていて、まつ毛と境界が取れない

Slide 56

Slide 56 text

Slide 57

Slide 57 text

57 © FURYU Corporation. 「どんな写り方をしても」を実現する・目分析の手順目の周辺領域を切り出して、領域分割 (Semantic Segmentation)を行います。これにより、目の各部を黒目・白目・周辺領域… といった細部に分類した結果が得られます。

Slide 58

Slide 58 text

Slide 59

Slide 59 text

59 © FURYU Corporation. 「どんな写り方をしても」を実現する・学習データの生成学習には、5000枚以上の画像を使用し、それぞれに対しラベル付けを行い教師データを作成。これは、定期的に実施しているユーザーアンケート結果の蓄積により可能になりました。

Slide 60

Slide 60 text

Slide 61

Slide 61 text

Slide 62

Slide 62 text

62 © FURYU Corporation. 「どんな写り方をしても」を実現する・効果これによって、様々な状態の目に対しても、正確な形状把握ができるようになりました。光が入り込んだ部分も黒目として認識されるカラコン部分であっても正確な黒目形状に前髪が重なった部分は目の領域からは除外

Slide 63

Slide 63 text

63 © FURYU Corporation. 「どんな写り方をしても」を実現する・領域分析の波及機械学習による形状分析は今ホットな分野であり、目の部位のほかにも、唇の形や目の光領域といった、様々な分野で応用が進んでいます。唇の領域抽出目の光領域抽出

Slide 64

Slide 64 text

64 © FURYU Corporation. 「どんな写り方をしても」を実現する・領域分析の波及機械学習による形状分析は今ホットな分野であり、目の部位のほかにも、唇の形や目の光領域といった、様々な分野で応用が進んでいます。唇の領域抽出目の光領域抽出

Slide 65

Slide 65 text

65 © FURYU Corporation. ・まとめ・「どんな写り方をしても」理想像に近づけるために、パーツごとに対応した細かな調整が重要です。・それには各種領域を正確に把握することが必要で、そのために領域分析の技術を発展させてきました。「どんな写り方をしても」を実現する

Slide 66

Slide 66 text

Slide 67

Slide 67 text

67 © FURYU Corporation. おわりに・まとめ・プリ機はユーザーの求める理想像、 "盛れる"を実現するために進化してきました。・“盛れる”にはどんな人がどんな写り方をしても、理想像に近い仕上がりになる事が重要になります。・それを実現するための技法の例として、「個別肌補正」と「目の領域分析」をご紹介しました。

Slide 68

Slide 68 text

68 © FURYU Corporation. おわりに・おわりにプリの画像処理は、一般的なゲームの技術と違って、女性向けの写真加工に進化した独特の世界です。しかし、様々な制約の中、理想像を届けるという点で、技術的に重なる部分の多い世界でもあると考えます。今回ご紹介したこの世界の一端が、皆様の助けになりましたら幸いです。