CEDEC2022で発表した資料です。
1© FURYU Corporation.目を大きくするだけではない！プリントシール機における事例誰が写っても間違いなく"盛れる“理想の写真を実現する画像処理技術フリュー株式会社 中嶋 俊介
View Slide
2© FURYU Corporation.自己紹介中嶋 俊介フリュー株式会社プリントシール機事業部 ソフトウエア開発部2005年、株式会社フロム・ソフトウェア入社。「ARMORED CORE4」「meet-me」開発に携わる。2013年、フリュー株式会社に入社。2018年より、ソフトウエア開発画像処理技術リーダーを務める。
3© FURYU Corporation.プリントシール機とは
4© FURYU Corporation.プリントシール機とはアミューズメント施設などに設置される写真シール作成機です。通称「プリ機」、さらに縮めて「プリ」とも呼びます。
5© FURYU Corporation.プリントシール機とは・ゲームの流れまず外側でコインを入れます。そして、仕上がりコースや背景の柄などを選びます。
6© FURYU Corporation.プリントシール機とは・ゲームの流れ中に入り、カメラの前でポーズをとって撮影します。5～8枚撮影し、動画が撮れる機種もあります。
7© FURYU Corporation.プリントシール機とは・ゲームの流れ撮影が終わったら、外に出て落書きコーナーへ。ペンで落書きしたり、メイクアップ機能で装飾します。
8© FURYU Corporation.プリントシール機とは・ゲームの流れ落書きが終わったらシールが印刷されます。画像の送信も行い、スマートフォンで取得できます。
9© FURYU Corporation.プリントシール機とは・プリ文化の広まり主なユーザーは若年層（中、高、大）の女性で、撮影経験のある女子高生は実に97.9%に上ります。
10© FURYU Corporation.プリントシール機とは・機種の多様性
11© FURYU Corporation.プリントシール機とは・機種の多様性なぜこれだけ多様な機種が開発されているのか？どういった点が支持されているのか？そのキーワードは“盛れる”にあります。
12© FURYU Corporation.”盛れる”とは
13© FURYU Corporation.”盛れる”とは・盛る ：加工する（行動）・盛れてる ：理想的に加工できている(状態）・盛れる ：理想的に加工できる（道具）「盛れる」とは普段の自分をより理想の自分に近づけるためになにかしらの加工ができること。
14© FURYU Corporation.”盛れる”とは例：「このプリ、めっちゃ盛れるよ」(訳：このプリ、とても理想顔に加工されるよ）プリ機のユーザーは、それぞれ自分の理想像を持ち、それに近づくことを求めているのです。自分の顔のパーツのまま写ってる感じこれがあるから自然に盛れてる感じする全体的に顔がキュッと小さくなって動物みたいでかわいいのが好き※ユーザーアンケートから抜粋コンプレックスを調整してくれるのがいい
15© FURYU Corporation.”盛れる”とはプリに多様なバリエーションがある理由…それは、ユーザーそれぞれの異なった“盛れる”理想像に応じて、プリもまた多様に進化してきたからです。
16© FURYU Corporation.”盛れる”とは・プリの掲げる様々な理想像透明感のある写りを重視して、肌はきめ細かさ、目は輝きを追求可愛さを表現することを重視、目は丸み、肌は柔らかさを訴求
17© FURYU Corporation.”盛れる”とは・理想像を実現する画像処理プリの掲げる様々な理想像、それを実現するために、どのような画像処理を行っているのか、ここからは詳しく見ていきます。
18© FURYU Corporation.画像処理の構成
19© FURYU Corporation.画像処理の構成・撮影カメラで撮影された画像は、プリ機に搭載されているパソコンに保存されます。画像の解像度は4000×6000px以上になります。
20© FURYU Corporation.画像処理の構成・顔の検出画像が取得できたら、顔の検出を行います。目や口といった特徴点や輪郭情報を取得します。
21© FURYU Corporation.画像処理の構成・顔の部位変形検出された情報をもとに、顔の形状を整えたり、目や鼻、口などの部位単位で変形を行います。
22© FURYU Corporation.画像処理の構成・領域抽出処理する部位を領域として抽出していきます。目・唇など大きなものから、涙袋といった細かいものまで、約５０種類以上の領域を作成します。目領域 唇領域 涙袋
23© FURYU Corporation.画像処理の構成・補正処理抽出した領域を元に、細かな補正をしていきます。肌を綺麗にしたり、影やツヤを抑えたり…この仕上がりが、機種ごとの特徴が最も出る部分です。
24© FURYU Corporation.画像処理の構成・完成全体的なトーンや明るさ調整を施したら完成です。こうした処理を経て、写真はユーザーに届けられます。
25© FURYU Corporation.画像処理の構成ここまで、どのような工程を経て写真を理想像に近づけていくか、を見てきました。しかし、こうした画像処理を実現するためには、プリ固有の技術的な課題がありました。それをこれからご説明します。
26© FURYU Corporation.画像処理を実現するための壁
27© FURYU Corporation.画像処理を実現するための壁・プリならではの制約それは、すべての処理の内容を、画像から全てを自動的に判断しなければならない、ということです。
28© FURYU Corporation.画像処理を実現するための壁・プリならではの制約一般的なレタッチソフトやカメラアプリであれば、ユーザーが自分で画像を見ながら、対話的に操作して仕上げることができます。しかし、プリではユーザーが操作することなく、撮影された画像の情報のみを使用して、画像を仕上げなければならないのです。
29© FURYU Corporation.画像処理を実現するための壁・様々なユーザー、様々な写り方プリを撮るユーザーの特徴は様々です。顔かたちがそれぞれ異なるように、肌の色やツヤの状態も異なります。また、ユーザーによって写り方も様々です。カメラからの距離、顔の角度や向き、ポーズなど…
30© FURYU Corporation.画像処理を実現するための壁・様々な被写体を、理想の状態へそうした様々な状態の画像に対して、商品の掲げる理想像に近づけることが求められる、それが、プリの画像処理にとって大きな壁となります。
31© FURYU Corporation.画像処理を実現するための壁・様々な被写体を、理想の状態へそこで今回は、１．「誰が写っても」２．「どんな写り方をしても」という２つのポイントを例に挙げ、実現のための具体的な技法をご紹介します。
32© FURYU Corporation.「誰が写っても」を実現する技術
33© FURYU Corporation.「誰が写っても」を実現する・肌の色の個人差比較しないと気づきにくい差ではありますが、肌の色は人によって微妙に異なります。
34© FURYU Corporation.「誰が写っても」を実現する・肌の色の個人差比較しないと気づきにくい差ではありますが、肌の色は人によって微妙に異なります。RGB224, 183, 152RGB250, 192, 173赤み／マット黄色み／ツヤ
35© FURYU Corporation.「誰が写っても」を実現する・肌の色の個人差もし、これをそのまま一律に色調補正した場合、理想に合わない色になってしまうケースが生まれます。光り方を抑えて赤みを強めたい
36© FURYU Corporation.「誰が写っても」を実現する・肌の色の個人差もし、これをそのまま一律に色調補正した場合、理想に合わない色になってしまうケースが生まれます。
37© FURYU Corporation.「誰が写っても」を実現する・肌の色の個人差もし、これをそのまま一律に色調補正した場合、理想に合わない色になってしまうケースが生まれます。頬の赤みが効きすぎている陰影が不自然に強調されてしまう
38© FURYU Corporation.「誰が写っても」を実現する・解決策：個別の肌補正個人ごとの肌の特徴を掴んで、それぞれに最適な処理を施すことができれば…そのために「個別肌補正」の処理を開発しました。
39© FURYU Corporation.「誰が写っても」を実現する・個人の肌ごとに色を分析まず、被写体を個人ごとに識別します。そして、それぞれの肌領域からサンプリングを行い、基準とする彩度(H)/色相(S)/輝度(V)を設定します。輝度と色相 輝度と彩度 色相と彩度肌に相当する彩度/色相/輝度を注目対象とする
40© FURYU Corporation.「誰が写っても」を実現する・個別に補正量を算定彩度/色相/輝度の各要素について、理想となる目標値を設定し、個人ごとに算出した基準値と照らして、それぞれに適切な補正値を算定します。目標HSV22, 81, 232補正量-14, 0, +8対象HSV36, 81, 224対象HSV21, 91, 232補正量+1, -10, 0
41© FURYU Corporation.「誰が写っても」を実現する・個別の色調補正個人ごとの肌領域に対し、彩度/色相/輝度のそれぞれについて、画素の色調を前段で求めた補正値に近づけるよう、シフトして補正します。補正量-14, 0, +8彩度/色相/輝度の各要素を目標値に近づくようにシフトしている
42© FURYU Corporation.「誰が写っても」を実現する・効果これにより、個人ごとに肌の色に差がある場合でも、それぞれを理想の肌色に近づけることができました。Before
43© FURYU Corporation.「誰が写っても」を実現する・効果これにより、個人ごとに肌の色に差がある場合でも、それぞれを理想の肌色に近づけることができました。After
44© FURYU Corporation.「誰が写っても」を実現する・効果これにより、個人ごとに肌の色に差がある場合でも、それぞれを理想の肌色に近づけることができました。After赤みの入り方が強すぎず自然に陰影が強調されずに光を抑えている
45© FURYU Corporation.「誰が写っても」を実現する・まとめ・ユーザーはそれぞれ肌の色やツヤに個人差があり、一律な処理では理想像の実現が難しくなります。・「誰が写っても」を実現するためには、各個人に合わせて細やかに調整できるようなシステムを用意することが重要になります。
46© FURYU Corporation.「どんな写り方をしても」を実現する技術
47© FURYU Corporation.「どんな写り方をしても」を実現する・目の理想を追求する目は人物写真の中でも強く印象を残す要素です。様々な状態の目に対して、理想の形に近づける処理が求められます。
48© FURYU Corporation.「どんな写り方をしても」を実現する・目の領域分析そこで、色々な写り方をした目に対応するため、目の周辺を細かいパーツとして分析し、それぞれの領域を抽出する手法を開発しました。
49© FURYU Corporation.「どんな写り方をしても」を実現する・目の領域分析の例白目と黒目の領域抽出白目の領域黒の色相領域から、円範囲を抽出目の周辺から、白目に近い色相範囲を抽出黒目の領域
50© FURYU Corporation.「どんな写り方をしても」を実現する・目の領域分析の例まつ毛の領域抽出エッジを抽出する 目の内部を除外してまつ毛を取り出す
51© FURYU Corporation.「どんな写り方をしても」を実現する・目の領域分析の効果このように領域を抽出して、それぞれに細かな調整を施すことで、パーツ単位で理想の状態に近づけることができます。Before
52© FURYU Corporation.「どんな写り方をしても」を実現する・目の領域分析の効果このように領域を抽出して、それぞれに細かな調整を施すことで、パーツ単位で理想の状態に近づけることができます。After
53© FURYU Corporation.「どんな写り方をしても」を実現する・目の領域分析の効果このように領域を抽出して、それぞれに細かな調整を施すことで、パーツ単位で理想の状態に近づけることができます。白目のトーンを締める黒目の濃さに深みをまつ毛のコントラストを強くAfter
54© FURYU Corporation.「どんな写り方をしても」を実現する・目の領域分析の課題しかし、ユーザーの目の状態や写り方によっては、形状分析が難しいケースが存在します。
55© FURYU Corporation.「どんな写り方をしても」を実現する・目の領域分析の課題しかし、ユーザーの目の状態や写り方によっては、形状分析が難しいケースが存在します。黒目に光が入り込み、白目と色の差がないカラコンの色によって、黒目の色が識別し難い前髪が重なっていて、まつ毛と境界が取れない
56© FURYU Corporation.「どんな写り方をしても」を実現する・機械学習による形状分析こうした様々な状況に対して、さらに正確な形状把握を行うため、機械学習を利用した目の形状分析を導入しました。
57© FURYU Corporation.「どんな写り方をしても」を実現する・目分析の手順目の周辺領域を切り出して、領域分割(Semantic Segmentation)を行います。これにより、目の各部を黒目・白目・周辺領域…といった細部に分類した結果が得られます。
58© FURYU Corporation.「どんな写り方をしても」を実現する・領域分割の詳細領域分割の実行にはTensorFlow/Kerasを採用。処理はGPUではなく、全てCPUで実施しています。（GPUは画面描画を優先するため）
59© FURYU Corporation.「どんな写り方をしても」を実現する・学習データの生成学習には、5000枚以上の画像を使用し、それぞれに対しラベル付けを行い教師データを作成。これは、定期的に実施しているユーザーアンケート結果の蓄積により可能になりました。
60© FURYU Corporation.「どんな写り方をしても」を実現する・効果これによって、様々な状態の目に対しても、正確な形状把握ができるようになりました。
61© FURYU Corporation.「どんな写り方をしても」を実現する・効果これによって、様々な状態の目に対しても、正確な形状把握ができるようになりました。
62© FURYU Corporation.「どんな写り方をしても」を実現する・効果これによって、様々な状態の目に対しても、正確な形状把握ができるようになりました。光が入り込んだ部分も黒目として認識されるカラコン部分であっても正確な黒目形状に前髪が重なった部分は目の領域からは除外
63© FURYU Corporation.「どんな写り方をしても」を実現する・領域分析の波及機械学習による形状分析は今ホットな分野であり、目の部位のほかにも、唇の形や目の光領域といった、様々な分野で応用が進んでいます。唇の領域抽出 目の光領域抽出
64© FURYU Corporation.「どんな写り方をしても」を実現する・領域分析の波及機械学習による形状分析は今ホットな分野であり、目の部位のほかにも、唇の形や目の光領域といった、様々な分野で応用が進んでいます。唇の領域抽出 目の光領域抽出
65© FURYU Corporation.・まとめ・「どんな写り方をしても」理想像に近づけるために、パーツごとに対応した細かな調整が重要です。・それには各種領域を正確に把握することが必要で、そのために領域分析の技術を発展させてきました。「どんな写り方をしても」を実現する
66© FURYU Corporation.おわりに
67© FURYU Corporation.おわりに・まとめ・プリ機はユーザーの求める理想像、"盛れる"を実現するために進化してきました。・“盛れる”にはどんな人がどんな写り方をしても、理想像に近い仕上がりになる事が重要になります。・それを実現するための技法の例として、「個別肌補正」と「目の領域分析」をご紹介しました。
68© FURYU Corporation.おわりに・おわりにプリの画像処理は、一般的なゲームの技術と違って、女性向けの写真加工に進化した独特の世界です。しかし、様々な制約の中、理想像を届けるという点で、技術的に重なる部分の多い世界でもあると考えます。今回ご紹介したこの世界の一端が、皆様の助けになりましたら幸いです。
69© FURYU Corporation.ありがとうございました
furyupuri
forcia_dev_pr
miyake
takemikami
takahana
inesmontani
banjun
hiroshinakagawa
lamrongol
tarappo
chmikata
taro_nanairo
minorun365
jensimmons
iamctodd
robhawkes
samanthasiow
jonyablonski
aki_iinuma
jeffersonlam
tenderlove
notwaldorf
jacobian
holman
jmmastey