リアルIPのカード作成自動化への挑戦

by gree_tech

Slide 1

Slide 1 text

グリーエンターテインメント　チーフクライアントエンジニア　立花祐一郎リアルIPのカード作成自動化への挑戦

Slide 2

Slide 2 text

氏名立花　祐一郎所属グリーエンターテインメント株式会社担当チーフクライアントエンジニア経歴モバイルゲーム会社から2019年にファンプレックス (現グリーエンターテインメント）に転籍。以降、ゲーム運用フェーズにてサーバー・クライアント開発、社外調整、管理業務と幅広く従事。自己紹介 2 

Slide 3

Slide 3 text

グリーエンターテインメントの紹介 3 

Slide 4

Slide 4 text

目次 1. リアルIPって何？ 2. カード作成自動化の経緯 3. カード作成自動化の取り組み 4. 残された課題 5. まとめ 4 

Slide 5

Slide 5 text

5  リアルIPって何？

Slide 6

Slide 6 text

リアルIPの定義現実のアイドルやアーティストなどを扱った知的財産 6 

Slide 7

Slide 7 text

リアルIPを用いたゲームの特徴写真を加工してカード化などを行う 7 

Slide 8

Slide 8 text

8  カード作成自動化の経緯

Slide 9

Slide 9 text

9  留意事項 • 本セッションのリアルIPのゲームですが、権利関係の都合でタイトル公表NGとなっております。 • そのため、カード作成の自動化に使われた実際の写真や　ゲーム内のスクショは本セッションでは紹介できません。

Slide 10

Slide 10 text

カード作成自動化の経緯について弊社のリアルIPゲームの作成したカード枚数... 年間数百枚以上！！ 10 

Slide 11

Slide 11 text

作成カードの例ゲーム内レアリティに沿ってカードの豪華さが変化する 11 

Slide 12

Slide 12 text

自動化に適した条件一番レアリティの低いNカードに関して 12  ● 正面顔 ● シンプルな背景 ● 加工が控えめ

Slide 13

Slide 13 text

自動化に適した条件全カードのうち６割がNカード 13  枚数＞

Slide 14

Slide 14 text

14  カード作成自動化の取り組み

Slide 15

Slide 15 text

自動化の大まかな流れ① 切り抜き背景除去

Slide 16

Slide 16 text

自動化の大まかな流れ② 16  カードに適用データの読み込み山田太郎カードの説明

Slide 17

Slide 17 text

顔の切り抜き切り抜き背景除去

Slide 18

Slide 18 text

顔の切り抜きルール • 目と鼻の位置を基準に切り取る 18 

Slide 19

Slide 19 text

顔検出方法の選定 • 目と鼻の位置が検出可能 • APIを呼び出すだけで使える手軽なもの 19 

Slide 20

Slide 20 text

選定時の候補 • OpenCV • カスケード分類器 • ディープラーニング • AWS Recognition 20 

Slide 21

Slide 21 text

カスケード分類器メリット • 情報が豊富デメリット • 顔検知の精度は低い • パラメーターの調整が必要 21 

Slide 22

Slide 22 text

ディープラーニング(YuNet) メリット • 高速かつ精度の高い顔検出ができるデメリット・特になし 22 

Slide 23

Slide 23 text

AWS Recognition メリット • 簡単かつ非常に精度が高いデメリット • 1枚当たり0.0013USDの費用が発生 • 外部APIの呼び出しなので通信が必要 23 

Slide 24

Slide 24 text

24  カスケード分類器ディープラーニング(YuNet) AWS Recognition 精度誤検知あり良好非常に良好費用無料無料 0.0013USD/枚

Slide 25

Slide 25 text

顔検出手法の決定精度の高いAWS Recognitionを採用 25  OpenCV AWS Recognition

Slide 26

Slide 26 text

AWS Recognitionの顔検出APIレスポンス主要なレスポンス要素 • Bouding Box • 画像の赤枠 • Confidence • 信頼値。検出した顔の正確性 • Landmarks • 画像の青丸 26 

Slide 27

Slide 27 text

AWS Recognitionのつまづいた点 S3から落としてきた画像の向きが勝手に変わってしまう 27 

Slide 28

Slide 28 text

EXIFメタデータ写真で撮影した画像のメタデータメタデータの例 • 写真の向き  • カメラやスマホの種類  • 著作権  • 撮影地点  28 

Slide 29

Slide 29 text

Exifの値を参照して向きを補正するサンプル Pythonのサンプルコード 29 

Slide 30

Slide 30 text

Exifの値を参照して向きを補正するサンプル • 方向のメタデータの値は1~8 (例) • 1ならばそのまま • 2ならば反転 30 

Slide 31

Slide 31 text

背景除去切り抜き背景除去

Slide 32

Slide 32 text

背景除去 1. Photoshopの「被写体を選択」 2. マスク適用 32 

Slide 33

Slide 33 text

Photoshopの「被写体を選択」 • 1クリックで、人物の輪郭を選択する機能 • 以下に該当する場合は選択範囲が取れない可能性が高くなる • 被写体が複数 • 背景が複雑 33 

Slide 34

Slide 34 text

「被写体を選択」をスクリプトから呼び出す Photoshopの「アクション」機能 • Photoshopの操作を録画・再生できる機能 • 馴染みのないPhotoshop処理も簡単に自動化できる 34 

Slide 35

Slide 35 text

後の工程 Photoshopスクリプトで全て自動化 35  カードに適用データの読み込み山田太郎カードの説明

Slide 36

Slide 36 text

結果色調整を除けば、7~8割の精度でカードの自動生成が可能 36 

Slide 37

Slide 37 text

残された課題 37 

Slide 38

Slide 38 text

残された課題色味の調整・照明などの影響を埋める調整が必要 38 

Slide 39

Slide 39 text

まとめ • 7~8割の精度でカード自動生成が出来た • AWS Recognitionは、お手軽かつ精度高く顔検出サービス • Photoshopの機能にも自動化に使えるものがある • 色調整が今後の課題 39 