リアルIPのカード作成自動化への挑戦

GREE Tech Conference 2022で発表された資料です。
https://techcon.gree.jp/2022/session/TrackB-6

Transcript

1. グリーエンターテインメント　
   チーフクライアントエンジニア　
   立花 祐一郎
   リアルIPのカード作成自動化への
   挑戦
   

   View Slide

2. 氏名 立花　祐一郎
   所属 グリーエンターテインメント株式会社
   担当 チーフクライアントエンジニア
   経歴
   モバイルゲーム会社から2019年にファンプレックス
   (現グリーエンターテインメント）に転籍。
   以降、ゲーム運用フェーズにて
   サーバー・クライアント開発、社外調整、管理業務と幅広く従事。
   自己紹介
   2

   

   View Slide

3. グリーエンターテインメントの紹介
   3

   

   View Slide

4. 目次
   1. リアルIPって何？
   2. カード作成自動化の経緯
   3. カード作成自動化の取り組み
   4. 残された課題
   5. まとめ
   4

   

   View Slide

5. 5

   リアルIPって何？
   

   View Slide

6. リアルIPの定義
   現実のアイドルやアーティストなどを扱った知的財産
   6

   

   View Slide

7. リアルIPを用いたゲームの特徴
   写真を加工してカード化などを行う
   7

   

   View Slide

8. 8

   カード作成自動化の経緯
   

   View Slide

9. 9

   留意事項
   • 本セッションのリアルIPのゲームですが、権利関係の都合でタイト
   ル公表NGとなっております。
   • そのため、カード作成の自動化に使われた実際の写真や　ゲーム
   内のスクショは本セッションでは紹介できません。
   

   View Slide

10. カード作成自動化の経緯について
    弊社のリアルIPゲームの作成したカード枚数...
    年間 数百枚以上！！
    10

    

    View Slide

11. 作成カードの例
    ゲーム内レアリティに沿ってカードの豪華さが変化する
    11

    

    View Slide

12. 自動化に適した条件
    一番レアリティの低いNカードに関して
    12

    ● 正面顔
    ● シンプルな背景
    ● 加工が控えめ
    

    View Slide

13. 自動化に適した条件
    全カードのうち６割がNカード
    13

    枚数
    ＞
    

    View Slide

14. 14

    カード作成自動化の取り組み
    

    View Slide

15. 自動化の大まかな流れ①
    切り抜き 背景除去
    

    View Slide

16. 自動化の大まかな流れ②
    16

    カード
    に適用
    データ
    の読み
    込み
    山田太郎
    カードの説明
    

    View Slide

17. 顔の切り抜き
    切り抜き 背景除去
    

    View Slide

18. 顔の切り抜きルール
    • 目と鼻の位置を基準に切り取る
    18

    

    View Slide

19. 顔検出方法の選定
    • 目と鼻の位置が検出可能
    • APIを呼び出すだけで使える手軽なもの
    19

    

    View Slide

20. 選定時の候補
    • OpenCV
    • カスケード分類器
    • ディープラーニング
    • AWS Recognition
    20

    

    View Slide

21. カスケード分類器
    メリット
    • 情報が豊富
    デメリット
    • 顔検知の精度は低い
    • パラメーターの調整が必要
    21

    

    View Slide

22. ディープラーニング(YuNet)
    メリット
    • 高速かつ精度の高い顔検出ができる
    デメリット
    ・特になし
    22

    

    View Slide

23. AWS Recognition
    メリット
    • 簡単かつ非常に精度が高い
    デメリット
    • 1枚当たり0.0013USDの費用が発生
    • 外部APIの呼び出しなので通信が必要
    23

    

    View Slide

24. 24

    カスケード
    分類器
    ディープラーニング(YuNet) AWS Recognition
    精度 誤検知あり 良好 非常に良好
    費用 無料 無料 0.0013USD/枚
    

    View Slide

25. 顔検出手法の決定
    精度の高いAWS Recognitionを採用
    25

    OpenCV AWS Recognition
    

    View Slide

26. AWS Recognitionの顔検出APIレスポンス
    主要なレスポンス要素
    • Bouding Box
    • 画像の赤枠
    • Confidence
    • 信頼値。検出した顔の正確性
    • Landmarks
    • 画像の青丸
    26

    

    View Slide

27. AWS Recognitionのつまづいた点
    S3から落としてきた画像の向きが勝手に変わってしまう
    27

    

    View Slide

28. EXIFメタデータ
    写真で撮影した画像のメタデータ
    メタデータの例
    • 写真の向き

    • カメラやスマホの種類

    • 著作権

    • 撮影地点

    28

    

    View Slide

29. Exifの値を参照して向きを補正するサンプル
    Pythonのサンプルコード
    29

    

    View Slide

30. Exifの値を参照して向きを補正するサンプル
    • 方向のメタデータの値は1~8
    (例)
    • 1ならばそのまま
    • 2ならば反転
    30

    

    View Slide

31. 背景除去
    切り抜き 背景除去
    

    View Slide

32. 背景除去
    1. Photoshopの「被写体を選択」
    2. マスク適用
    32

    

    View Slide

33. Photoshopの「被写体を選択」
    • 1クリックで、人物の輪郭を選択する機能
    • 以下に該当する場合は選択範囲が取れない可能性が高くなる
    • 被写体が複数
    • 背景が複雑
    33

    

    View Slide

34. 「被写体を選択」をスクリプトから呼び出す
    Photoshopの「アクション」機能
    • Photoshopの操作を録画・再生できる機能
    • 馴染みのないPhotoshop処理も簡単に自動化できる
    34

    

    View Slide

35. 後の工程
    Photoshopスクリプトで全て自動化
    35

    カード
    に適用
    データ
    の読み
    込み
    山田太郎
    カードの説明
    

    View Slide

36. 結果
    色調整を除けば、7~8割の精度でカードの自動生成が可能
    36

    

    View Slide

37. 残された課題
    37

    

    View Slide

38. 残された課題
    色味の調整
    ・照明などの影響を埋める調整が必要
    38

    

    View Slide

39. まとめ
    • 7~8割の精度でカード自動生成が出来た
    • AWS Recognitionは、お手軽かつ精度高く顔検出サービス
    • Photoshopの機能にも自動化に使えるものがある
    • 色調整が今後の課題
    39

    

    View Slide

40. View Slide