$30 off During Our Annual Pro Sale. View Details »

リアルIPのカード作成自動化への挑戦

 リアルIPのカード作成自動化への挑戦

GREE Tech Conference 2022で発表された資料です。
https://techcon.gree.jp/2022/session/TrackB-6

gree_tech
PRO

October 25, 2022
Tweet

More Decks by gree_tech

Other Decks in Technology

Transcript

  1. グリーエンターテインメント 
    チーフクライアントエンジニア 
    立花 祐一郎
    リアルIPのカード作成自動化への
    挑戦

    View Slide

  2. 氏名 立花 祐一郎
    所属 グリーエンターテインメント株式会社
    担当 チーフクライアントエンジニア
    経歴
    モバイルゲーム会社から2019年にファンプレックス
    (現グリーエンターテインメント)に転籍。
    以降、ゲーム運用フェーズにて
    サーバー・クライアント開発、社外調整、管理業務と幅広く従事。
    自己紹介
    2


    View Slide

  3. グリーエンターテインメントの紹介
    3


    View Slide

  4. 目次
    1. リアルIPって何?
    2. カード作成自動化の経緯
    3. カード作成自動化の取り組み
    4. 残された課題
    5. まとめ
    4


    View Slide

  5. 5

    リアルIPって何?

    View Slide

  6. リアルIPの定義
    現実のアイドルやアーティストなどを扱った知的財産
    6


    View Slide

  7. リアルIPを用いたゲームの特徴
    写真を加工してカード化などを行う
    7


    View Slide

  8. 8

    カード作成自動化の経緯

    View Slide

  9. 9

    留意事項
    • 本セッションのリアルIPのゲームですが、権利関係の都合でタイト
    ル公表NGとなっております。
    • そのため、カード作成の自動化に使われた実際の写真や ゲーム
    内のスクショは本セッションでは紹介できません。

    View Slide

  10. カード作成自動化の経緯について
    弊社のリアルIPゲームの作成したカード枚数...
    年間 数百枚以上!!
    10


    View Slide

  11. 作成カードの例
    ゲーム内レアリティに沿ってカードの豪華さが変化する
    11


    View Slide

  12. 自動化に適した条件
    一番レアリティの低いNカードに関して
    12

    ● 正面顔
    ● シンプルな背景
    ● 加工が控えめ

    View Slide

  13. 自動化に適した条件
    全カードのうち6割がNカード
    13

    枚数

    View Slide

  14. 14

    カード作成自動化の取り組み

    View Slide

  15. 自動化の大まかな流れ①
    切り抜き 背景除去

    View Slide

  16. 自動化の大まかな流れ②
    16

    カード
    に適用
    データ
    の読み
    込み
    山田太郎
    カードの説明

    View Slide

  17. 顔の切り抜き
    切り抜き 背景除去

    View Slide

  18. 顔の切り抜きルール
    • 目と鼻の位置を基準に切り取る
    18


    View Slide

  19. 顔検出方法の選定
    • 目と鼻の位置が検出可能
    • APIを呼び出すだけで使える手軽なもの
    19


    View Slide

  20. 選定時の候補
    • OpenCV
    • カスケード分類器
    • ディープラーニング
    • AWS Recognition
    20


    View Slide

  21. カスケード分類器
    メリット
    • 情報が豊富
    デメリット
    • 顔検知の精度は低い
    • パラメーターの調整が必要
    21


    View Slide

  22. ディープラーニング(YuNet)
    メリット
    • 高速かつ精度の高い顔検出ができる
    デメリット
    ・特になし
    22


    View Slide

  23. AWS Recognition
    メリット
    • 簡単かつ非常に精度が高い
    デメリット
    • 1枚当たり0.0013USDの費用が発生
    • 外部APIの呼び出しなので通信が必要
    23


    View Slide

  24. 24

    カスケード
    分類器
    ディープラーニング(YuNet) AWS Recognition
    精度 誤検知あり 良好 非常に良好
    費用 無料 無料 0.0013USD/枚

    View Slide

  25. 顔検出手法の決定
    精度の高いAWS Recognitionを採用
    25

    OpenCV AWS Recognition

    View Slide

  26. AWS Recognitionの顔検出APIレスポンス
    主要なレスポンス要素
    • Bouding Box
    • 画像の赤枠
    • Confidence
    • 信頼値。検出した顔の正確性
    • Landmarks
    • 画像の青丸
    26


    View Slide

  27. AWS Recognitionのつまづいた点
    S3から落としてきた画像の向きが勝手に変わってしまう
    27


    View Slide

  28. EXIFメタデータ
    写真で撮影した画像のメタデータ
    メタデータの例
    • 写真の向き

    • カメラやスマホの種類

    • 著作権

    • 撮影地点

    28


    View Slide

  29. Exifの値を参照して向きを補正するサンプル
    Pythonのサンプルコード
    29


    View Slide

  30. Exifの値を参照して向きを補正するサンプル
    • 方向のメタデータの値は1~8
    (例)
    • 1ならばそのまま
    • 2ならば反転
    30


    View Slide

  31. 背景除去
    切り抜き 背景除去

    View Slide

  32. 背景除去
    1. Photoshopの「被写体を選択」
    2. マスク適用
    32


    View Slide

  33. Photoshopの「被写体を選択」
    • 1クリックで、人物の輪郭を選択する機能
    • 以下に該当する場合は選択範囲が取れない可能性が高くなる
    • 被写体が複数
    • 背景が複雑
    33


    View Slide

  34. 「被写体を選択」をスクリプトから呼び出す
    Photoshopの「アクション」機能
    • Photoshopの操作を録画・再生できる機能
    • 馴染みのないPhotoshop処理も簡単に自動化できる
    34


    View Slide

  35. 後の工程
    Photoshopスクリプトで全て自動化
    35

    カード
    に適用
    データ
    の読み
    込み
    山田太郎
    カードの説明

    View Slide

  36. 結果
    色調整を除けば、7~8割の精度でカードの自動生成が可能
    36


    View Slide

  37. 残された課題
    37


    View Slide

  38. 残された課題
    色味の調整
    ・照明などの影響を埋める調整が必要
    38


    View Slide

  39. まとめ
    • 7~8割の精度でカード自動生成が出来た
    • AWS Recognitionは、お手軽かつ精度高く顔検出サービス
    • Photoshopの機能にも自動化に使えるものがある
    • 色調整が今後の課題
    39


    View Slide

  40. 40


    View Slide