$30 off During Our Annual Pro Sale. View Details »

Amazon Rekognitionを使って親御さんの写真探しのお手伝いができた話

d9magai
March 16, 2018

Amazon Rekognitionを使って親御さんの写真探しのお手伝いができた話

JAWS DAYS 2018 Iトラック
https://jawsdays2018.jaws-ug.jp/session/1260/

d9magai

March 16, 2018
Tweet

More Decks by d9magai

Other Decks in Technology

Transcript

  1. 1
    JAWS DAYS 2018
    Amazon Rekognitionを使って
    親御さんの写真探しのお手伝いができた話

    View Slide

  2. 2
    自己紹介
    ● 名前:熊谷大地
    ● 所属:千株式会社
    ものづくり部
    マネージャー
    現在は新規サービスの開発を担当

    View Slide

  3. 3
    目次
    ● はいチーズ!の紹介
    ○ はいチーズ!というWebサービス
    ○ はいチーズ!の課題
    ● Amazon Rekognition導入の経緯と結果
    ○ 導入の経緯
    ○ その結果

    View Slide

  4. 4
    の紹介
    幼稚園・保育園中心に
    全国5000団体が利用する
    写真販売サービス
    導入メリット
    【幼稚園保育園などの団体様】
     撮影・印刷・掲示・代金回収等の手間から解放される
    【保護者様】
     写真購入がいつでも・どこでも・手軽に
    導入前
    導入後

    View Slide

  5. 5
    はいチーズ!カメラマンは、保護者のために、
    “園児一人一人が主人公の写真”を沢山撮る
    大規模園は園児200名以上。多いイベントでは
    “1万枚以上の中から、我が子の写真を探す”必要性
    ユーザの中には共働き世帯も多く忙しい。
    写真探しに時間がかかる。忙しい保護者を助けたい!
    の課題

    View Slide

  6. 6
    とある幼稚園の運動会の写真(約1万3千枚)

    View Slide

  7. 7
    課題に対する解決策
    “我が子の写真を簡単に探せる”
    「顔検索機能」を実現したい!
    我が子の顔写真をアップロード→検索結果表示
    顔写真アップロード 検索結果表示

    View Slide

  8. 8
    ● これまでも、いくつか顔認識製品を検証してきた
    ○ 「速い、安い、高精度」がなかなか見つからない…
    ● 顔認識エンジンを社内で開発することも検討
    ○ 技術的に困難…
    顔検索機能実現のために

    View Slide

  9. 9
    ● これまでも、いくつか顔認識製品を検証してきた
    ○ 「速い、安い、高精度」がなかなか見つからない…
    ● 顔認識エンジンを社内で開発することも検討
    ○ 技術的に困難…
    顔検索機能実現のために
    自社サービスに実用的なインテリジェンスを
    追加することは無理なのか…

    View Slide

  10. 10
    ● これまでも、いくつか顔認識製品を検証してきた
    ○ 「速い、安い、高精度」がなかなか見つからない…
    ● 顔認識エンジンを社内で開発することも検討
    ○ 技術的に困難…
    顔検索機能実現のために
    諦めかけたその時、
    一筋の光明が差してきました! Amazon Rekognition

    View Slide

  11. 11
    目次
    ● はいチーズ!の紹介
    ○ はいチーズ!というWebサービス
    ○ はいチーズ!の課題
    ● Amazon Rekognition導入の経緯と結果
    ○ 導入の経緯
    ○ その結果

    View Slide

  12. 12
    AWSのAI 3つのレイヤー・3種類のサービス
    サービス 学習済みのAIを使いたい
    プラットフォーム 機械学習でAIを開発したい
    インフラ・フレームワーク 機械学習でAIを開発したい
    Amazon Lex Amazon Polly
    Amazon Transcribe...
    Amazon Rekognition
    Amazon Rekognition Video
    ChatBotを作るための
    サービス
    自然言語処理のための
    サービス
    画像や動画の分析が
    できるサービス

    View Slide

  13. 13
    Amazon Rekognitionとは
    ● AmazonのAIサービスの1つ
    ○ 学習済みのAIをサービスとして利用可能
    ● Rekognitionでできること
    ○ 画像の物体、シーン、顔の検出
    ○ 顔の表情の分析
    ○ 有名人の認識
    ○ テキストの認識
    ○ 顔と顔が似ているかどうかの判定
    これで顔検索を
    実現できる!

    View Slide

  14. 14
    RekognitionのAPI
    顔検索する場合に必要なAPIは以下の3つ
    • CreateCollection
    顔コレクションを作成
    • IndexFaces
    顔メタデータ(顔の特徴を表すベクトル)を顔コレクションに追加
    • SearchFacesByImage
    指定した画像で顔コレクション内の類似画像を検索

    View Slide

  15. 15
    1.顔コレクションを作成。入れ物を作る
    顔分析用
    Rekognitionで顔検索する手順
    AWS SDK
    AWS SDK
    AWS SDK
    Face Collection
    test_faces
    被検索画像指定
    ※被検索画像に対して実行
    ※メタデータ
    (特徴情報)のみ保持
    検索画像指定
    ※検索画像も被検索画像も、
    S3上にある前提
    CreateCollection
    (collection-id test_faces )
    画像分析
    顔メタデータ追加
    SearchFacesByImage
    画像分析
    検索画像用
    検索!
    検索結果(JSON)を応答
    IndexFaces
    2.顔メタデータを追加。入れ物に顔を入れる
    3.指定した画像で顔コレクション内の類似画像を検索

    View Slide

  16. 16
    Rekognitionの優位性
    他社製品と比較して、Rekognitionが優位なポイント
    • S3上の画像を直接処理できる
    S3とRekognitionの高い親和性
    • 顔メタデータ作成がスケール
    1日数十万枚処理することもあるので、スケーラビリティ必須
    • 顔メタデータ保持コストが安い
    1 か月あたり、顔メタデータ 1,000 件あたりの保持コスト => 0.01 USD
    • 精度が高い
    日本人かつ幼児が検索対象でも認識率や検索精度は高い
    • 検索が速い
    数万件以上の顔メタデータから、1、2秒で検索結果を応答

    View Slide

  17. 17
    Rekognition 2つの課題点(当時)
    ● 東京リージョンにまだきてない問題(当時)
    ● 1画像から同時検出できる顔の数が上限15である問題(当時)
    ● 多くの優位性を兼ね備えたRekognition
    ● 導入を決定してから1ヶ月程度でリリース
    しかし、Rekognitionには課題もありました・・・(当時)

    View Slide

  18. 18
    東京リージョンにまだ来てない問題(当時)
    ● Rekognitionは同リージョンのS3に対して処理が可能
    ○ 当時はバージニア北部、オレゴン、アイルランドのみ
    ○ はいチーズ!の画像は東京リージョンのS3にある
    ● 東京リージョンから他リージョンへ画像コピーが必要?
    =>S3コスト保管コスト2倍・・・

    View Slide

  19. 19
    東京リージョンにまだ来てない問題 解決策
    顔メタデータ作成後にライフサイクルで画像を削除!
    ○ 顔メタデータ作成後は画像は不要
    ○ バケットのライフサイクルで、一定時間経過で削除
    ○ 配信に使うのは東京リージョンの画像
    東京 オレゴン
    画像をコピー
    オレゴンの画像は
    一定時間で消える
    イベントをトリガーに
    lambda起動 IndexFacesを実行

    View Slide

  20. 20
    ちなみに・・・
    AWSさん、ありがとうございます!

    View Slide

  21. 21
    ● 顔検出のための制約がある(当時)
    ○ 1画像から同時に検出できる上限が15人
    ○ 小さい顔は検出できない
    ■ 画像の短辺の5%以上ないと検出されない
    ● 「顔が小さく、大人数」=「集合写真」が扱えない
    1画像から同時検出できる顔の数が上限15である問題(当時)

    View Slide

  22. 22
    黄色と緑の枠で
    分割して処理

    検出数が15に
    達したら、さらに
    点線で分割して処理
    1画像から同時検出できる顔の数が上限15である問題 解決策
    分割して段階的に処理して解決!

    View Slide

  23. 23
    ちなみに・・・
    ● 現在は1画像あたり最
    大100個検出可能
    (人混みモード)。
    ● 分割処理は役目を終
    えました。
    弊社のコメント→
    弊社からフィードバック
    →機能追加!
    ありがとうございます!

    View Slide

  24. 24
    デモ
    <ご注意ください>
    デモ画面の園児の写真は、
    写真撮影はご遠慮くださいますよう、
    お願い致します。

    View Slide

  25. 25
    原因を考察
    ● 検索に使用する画像を持っていない
    ● 検索に適した画像をアップしていない
    ● 子どもの画像をアップすることに抵抗感がある
    顔検索機能 導入結果
    ● ベータリリースとして、一部のお客様にご利用頂いた
    ● 効果がなかなか現れず、使用率が低い時期が続いた

    View Slide

  26. 26
    原因を考察
    ● 検索に使用する画像を持っていない
    ● 検索に適した画像をアップしていない
    ● 子どもの画像をアップすることに抵抗感がある
    解決策
    画像をアップロードしなくても
    機能が使えるようにすれば良さそう

    View Slide

  27. 27
    おすすめ写真機能を導入
    おすすめ写真機能
    注文履歴を分析
    そのユーザが購入したい子の顔を特定
    その顔を使って写真検索
    検索結果を「おすすめ写真」として表示 おすすめ写真

    View Slide

  28. 28
    おすすめ写真機能 導入結果
    ユーザの使用率が向上!
    結果、コンバージョン率が向上!
    ※ここで言うコンバージョン率とは、ある写真を実際に購入したユーザーの数を
    その写真のページを見たユーザーの数で割った時のパーセンテージ

    View Slide

  29. 29
    まとめ
    AIの力で、忙しいママ・パパの我が子の
    写真探しをお手伝いすることができました
    ○ コストを抑えて、
    スピード感のある開発
    ができる
    ○ 弊社からフィードバック
    送信→機能開発
    ○ 忙しいママ・パパを助けた
    いという思い
    ○ 新しい技術を即検証・
    即本番投入

    View Slide

  30. 30
    ご静聴ありがとうございました
    ※エンジニア募集中です!

    View Slide