Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon Rekognitionを使って親御さんの写真探しのお手伝いができた話
Search
d9magai
March 16, 2018
Technology
0
1.9k
Amazon Rekognitionを使って親御さんの写真探しのお手伝いができた話
JAWS DAYS 2018 Iトラック
https://jawsdays2018.jaws-ug.jp/session/1260/
d9magai
March 16, 2018
Tweet
Share
More Decks by d9magai
See All by d9magai
20200122_Amazon_Rekognition.pdf
d9magai
0
240
20191211_JAWS-UG_TOHOKU_Amazon_Rekognition.pdf
d9magai
0
250
サーバサイドエンジニアがフロントエンドを始めた時の試行錯誤
d9magai
6
3.3k
チーム開発のコードレビューにおける些末なコードレビューを避けるための提案
d9magai
0
390
20190212.pdf
d9magai
0
100
Minami Aoyama Night#5 sen-corporation
d9magai
0
690
Other Decks in Technology
See All in Technology
AWS re:Invent 2024 re:Cap Taipei (for Developer): New Launches that facilitate Developer Workflow and Continuous Innovation
dwchiang
0
160
商品レコメンドでのexplicit negative feedbackの活用
alpicola
1
350
東京Ruby会議12 Ruby と Rust と私 / Tokyo RubyKaigi 12 Ruby, Rust and me
eagletmt
3
870
#TRG24 / David Cuartielles / Post Open Source
tarugoconf
0
580
Oracle Exadata Database Service(Dedicated Infrastructure):サービス概要のご紹介
oracle4engineer
PRO
0
12k
実践! ソフトウェアエンジニアリングの価値の計測 ── Effort、Output、Outcome、Impact
nomuson
0
2.1k
.NET AspireでAzure Functionsやクラウドリソースを統合する
tsubakimoto_s
0
190
Reactフレームワークプロダクトを モバイルアプリにして、もっと便利に。 ユーザに価値を届けよう。/React Framework with Capacitor
rdlabo
0
130
Kotlin Multiplatformのポテンシャル
recruitengineers
PRO
2
150
DMMブックスへのTipKit導入
ttyi2
1
110
Azureの開発で辛いところ
re3turn
0
240
Evolving Architecture
rainerhahnekamp
3
250
Featured
See All Featured
Automating Front-end Workflow
addyosmani
1366
200k
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
BBQ
matthewcrist
85
9.4k
Site-Speed That Sticks
csswizardry
2
270
Git: the NoSQL Database
bkeepers
PRO
427
64k
Unsuck your backbone
ammeep
669
57k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
113
50k
Documentation Writing (for coders)
carmenintech
67
4.5k
Optimising Largest Contentful Paint
csswizardry
33
3k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
StorybookのUI Testing Handbookを読んだ
zakiyama
28
5.4k
Making the Leap to Tech Lead
cromwellryan
133
9k
Transcript
1 JAWS DAYS 2018 Amazon Rekognitionを使って 親御さんの写真探しのお手伝いができた話
2 自己紹介 • 名前:熊谷大地 • 所属:千株式会社 ものづくり部 マネージャー 現在は新規サービスの開発を担当
3 目次 • はいチーズ!の紹介 ◦ はいチーズ!というWebサービス ◦ はいチーズ!の課題 • Amazon
Rekognition導入の経緯と結果 ◦ 導入の経緯 ◦ その結果
4 の紹介 幼稚園・保育園中心に 全国5000団体が利用する 写真販売サービス 導入メリット 【幼稚園保育園などの団体様】 撮影・印刷・掲示・代金回収等の手間から解放される 【保護者様】 写真購入がいつでも・どこでも・手軽に
導入前 導入後
5 はいチーズ!カメラマンは、保護者のために、 “園児一人一人が主人公の写真”を沢山撮る 大規模園は園児200名以上。多いイベントでは “1万枚以上の中から、我が子の写真を探す”必要性 ユーザの中には共働き世帯も多く忙しい。 写真探しに時間がかかる。忙しい保護者を助けたい! の課題
6 とある幼稚園の運動会の写真(約1万3千枚)
7 課題に対する解決策 “我が子の写真を簡単に探せる” 「顔検索機能」を実現したい! 我が子の顔写真をアップロード→検索結果表示 顔写真アップロード 検索結果表示
8 • これまでも、いくつか顔認識製品を検証してきた ◦ 「速い、安い、高精度」がなかなか見つからない… • 顔認識エンジンを社内で開発することも検討 ◦ 技術的に困難… 顔検索機能実現のために
9 • これまでも、いくつか顔認識製品を検証してきた ◦ 「速い、安い、高精度」がなかなか見つからない… • 顔認識エンジンを社内で開発することも検討 ◦ 技術的に困難… 顔検索機能実現のために
自社サービスに実用的なインテリジェンスを 追加することは無理なのか…
10 • これまでも、いくつか顔認識製品を検証してきた ◦ 「速い、安い、高精度」がなかなか見つからない… • 顔認識エンジンを社内で開発することも検討 ◦ 技術的に困難… 顔検索機能実現のために
諦めかけたその時、 一筋の光明が差してきました! Amazon Rekognition
11 目次 • はいチーズ!の紹介 ◦ はいチーズ!というWebサービス ◦ はいチーズ!の課題 • Amazon
Rekognition導入の経緯と結果 ◦ 導入の経緯 ◦ その結果
12 AWSのAI 3つのレイヤー・3種類のサービス サービス 学習済みのAIを使いたい プラットフォーム 機械学習でAIを開発したい インフラ・フレームワーク 機械学習でAIを開発したい Amazon
Lex Amazon Polly Amazon Transcribe... Amazon Rekognition Amazon Rekognition Video ChatBotを作るための サービス 自然言語処理のための サービス 画像や動画の分析が できるサービス
13 Amazon Rekognitionとは • AmazonのAIサービスの1つ ◦ 学習済みのAIをサービスとして利用可能 • Rekognitionでできること ◦
画像の物体、シーン、顔の検出 ◦ 顔の表情の分析 ◦ 有名人の認識 ◦ テキストの認識 ◦ 顔と顔が似ているかどうかの判定 これで顔検索を 実現できる!
14 RekognitionのAPI 顔検索する場合に必要なAPIは以下の3つ • CreateCollection 顔コレクションを作成 • IndexFaces 顔メタデータ(顔の特徴を表すベクトル)を顔コレクションに追加 •
SearchFacesByImage 指定した画像で顔コレクション内の類似画像を検索
15 1.顔コレクションを作成。入れ物を作る 顔分析用 Rekognitionで顔検索する手順 AWS SDK AWS SDK AWS SDK
Face Collection test_faces 被検索画像指定 ※被検索画像に対して実行 ※メタデータ (特徴情報)のみ保持 検索画像指定 ※検索画像も被検索画像も、 S3上にある前提 CreateCollection (collection-id test_faces ) 画像分析 顔メタデータ追加 SearchFacesByImage 画像分析 検索画像用 検索! 検索結果(JSON)を応答 IndexFaces 2.顔メタデータを追加。入れ物に顔を入れる 3.指定した画像で顔コレクション内の類似画像を検索
16 Rekognitionの優位性 他社製品と比較して、Rekognitionが優位なポイント • S3上の画像を直接処理できる S3とRekognitionの高い親和性 • 顔メタデータ作成がスケール 1日数十万枚処理することもあるので、スケーラビリティ必須 •
顔メタデータ保持コストが安い 1 か月あたり、顔メタデータ 1,000 件あたりの保持コスト => 0.01 USD • 精度が高い 日本人かつ幼児が検索対象でも認識率や検索精度は高い • 検索が速い 数万件以上の顔メタデータから、1、2秒で検索結果を応答
17 Rekognition 2つの課題点(当時) • 東京リージョンにまだきてない問題(当時) • 1画像から同時検出できる顔の数が上限15である問題(当時) • 多くの優位性を兼ね備えたRekognition •
導入を決定してから1ヶ月程度でリリース しかし、Rekognitionには課題もありました・・・(当時)
18 東京リージョンにまだ来てない問題(当時) • Rekognitionは同リージョンのS3に対して処理が可能 ◦ 当時はバージニア北部、オレゴン、アイルランドのみ ◦ はいチーズ!の画像は東京リージョンのS3にある • 東京リージョンから他リージョンへ画像コピーが必要?
=>S3コスト保管コスト2倍・・・
19 東京リージョンにまだ来てない問題 解決策 顔メタデータ作成後にライフサイクルで画像を削除! ◦ 顔メタデータ作成後は画像は不要 ◦ バケットのライフサイクルで、一定時間経過で削除 ◦ 配信に使うのは東京リージョンの画像
東京 オレゴン 画像をコピー オレゴンの画像は 一定時間で消える イベントをトリガーに lambda起動 IndexFacesを実行
20 ちなみに・・・ AWSさん、ありがとうございます!
21 • 顔検出のための制約がある(当時) ◦ 1画像から同時に検出できる上限が15人 ◦ 小さい顔は検出できない ▪ 画像の短辺の5%以上ないと検出されない •
「顔が小さく、大人数」=「集合写真」が扱えない 1画像から同時検出できる顔の数が上限15である問題(当時)
22 黄色と緑の枠で 分割して処理 ↓ 検出数が15に 達したら、さらに 点線で分割して処理 1画像から同時検出できる顔の数が上限15である問題 解決策 分割して段階的に処理して解決!
23 ちなみに・・・ • 現在は1画像あたり最 大100個検出可能 (人混みモード)。 • 分割処理は役目を終 えました。 弊社のコメント→
弊社からフィードバック →機能追加! ありがとうございます!
24 デモ <ご注意ください> デモ画面の園児の写真は、 写真撮影はご遠慮くださいますよう、 お願い致します。
25 原因を考察 • 検索に使用する画像を持っていない • 検索に適した画像をアップしていない • 子どもの画像をアップすることに抵抗感がある 顔検索機能 導入結果
• ベータリリースとして、一部のお客様にご利用頂いた • 効果がなかなか現れず、使用率が低い時期が続いた
26 原因を考察 • 検索に使用する画像を持っていない • 検索に適した画像をアップしていない • 子どもの画像をアップすることに抵抗感がある 解決策 画像をアップロードしなくても
機能が使えるようにすれば良さそう
27 おすすめ写真機能を導入 おすすめ写真機能 注文履歴を分析 そのユーザが購入したい子の顔を特定 その顔を使って写真検索 検索結果を「おすすめ写真」として表示 おすすめ写真
28 おすすめ写真機能 導入結果 ユーザの使用率が向上! 結果、コンバージョン率が向上! ※ここで言うコンバージョン率とは、ある写真を実際に購入したユーザーの数を その写真のページを見たユーザーの数で割った時のパーセンテージ
29 まとめ AIの力で、忙しいママ・パパの我が子の 写真探しをお手伝いすることができました ◦ コストを抑えて、 スピード感のある開発 ができる ◦ 弊社からフィードバック
送信→機能開発 ◦ 忙しいママ・パパを助けた いという思い ◦ 新しい技術を即検証・ 即本番投入
30 ご静聴ありがとうございました ※エンジニア募集中です!