Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon Rekognitionを使って親御さんの写真探しのお手伝いができた話
Search
d9magai
March 16, 2018
Technology
0
1.7k
Amazon Rekognitionを使って親御さんの写真探しのお手伝いができた話
JAWS DAYS 2018 Iトラック
https://jawsdays2018.jaws-ug.jp/session/1260/
d9magai
March 16, 2018
Tweet
Share
More Decks by d9magai
See All by d9magai
20200122_Amazon_Rekognition.pdf
d9magai
0
200
20191211_JAWS-UG_TOHOKU_Amazon_Rekognition.pdf
d9magai
0
190
サーバサイドエンジニアがフロントエンドを始めた時の試行錯誤
d9magai
6
3.1k
チーム開発のコードレビューにおける些末なコードレビューを避けるための提案
d9magai
0
300
20190212.pdf
d9magai
0
70
Minami Aoyama Night#5 sen-corporation
d9magai
0
610
Other Decks in Technology
See All in Technology
期待しすぎずに取り組む両面 TypeScript
shozawa
4
580
LLM + RAG を使った SORACOM Support Bot の裏側の歴史
soracom
PRO
1
650
生成AIの不確実性と向き合うためのオブジェクト指向設計
tkikuchi1002
2
700
Azureコストは水道代/The_47th_Tokyo_Jazug
aeonpeople
3
390
HoneycombとOpenTelemetryでオブザーバビリティに入門してみる
sumiren
2
170
複数の LLM モデルを扱う上で直面した辛みまとめ
kazuyaseki
1
260
技術広報経験0のEMがエンジニアブランディングをはじめてみた
coconala_engineer
1
140
10分でわかるfreeeのQA
freee
0
260
LLMプロダクト事業の立ち上げにおける挑戦
layerx
PRO
7
1.5k
現実世界の事象から学ぶSOLID原則
h0r15h0
25
11k
関数型DDDの理論と実践:「決定を遅らせる」を先につくり、 ビジネスの機動力と価値をあげる
knih
2
500
データ品質をコード化! LINEヤフーのMLOpsを最適化する "ACP Data Quality" の紹介
lycorptech_jp
PRO
3
290
Featured
See All Featured
Testing 201, or: Great Expectations
jmmastey
27
6.3k
It's Worth the Effort
3n
180
27k
The Pragmatic Product Professional
lauravandoore
24
5.7k
The World Runs on Bad Software
bkeepers
PRO
60
6.6k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
113
18k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
67
38k
Navigating Team Friction
lara
177
13k
Unsuck your backbone
ammeep
661
56k
The Language of Interfaces
destraynor
150
23k
Done Done
chrislema
178
15k
5 minutes of I Can Smell Your CMS
philhawksworth
199
19k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
1
3.3k
Transcript
1 JAWS DAYS 2018 Amazon Rekognitionを使って 親御さんの写真探しのお手伝いができた話
2 自己紹介 • 名前:熊谷大地 • 所属:千株式会社 ものづくり部 マネージャー 現在は新規サービスの開発を担当
3 目次 • はいチーズ!の紹介 ◦ はいチーズ!というWebサービス ◦ はいチーズ!の課題 • Amazon
Rekognition導入の経緯と結果 ◦ 導入の経緯 ◦ その結果
4 の紹介 幼稚園・保育園中心に 全国5000団体が利用する 写真販売サービス 導入メリット 【幼稚園保育園などの団体様】 撮影・印刷・掲示・代金回収等の手間から解放される 【保護者様】 写真購入がいつでも・どこでも・手軽に
導入前 導入後
5 はいチーズ!カメラマンは、保護者のために、 “園児一人一人が主人公の写真”を沢山撮る 大規模園は園児200名以上。多いイベントでは “1万枚以上の中から、我が子の写真を探す”必要性 ユーザの中には共働き世帯も多く忙しい。 写真探しに時間がかかる。忙しい保護者を助けたい! の課題
6 とある幼稚園の運動会の写真(約1万3千枚)
7 課題に対する解決策 “我が子の写真を簡単に探せる” 「顔検索機能」を実現したい! 我が子の顔写真をアップロード→検索結果表示 顔写真アップロード 検索結果表示
8 • これまでも、いくつか顔認識製品を検証してきた ◦ 「速い、安い、高精度」がなかなか見つからない… • 顔認識エンジンを社内で開発することも検討 ◦ 技術的に困難… 顔検索機能実現のために
9 • これまでも、いくつか顔認識製品を検証してきた ◦ 「速い、安い、高精度」がなかなか見つからない… • 顔認識エンジンを社内で開発することも検討 ◦ 技術的に困難… 顔検索機能実現のために
自社サービスに実用的なインテリジェンスを 追加することは無理なのか…
10 • これまでも、いくつか顔認識製品を検証してきた ◦ 「速い、安い、高精度」がなかなか見つからない… • 顔認識エンジンを社内で開発することも検討 ◦ 技術的に困難… 顔検索機能実現のために
諦めかけたその時、 一筋の光明が差してきました! Amazon Rekognition
11 目次 • はいチーズ!の紹介 ◦ はいチーズ!というWebサービス ◦ はいチーズ!の課題 • Amazon
Rekognition導入の経緯と結果 ◦ 導入の経緯 ◦ その結果
12 AWSのAI 3つのレイヤー・3種類のサービス サービス 学習済みのAIを使いたい プラットフォーム 機械学習でAIを開発したい インフラ・フレームワーク 機械学習でAIを開発したい Amazon
Lex Amazon Polly Amazon Transcribe... Amazon Rekognition Amazon Rekognition Video ChatBotを作るための サービス 自然言語処理のための サービス 画像や動画の分析が できるサービス
13 Amazon Rekognitionとは • AmazonのAIサービスの1つ ◦ 学習済みのAIをサービスとして利用可能 • Rekognitionでできること ◦
画像の物体、シーン、顔の検出 ◦ 顔の表情の分析 ◦ 有名人の認識 ◦ テキストの認識 ◦ 顔と顔が似ているかどうかの判定 これで顔検索を 実現できる!
14 RekognitionのAPI 顔検索する場合に必要なAPIは以下の3つ • CreateCollection 顔コレクションを作成 • IndexFaces 顔メタデータ(顔の特徴を表すベクトル)を顔コレクションに追加 •
SearchFacesByImage 指定した画像で顔コレクション内の類似画像を検索
15 1.顔コレクションを作成。入れ物を作る 顔分析用 Rekognitionで顔検索する手順 AWS SDK AWS SDK AWS SDK
Face Collection test_faces 被検索画像指定 ※被検索画像に対して実行 ※メタデータ (特徴情報)のみ保持 検索画像指定 ※検索画像も被検索画像も、 S3上にある前提 CreateCollection (collection-id test_faces ) 画像分析 顔メタデータ追加 SearchFacesByImage 画像分析 検索画像用 検索! 検索結果(JSON)を応答 IndexFaces 2.顔メタデータを追加。入れ物に顔を入れる 3.指定した画像で顔コレクション内の類似画像を検索
16 Rekognitionの優位性 他社製品と比較して、Rekognitionが優位なポイント • S3上の画像を直接処理できる S3とRekognitionの高い親和性 • 顔メタデータ作成がスケール 1日数十万枚処理することもあるので、スケーラビリティ必須 •
顔メタデータ保持コストが安い 1 か月あたり、顔メタデータ 1,000 件あたりの保持コスト => 0.01 USD • 精度が高い 日本人かつ幼児が検索対象でも認識率や検索精度は高い • 検索が速い 数万件以上の顔メタデータから、1、2秒で検索結果を応答
17 Rekognition 2つの課題点(当時) • 東京リージョンにまだきてない問題(当時) • 1画像から同時検出できる顔の数が上限15である問題(当時) • 多くの優位性を兼ね備えたRekognition •
導入を決定してから1ヶ月程度でリリース しかし、Rekognitionには課題もありました・・・(当時)
18 東京リージョンにまだ来てない問題(当時) • Rekognitionは同リージョンのS3に対して処理が可能 ◦ 当時はバージニア北部、オレゴン、アイルランドのみ ◦ はいチーズ!の画像は東京リージョンのS3にある • 東京リージョンから他リージョンへ画像コピーが必要?
=>S3コスト保管コスト2倍・・・
19 東京リージョンにまだ来てない問題 解決策 顔メタデータ作成後にライフサイクルで画像を削除! ◦ 顔メタデータ作成後は画像は不要 ◦ バケットのライフサイクルで、一定時間経過で削除 ◦ 配信に使うのは東京リージョンの画像
東京 オレゴン 画像をコピー オレゴンの画像は 一定時間で消える イベントをトリガーに lambda起動 IndexFacesを実行
20 ちなみに・・・ AWSさん、ありがとうございます!
21 • 顔検出のための制約がある(当時) ◦ 1画像から同時に検出できる上限が15人 ◦ 小さい顔は検出できない ▪ 画像の短辺の5%以上ないと検出されない •
「顔が小さく、大人数」=「集合写真」が扱えない 1画像から同時検出できる顔の数が上限15である問題(当時)
22 黄色と緑の枠で 分割して処理 ↓ 検出数が15に 達したら、さらに 点線で分割して処理 1画像から同時検出できる顔の数が上限15である問題 解決策 分割して段階的に処理して解決!
23 ちなみに・・・ • 現在は1画像あたり最 大100個検出可能 (人混みモード)。 • 分割処理は役目を終 えました。 弊社のコメント→
弊社からフィードバック →機能追加! ありがとうございます!
24 デモ <ご注意ください> デモ画面の園児の写真は、 写真撮影はご遠慮くださいますよう、 お願い致します。
25 原因を考察 • 検索に使用する画像を持っていない • 検索に適した画像をアップしていない • 子どもの画像をアップすることに抵抗感がある 顔検索機能 導入結果
• ベータリリースとして、一部のお客様にご利用頂いた • 効果がなかなか現れず、使用率が低い時期が続いた
26 原因を考察 • 検索に使用する画像を持っていない • 検索に適した画像をアップしていない • 子どもの画像をアップすることに抵抗感がある 解決策 画像をアップロードしなくても
機能が使えるようにすれば良さそう
27 おすすめ写真機能を導入 おすすめ写真機能 注文履歴を分析 そのユーザが購入したい子の顔を特定 その顔を使って写真検索 検索結果を「おすすめ写真」として表示 おすすめ写真
28 おすすめ写真機能 導入結果 ユーザの使用率が向上! 結果、コンバージョン率が向上! ※ここで言うコンバージョン率とは、ある写真を実際に購入したユーザーの数を その写真のページを見たユーザーの数で割った時のパーセンテージ
29 まとめ AIの力で、忙しいママ・パパの我が子の 写真探しをお手伝いすることができました ◦ コストを抑えて、 スピード感のある開発 ができる ◦ 弊社からフィードバック
送信→機能開発 ◦ 忙しいママ・パパを助けた いという思い ◦ 新しい技術を即検証・ 即本番投入
30 ご静聴ありがとうございました ※エンジニア募集中です!