結婚式を支えた技術 / happiness-snap

自分の結婚式で、LINE BotとAmazon Rekognitionを使った企画（余興）を行ったので、技術的な側面を紹介します。
※社内のLT大会で登壇した資料を公開用にアレンジしたものです。

資料内でご紹介している(元ネタ)URL
- https://speakerdeck.com/motokiee/jie-hun-shi-wozhi-etaji-shu-firebasewohuo-yong-sitasabaresuiosapurikesiyonkai-fa
- https://note.mu/kokuhaku_2/n/n4decda35aef8

Transcript

1. kiwi @koga_wiwi
   NIFTY Lifestyle Co., Ltd.
   結婚式を支えた技術
   LINE Botを活用した写真共有サービスの開発
   2018/11/02 ニフティLT大会
   

   View Slide

2. 元ネタ
   https://speakerdeck.com/motokiee/jie-hun-shi-wozhi-etaji-shu-firebasewohuo-yong-sitasabaresuiosapurikesiyonkai-fa
   

   View Slide

3. 私事ですが
   • 先日結婚式を挙げました
   • 結婚式のゲスト向けにLINE Botを作ったので、
   その裏側をご紹介します
   

   View Slide

4. なぜ作ったか
   • 元ネタ (iOSDC) の発表に憧れを抱いていた
   • 自分の結婚式でも技術的なことをしたいと思っていた
   • 写真に関する悩み（解決したい課題）は同じ
   • 結婚式でみんなスマホで写真撮ってる
   • けど、新郎新婦へ共有されないものも多い
   • 写真は多いほうがいい（普通に見たいので）
   • 場所だけ用意してもなかなか上げてくれない
   → 共有してもらうためのより強い理由が必要
   

   View Slide

5. なぜアプリではなくLINEにしたか
   • アプリよりも楽
   • iOS/Android 両対応
   • ユーザーへの通知ができる
   • ゲストがインストール不要
   • アプリを入れてもらうのは大変
   • そもそもどうやって配布するか
   • LINEは多くのゲストが
   インストール済み
   • 私が作ったことがあった
   

   View Slide

6. 提供した機能
   • 式場情報の閲覧
   • 個別チャット
   • アカウントに質問が
   来ることを想定し実装
   • 積極的には使ってない
   • 事前企画
   • 思い出写真など
   • 当日企画
   • HAPPINESS SNAP
   

   View Slide

7. について
   笑顔の写真をたくさん投稿してもらうランキング企画
   

   View Slide

8. 利用イメージ
   LINEに写真を投稿 自動でスコア計算 ランキング作成
   

   View Slide

9. ほかのゲストの写真はWebから閲覧可能
   

   View Slide

10. 企画元ネタ
    https://note.mu/kokuhaku_2/n/n4decda35aef8
    

    View Slide

11. AWS Cloud
    の裏側
    レンタルサーバー サムネイル生成
    感情データ
    感情データ
    スコア計算
    結果通知
    写真
    

    View Slide

12. Amazon Rekognition について
    機械学習(Deep Learning)
    のマネージドサービス
    • オブジェクト、シーンの検出
    • 顔の検出と分析、比較
    • 画像内のテキストの抽出
    • 有名人の認識
    • 画像内の不適切なコンテンツの識別
    

    View Slide

13. Amazon Rekognition について
    顔の検出と分析
    • 画像内に含まれる人間の顔の以下を推定
    • 顔の位置（x, y, w, h）と信頼度
    • 顔の各パーツの位置
    • 笑っている？サングラスかけてる？
    口開いてる？などの特徴とその信頼度
    • 感情とその信頼度
    • 今回は感情の信頼度をもとにスコア計算
    • 笑顔判定は信頼度が高くなりやすかった
    

    View Slide

14. 判定できる感情とスコア
    「楽しい」のみスコアをプラス
    それ以外はスコアをマイナス
    2人以上はそれぞれのスコアの平均
    信頼度に応じてスコアをプラス
    笑っていれば90%代が出たため、
    95%くらいまでは加算幅が控えめ
    感情・信頼度に応じて減算幅を調整
    「悲しい」「静か」は減算が大きめ
    複数人の方が難易度が上がるため、
    ・3人以上なら一番低いスコアを除外
    ・1人の場合は最高点を98点に調整
    

    View Slide

15. 最もスコアが高かった写真
    • 「楽しい」以外の信頼度が低い
    • 2人しか写っていないので、
    スコアの平均がそのままポイントに
    

    View Slide

16. 結果とまとめ
    • LINE登録率: だいたい60%くらい
    • 招待状に同封
    • 当日の席次表にもQRコードを掲載
    • 投稿された写真の枚数: 300枚以上!!
    • 二次会以降の写真を含む
    • ゲーム要素を取り入れることで、多くの人に参加し
    てもらえたし、写真もたくさん見ることができた
    • zipで写真をアップロードできる機能を後日実装
    • デジカメで撮られた写真はLINEで上げづらい
    • Lambdaで解凍処理をしているが、メモリが厳しい
    • 商用化の壁: LINE@アカウントが結婚式ごとに必要
    

    View Slide