Amazon Rekognitionを使ったインターホンハック

Slide 1

Slide 1 text

Amazon Rekognitionを使ったインターホンハック KMiura(@k_miura_io)

Slide 2

Slide 2 text

自己紹介 • 三浦耕生(こうき) • Acallのバックエンドエンジニア • JAWS UG名古屋＆神戸運営 • 好きなAWSのサービス：AWS IoT, Lambda, ECS @k_miura_io koki.miura05

Slide 3

Slide 3 text

今回のテーマ

Slide 4

Slide 4 text

AWSでスマートホーム化計画 • 築20年超えのマンションには何もスマートホーム要素が無い • QOLを上げるためにありとあらゆるハックをしてきた

Slide 5

Slide 5 text

例えばこんなことカーテン＆ライトコーヒーメーカー

Slide 6

Slide 6 text

次なるターゲット

Slide 7

Slide 7 text

マンションあるある • エントランスはオートロック • 鍵は2つ持ち(最近のマンションはそうでも無いらしい) • 大体カメラ付き

Slide 8

Slide 8 text

顔認証でエントランスを突破したい

Slide 9

Slide 9 text

僕のバックグラウンド • 実は情報系ではなくロボット工学の専攻 • C、C++がメイン • ロボットで使われる技術の一つとして画像認識をバリバリ触っていた

Slide 10

Slide 10 text

Open CV • インテルのエンジニアが開発したオープンソースのコンピュータビジョン向けライブラリ • ディープラーニングモデルを使った画像検出や画像表示に使えるGUIのサポートもある • ロボット工学、AI(ディープラーニング) の研究やってた人間で知らない人はいないぐらい画像認識の常識

Slide 11

Slide 11 text

しかしここで問題が • 自分の顔をフルスクラッチで学習するには膨大なデータが必要 • パワフルなGPUの載ったハイスペックなマシンが必要 • アプリ屋さんになった三浦はディープラーニングの知識はとっくに忘れた

Slide 12

Slide 12 text

Amazon Rekognitionが使えそう • AWSが提供しているクラウドベースの画像、ビデオ分析サービス • Amazonのコンピュータビジョン研究者が開発した実証済みのディープラーニング技術を使って分析をしているらしい • Recognitionじゃないよ、Rekognitionだよ

Slide 13

Slide 13 text

顔画像を比較するAPI がある • 2つの画像を比較し、それぞれに映り込んでいる画像の類似度を検出するAPIがある • 画素数が荒くてもちゃんと顔を検出してくれる • 複数の顔が映り込んでてもちゃんと検出してくれるよう

Slide 14

Slide 14 text

これで顔認証できそう

Slide 15

Slide 15 text

システム構成

Slide 16

Slide 16 text

動作の仕組み • Raspberry Piに繋いだWebカメラでインターホンのモニターの映像を撮影 • インターホンのモニターで顔を検出したら画像を保存してAmazon RekognitionのCompare Facesでベースの画像との類似度を計算 • 類似度90%超えるとサーボモータで解錠ボタンを押す • シグナルタワーは画像の検出結果のデバッグ用

Slide 17

Slide 17 text

実際の挙動 https://www.youtube.com/watch?v=WXetAa3L9NM

Slide 18

Slide 18 text

DEMO

Slide 19

Slide 19 text

まとめ • Amazon Rekognitionで思ってたより簡単に顔認証ができてしまった • 画質がどれだけ悪くても割と精度高く認識できる • 生成AIもいいけど、古のAI(ディープラーニング)もいいよ