Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ソラカメ + Lobe + AWS Lambda + TensorFlow Lite で鍵の閉め忘れを検知する

SORACOM
PRO
December 13, 2022

ソラカメ + Lobe + AWS Lambda + TensorFlow Lite で鍵の閉め忘れを検知する

2022年12月13日開催「SORACOM UG Online #14 ~ ソラカメ API & ゆく年くる年」で、ソラコム三國(mick)が発表した資料です。

SORACOM
PRO

December 13, 2022
Tweet

More Decks by SORACOM

Other Decks in Technology

Transcript

  1. ソラカメ + Lobe + AWS Lambda + Tensorflow Lite
    で鍵の閉め忘れを検知する
    SORACOM UG Online #14 ~ソラカメAPI&行く年来る年~
    Dec. 13, 2022
    株式会社ソラコム
    Customer Reliability Engineer
    三國直樹 (mick / @n_mikuni)

    View Slide

  2. 自己紹介
    三國直樹 (mick)
    Customer Reliability Engineer
    SORACOM の技術サポートやドキュメント等を
    担当
    今年の抱負: 一に健康、二に家族、三に仕事

    View Slide

  3. 師走は慌ただしい
    https://www.meti.go.jp/statistics/toppage/report/minikaisetsu/hitokoto_kako/20151207hitokoto.html

    View Slide

  4. IoT 現場 (家庭) の心配事
    やることが多い。
    年末は防犯も心配だ。
    あれ、玄関の
    鍵閉めたっけ?

    View Slide

  5. 作ったもの
    • 鍵の開閉を認識し LINE で通知

    View Slide

  6. 構成
    Amazon EventBridge LINE Notify
    Soracom Cloud Camera Services
    AWS Lambda (ハンドラ)
    AWS Lambda (推論)
    1. 定期的な呼び出し 4. 通知
    3. 推論
    2. 静止画像の取り出し

    View Slide

  7. 1. アカウントを準備する (SORACOM、LINE Notify、AWS)
    2. 物理環境を用意する (ソラカメ対応カメラ)
    3. 画像認識のためのモデルを作成する (Lobe)
    4. AWS Serverless Application Model + Docker を使ってデプロイする
    Ref: https://github.com/nmikuni/door-key-open-detector
    構築手順

    View Slide

  8. 物理環境を用意する (ソラカメ対応カメラ)

    View Slide

  9. ラベリング・トレーニング・利用 (エクスポート) が簡単にできる
    画像認識のためのモデルを作成する (Lobe)

    View Slide

  10. デプロイ
    AWS Lambda
    Serverless Application Model
    Docker
    template.yaml
    Dockerfile

    View Slide

  11. 気になる精度…
    トレーニングデータでは最高で 9 割
    たまに誤判定している

    View Slide

  12. Bounding box がないから…?(下は Amazon SageMaker Ground Truth の例)
    仮説

    View Slide

  13. Bounding box がないなら、
    トリミングだ!!

    View Slide

  14. Microsoft Paint で狙いを定めて

    View Slide

  15. Python でトリミング!

    View Slide

  16. Lobe 上では 100% の精度を達成

    View Slide

  17. Lambda でも推論する画像をトリミング

    View Slide

  18. トリミングの位置をハードコーディングしているため
    カメラの固定は不可欠

    View Slide

  19. (今のところ) 100% の精度を達成!
    結果

    View Slide

  20. • ソラカメ API で簡単に画像をエクスポートできる
    • Lobe も簡単に使うことができる
    • Serverless Application Model を使うことで、Lambda で Tensorflow Lite を動かせる
    (ブログに書いたが、ビルドはやや大変)
    • イベント API と組み合わせて、イベントがあった時にだけ Lambda をトリガー
    するようにしたい
    まとめ

    View Slide

  21. View Slide