ソラカメ + Lobe + AWS Lambda + TensorFlow Lite で鍵の閉め忘れを検知する

2022年12月13日開催「SORACOM UG Online #14 ～ ソラカメ API & ゆく年くる年」で、ソラコム三國(mick)が発表した資料です。

Transcript

1. ソラカメ + Lobe + AWS Lambda + Tensorflow Lite で鍵の閉め忘れを検知する SORACOM UG Online #14 ～ソラカメAPI&行く年来る年～ Dec. 13, 2022 株式会社ソラコム Customer Reliability Engineer 三國直樹 (mick / @n_mikuni)
2. 自己紹介 三國直樹 (mick) Customer Reliability Engineer SORACOM の技術サポートやドキュメント等を 担当 今年の抱負: 一に健康、二に家族、三に仕事
3. 師走は慌ただしい https://www.meti.go.jp/statistics/toppage/report/minikaisetsu/hitokoto_kako/20151207hitokoto.html
4. IoT 現場 (家庭) の心配事 やることが多い。 年末は防犯も心配だ。 あれ、玄関の 鍵閉めたっけ?
5. 作ったもの • 鍵の開閉を認識し LINE で通知
6. 構成 Amazon EventBridge LINE Notify Soracom Cloud Camera Services AWS Lambda (ハンドラ) AWS Lambda (推論) 1. 定期的な呼び出し 4. 通知 3. 推論 2. 静止画像の取り出し
7. 1. アカウントを準備する (SORACOM、LINE Notify、AWS) 2. 物理環境を用意する (ソラカメ対応カメラ) 3. 画像認識のためのモデルを作成する (Lobe) 4. AWS Serverless Application Model + Docker を使ってデプロイする Ref: https://github.com/nmikuni/door-key-open-detector 構築手順
8. 物理環境を用意する (ソラカメ対応カメラ)
9. ラベリング・トレーニング・利用 (エクスポート) が簡単にできる 画像認識のためのモデルを作成する (Lobe)
10. デプロイ AWS Lambda Serverless Application Model Docker template.yaml Dockerfile
11. 気になる精度… トレーニングデータでは最高で 9 割 たまに誤判定している
12. Bounding box がないから…？(下は Amazon SageMaker Ground Truth の例) 仮説
13. Bounding box がないなら、 トリミングだ！！
14. Microsoft Paint で狙いを定めて
15. Python でトリミング！
16. Lobe 上では 100% の精度を達成
17. Lambda でも推論する画像をトリミング
18. トリミングの位置をハードコーディングしているため カメラの固定は不可欠
19. (今のところ) 100% の精度を達成！ 結果
20. • ソラカメ API で簡単に画像をエクスポートできる • Lobe も簡単に使うことができる • Serverless Application Model を使うことで、Lambda で Tensorflow Lite を動かせる (ブログに書いたが、ビルドはやや大変) • イベント API と組み合わせて、イベントがあった時にだけ Lambda をトリガー するようにしたい まとめ