Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ソラカメ + Lobe + AWS Lambda + TensorFlow Lite で鍵の閉め忘れを検知する
Search
SORACOM
PRO
December 13, 2022
Technology
0
470
ソラカメ + Lobe + AWS Lambda + TensorFlow Lite で鍵の閉め忘れを検知する
2022年12月13日開催「
SORACOM UG Online #14 ~ ソラカメ API & ゆく年くる年
」で、ソラコム三國(mick)が発表した資料です。
SORACOM
PRO
December 13, 2022
Tweet
Share
More Decks by SORACOM
See All by SORACOM
エバンジェリスト活動を7年やってきて見えてきた、コミュニティとエバンジェリストの関係
soracom
PRO
1
200
LLM + RAG を使った SORACOM Support Bot の裏側の歴史
soracom
PRO
1
640
SORACOM Update in Feb. 2024
soracom
PRO
0
290
IoT デバイスと Google Cloud をつなげる SORACOM
soracom
PRO
0
280
SORACOM Support Bot の開発秘話
soracom
PRO
0
970
Azure OpenAI Service を使って Q&A ボットを作る話
soracom
PRO
1
990
“BUILD”-情報社会の次「Society 5.0」を担うエンジニアの在り方と、日々進化するIT技術との付き合い方
soracom
PRO
0
380
【IoT-Tech Meetup #9】IoTとは?屋外IoTの必要性と課題の整理
soracom
PRO
0
1.2k
【IoT-Tech Meetup #9】防水防塵ハードウェア作りの注意点と実装
soracom
PRO
0
1.1k
Other Decks in Technology
See All in Technology
LLMプロダクト事業の立ち上げにおける挑戦
layerx
PRO
7
1.4k
Tohoku.Tech #1 「Cursorを使ったRaspberry Piの開発」by ねこまた
jun2882
0
250
実務への応用例から考える 変更に強いオブジェクト指向設計 / 20240324-ooc2024
bengo4com
7
5k
匠MethodとRDRAとICONIXとDDDで実現する一気通貫オブジェクト指向開発
haru860
4
1.9k
依存ライブラリはどこに?
takesection
0
100
TypeScript Quiz (Encraft #12 Frontend Quiz Night)
uhyo
2
290
Tohoku.Tech #1 「EC-CUBE/AWSの構築をChatGPTに相談してみました」by テンダ
jun2882
0
140
既存プロセスからの脱却と変化に適応するために必要なこと
cybozuinsideout
PRO
2
170
チーム単位で保守性を高める:独自指標と向上にむけた実践
tarappo
0
300
これまでのキャリアとこれからMLエンジニアとしてどう動くか
masatakashiwagi
0
270
データ化エンジニアとしての1年を振り返る
sansantech
PRO
3
250
サービスメッシュ環境における OpenTelemetry 活用 / OpenTelemetry in Service Mesh
k6s4i53rx
2
830
Featured
See All Featured
GraphQLとの向き合い方2022年版
quramy
28
12k
Code Reviewing Like a Champion
maltzj
512
39k
Fantastic passwords and where to find them - at NoRuKo
philnash
35
2.4k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
19
1.6k
What’s in a name? Adding method to the madness
productmarketing
PRO
14
2.6k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
111
35k
Large-scale JavaScript Application Architecture
addyosmani
501
110k
The Illustrated Children's Guide to Kubernetes
chrisshort
28
46k
VelocityConf: Rendering Performance Case Studies
addyosmani
319
23k
Rails Girls Zürich Keynote
gr2m
91
13k
Building a Scalable Design System with Sketch
lauravandoore
455
32k
Practical Orchestrator
shlominoach
180
9.7k
Transcript
ソラカメ + Lobe + AWS Lambda + Tensorflow Lite で鍵の閉め忘れを検知する
SORACOM UG Online #14 ~ソラカメAPI&行く年来る年~ Dec. 13, 2022 株式会社ソラコム Customer Reliability Engineer 三國直樹 (mick / @n_mikuni)
自己紹介 三國直樹 (mick) Customer Reliability Engineer SORACOM の技術サポートやドキュメント等を 担当 今年の抱負:
一に健康、二に家族、三に仕事
師走は慌ただしい https://www.meti.go.jp/statistics/toppage/report/minikaisetsu/hitokoto_kako/20151207hitokoto.html
IoT 現場 (家庭) の心配事 やることが多い。 年末は防犯も心配だ。 あれ、玄関の 鍵閉めたっけ?
作ったもの • 鍵の開閉を認識し LINE で通知
構成 Amazon EventBridge LINE Notify Soracom Cloud Camera Services AWS
Lambda (ハンドラ) AWS Lambda (推論) 1. 定期的な呼び出し 4. 通知 3. 推論 2. 静止画像の取り出し
1. アカウントを準備する (SORACOM、LINE Notify、AWS) 2. 物理環境を用意する (ソラカメ対応カメラ) 3. 画像認識のためのモデルを作成する (Lobe)
4. AWS Serverless Application Model + Docker を使ってデプロイする Ref: https://github.com/nmikuni/door-key-open-detector 構築手順
物理環境を用意する (ソラカメ対応カメラ)
ラベリング・トレーニング・利用 (エクスポート) が簡単にできる 画像認識のためのモデルを作成する (Lobe)
デプロイ AWS Lambda Serverless Application Model Docker template.yaml Dockerfile
気になる精度… トレーニングデータでは最高で 9 割 たまに誤判定している
Bounding box がないから…?(下は Amazon SageMaker Ground Truth の例) 仮説
Bounding box がないなら、 トリミングだ!!
Microsoft Paint で狙いを定めて
Python でトリミング!
Lobe 上では 100% の精度を達成
Lambda でも推論する画像をトリミング
トリミングの位置をハードコーディングしているため カメラの固定は不可欠
(今のところ) 100% の精度を達成! 結果
• ソラカメ API で簡単に画像をエクスポートできる • Lobe も簡単に使うことができる • Serverless Application
Model を使うことで、Lambda で Tensorflow Lite を動かせる (ブログに書いたが、ビルドはやや大変) • イベント API と組み合わせて、イベントがあった時にだけ Lambda をトリガー するようにしたい まとめ
None