Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[SORACOMUG]S+Cameraを利用して在庫チェックをやってみた / Inventor...
Search
Takanori Suzuki
February 04, 2020
Technology
0
71
[SORACOMUG]S+Cameraを利用して在庫チェックをやってみた / InventoryManagement-with-SORACOM-SCAMERA
SORACOM UG Tokyo #14
SORACOM S+Cameraを利用して在庫チェックをやってみた
Takanori Suzuki
February 04, 2020
Tweet
Share
More Decks by Takanori Suzuki
See All by Takanori Suzuki
ChatGPTとKarateで実現するシン・BDD / Realizing New BDD through ChatGPT and Karate
takanorig
2
3.6k
KarateによるBDDベースのAPIテスト / BDD based API-Testing with Karate
takanorig
1
960
AIカメラで社内販売の品切れを検知して残念な結果になるのを回避した話 / Detecting out of stock items with using AI Camera
takanorig
0
2.2k
フル・サーバーレスでサービスを作る話 / Make the full-stack-serverless service
takanorig
1
280
IoTサービスのエッジからクラウドまでServerlessFrameworkで構築する / Deploying-IoT-Service-from-Edge-to-Cloud-with-ServerlessFramework
takanorig
0
320
Karateによる UI Test Automation 革命 / UITests-Automation-with-Karate
takanorig
0
340
スマート工場に向けたIoTデータ分析の実際のところ / SmartFactory-IoT-Data-Analytics
takanorig
0
150
人生がときめくAPIテスト自動化 with Karate / SparkingJoy-for-API-Testing-Automation-with-Karate
takanorig
0
700
マイクロサービスにおけるテスト自動化 with Karate / Microservices-Testing-Automation-with-Karate
takanorig
1
2.2k
Other Decks in Technology
See All in Technology
AIが住民向けコンシェルジュに?Amazon Connectと生成AIで実現する自治体AIエージェント!
yuyeah
0
210
GCASアップデート(202506-202508)
techniczna
0
210
ABEMAにおける 生成AI活用の現在地 / The Current Status of Generative AI at ABEMA
dekatotoro
0
310
Foundation Model × VisionKit で実現するローカル OCR
sansantech
PRO
1
420
LLM時代の検索とコンテキストエンジニアリング
shibuiwilliam
2
640
Backlog AI アシスタントが切り開く未来
vvatanabe
1
170
Amazon Inspector コードセキュリティで手軽に実現するシフトレフト
maimyyym
0
140
メルカリIBIS:AIが拓く次世代インシデント対応
0gm
2
460
MySQL HeatWave:サービス概要のご紹介
oracle4engineer
PRO
3
1.6k
はじめての転職講座/The Guide of First Career Change
kwappa
5
4.4k
プロダクトエンジニアリングで開発の楽しさを拡張する話
barometrica
0
210
Mackerel in さくらのクラウド
cubicdaiya
1
300
Featured
See All Featured
Rails Girls Zürich Keynote
gr2m
95
14k
The Pragmatic Product Professional
lauravandoore
36
6.8k
Designing Experiences People Love
moore
142
24k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.8k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
6k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
183
54k
jQuery: Nuts, Bolts and Bling
dougneiner
64
7.8k
Scaling GitHub
holman
462
140k
Bash Introduction
62gerente
614
210k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
Transcript
1 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
SORACOM S+ Camera を利⽤して 在庫チェックをやってみた 2020/02/04 Acroquest Technology Co., Ltd. 鈴⽊ 貴典 SORACOM UG #14
Copyright © Acroquest Technology Co., Ltd. All rights reserved. 2
⾃⼰紹介 n 所属 • Acroquest Technology Co., Ltd. n 主な業務分野 • システムアーキテクト • IoTサービス開発 • ビッグデータ処理プラットフォーム • サーバーレス・アーキテクチャ n バックグラウンド • エンタープライズ/ミッションクリティカル • SEPG/開発/マネジメント • Java/Python 鈴⽊ 貴典 シニアテクニカルアーキテクト Acro = 先端を quest = 探究する
Acroquestのミッション・ビジョン Copyright © Acroquest Technology Co., Ltd. All rights reserved.
3 テクノロジストチームとして ビジネスの⾰新的価値創出に挑戦する ビジョン Acroquestの創り出す技術で 地球を感動で進化させる ミッション
TorrentioVideo 産業向け 映像・動画解析 AIソリューション S+ Camera AI パートナー
在庫チェックの⼤変さ Copyright © Acroquest Technology Co., Ltd. All rights reserved.
5 ① その場に⾏かないと分からない →⼈の時間が取られる ② 商品が⽋品になるとクレームになる →顧客満⾜度の低下になる ③ スペースを有効活⽤したい →空き状況を把握する必要あり
画像解析を利⽤した在庫チェック Copyright © Acroquest Technology Co., Ltd. All rights reserved.
6 ① ⾒た⽬の内容で チェックができる ② 常に最新の情報を 得ることができる ③ ハンディ―ターミナル 等の⾼価な設備投資が 不要である Pros. ① 在庫といっても対象の モノのカタチは様々 ② 通信⼿段(ネット ワーク)の確保が 難しい場合がある ③ 倉庫などの場所が 離れている Cons.
モチベーション Copyright © Acroquest Technology Co., Ltd. All rights reserved.
7 S+ Camera を利⽤すれば解決できることが多いのでは︖ ① 簡単に設置したい ② リモートからコントール できるようにしたい ③ 固定アルゴリズムではなく お客様や⽬的に応じて 処理内容を変更したい ※回転/⾓度の調整は⼿動です。
パンの品切れチェックに活かしてみた Copyright © Acroquest Technology Co., Ltd. All rights reserved.
8 ① フロアが違ったり、席が遠かったりすると その場まで⾏って商品が無かったときの ガッカリ感が強い ② パンの仕⼊れ担当としても 常に残数を気にしてられない これまでの課題
パン品切れチェックの構成 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
9 事前準備 稼働時の動作 • パンの物体検出のためのモデルを TorrentioVideoで作成 (今回はTensorFlowを利⽤) • S+ Camera上で エッジ処理が動作するように TorrentioVideo(エッジモジュール) をインストール • モデルのデプロイ • 定期的なカメラ画像の撮影 • パンが無くなったときの 検知と通知
モデル⽣成とエッジ処理の検証 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
10 ②撮影した画像を Harvest Files にUP ④⽣成したモデルを S+ Cameraにデプロイ Harvest Napter ①画像を撮影 ③撮影した画像を使って 学習+モデル⽣成 ⑤エッジAIの処理を 検証 Mosaic
モデル⽣成とエッジ処理の検証 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
11 ②撮影した画像を Harvest Files にUP ④⽣成したモデルを S+ Cameraにデプロイ Harvest Napter ①画像を撮影 ③撮影した画像を使って 学習+モデル⽣成 ⑤エッジAIの処理を 検証 Mosaic 検証のサイクルを 素早く回せる
パン品切れチェックIoTが完成︕ Copyright © Acroquest Technology Co., Ltd. All rights reserved.
12 • パンの種類まで学習させるのは 商品⼊れ替え時の⼿間が⼤きくかかるので キャビネット中の位置で種類を判定する ようにした。 • 解析した画像を、定期的に Harvest Files に アップし、状況を確認できるようにした。 • ⽋品になったときは、MS Teams に通知する。
今回の構築でハマったポイント Copyright © Acroquest Technology Co., Ltd. All rights reserved.
13 ①Mosaic上にPythonパッケージを pipインストールすることが できなかった(scikit-learnなど) α版のInventoryAgent を提供して 頂き、無事にインストール成功。 解決 ②デプロイに失敗する問題が発⽣ (デプロイ⽤シェルが毎回エラー) デプロイサイズが⼤き過ぎた様⼦。 Napterを使って、SCPで直接 S+Cameraにデプロイした。 解決 ③カメラで取得した画像に ⾚みがかかった状態になる カメラ⾃体に⾚外線遮断フィルタ がないため、そのようになる様⼦。 ※暗い場所でも撮影しやすいカメラを利⽤ しているそうです。 解決
S+ Cameraを使って良かったこと Copyright © Acroquest Technology Co., Ltd. All rights
reserved. 14 エッジ+カメラ+電源がひとつに まとまっているのでが簡単 リモートからデプロイできるので 学習⇔検証のサイクルが早い • SIMを挿して電源を繋げば すぐに開始できる • SORACOM Mosaic上で 画像の撮影も簡単にできる • リモートからでもPoCが可能 • Harvest Filesとの連係は便利 セキュリティ的にも安⼼ • デプロイするのに 外部からの接続ポートを空けて おかなくても良い
今後やりたいこと Copyright © Acroquest Technology Co., Ltd. All rights reserved.
15 現状の Raspberry Pi3ベースだと リアルタイムでの解析性能は 3〜4FPSぐらいが限界 ※カメラ⾃体のフレームレートは 30〜90FPS S+ Camera Raspberry Pi4版 (USB3.0) Coral Accelerator Edge TPU + リアルタイムでの 映像解析にチャレンジ︕ ⾼速に動く対象を 解析するのは難しい
おまけ – AI猫カメラ Copyright © Acroquest Technology Co., Ltd. All
rights reserved. 16 Interfaceにて連載(CQ出版社, 2018年) • Raspberry Pi を使って 猫を検知 • 猫カフェにカメラを設置し、 ⽇常の様⼦をSNSでファン に発信 • 猫がカメラフレーム内に いるときだけ撮影・通知 • ⼈が映り込んでいるとき には “あえて” 通知を しないようにしている (プライバシー保護)
Evolve the Earth with Emotion of Technology Copyright © Acroquest
Technology Co., Ltd. All rights reserved. 17 ご清聴ありがとうございました。