Upgrade to Pro — share decks privately, control downloads, hide ads and more …

[SORACOMUG]S+Cameraを利用して在庫チェックをやってみた / InventoryManagement-with-SORACOM-SCAMERA

[SORACOMUG]S+Cameraを利用して在庫チェックをやってみた / InventoryManagement-with-SORACOM-SCAMERA

SORACOM UG Tokyo #14
SORACOM S+Cameraを利用して在庫チェックをやってみた

Takanori Suzuki

February 04, 2020
Tweet

More Decks by Takanori Suzuki

Other Decks in Technology

Transcript

  1. 1 Copyright © Acroquest Technology Co., Ltd. All rights reserved.

    SORACOM S+ Camera を利⽤して 在庫チェックをやってみた 2020/02/04 Acroquest Technology Co., Ltd. 鈴⽊ 貴典 SORACOM UG #14
  2. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 2

    ⾃⼰紹介 n 所属 • Acroquest Technology Co., Ltd. n 主な業務分野 • システムアーキテクト • IoTサービス開発 • ビッグデータ処理プラットフォーム • サーバーレス・アーキテクチャ n バックグラウンド • エンタープライズ/ミッションクリティカル • SEPG/開発/マネジメント • Java/Python 鈴⽊ 貴典 シニアテクニカルアーキテクト Acro = 先端を quest = 探究する
  3. Acroquestのミッション・ビジョン Copyright © Acroquest Technology Co., Ltd. All rights reserved.

    3 テクノロジストチームとして ビジネスの⾰新的価値創出に挑戦する ビジョン Acroquestの創り出す技術で 地球を感動で進化させる ミッション
  4. 在庫チェックの⼤変さ Copyright © Acroquest Technology Co., Ltd. All rights reserved.

    5 ① その場に⾏かないと分からない →⼈の時間が取られる ② 商品が⽋品になるとクレームになる →顧客満⾜度の低下になる ③ スペースを有効活⽤したい →空き状況を把握する必要あり
  5. 画像解析を利⽤した在庫チェック Copyright © Acroquest Technology Co., Ltd. All rights reserved.

    6 ① ⾒た⽬の内容で チェックができる ② 常に最新の情報を 得ることができる ③ ハンディ―ターミナル 等の⾼価な設備投資が 不要である Pros. ① 在庫といっても対象の モノのカタチは様々 ② 通信⼿段(ネット ワーク)の確保が 難しい場合がある ③ 倉庫などの場所が 離れている Cons.
  6. モチベーション Copyright © Acroquest Technology Co., Ltd. All rights reserved.

    7 S+ Camera を利⽤すれば解決できることが多いのでは︖ ① 簡単に設置したい ② リモートからコントール できるようにしたい ③ 固定アルゴリズムではなく お客様や⽬的に応じて 処理内容を変更したい ※回転/⾓度の調整は⼿動です。
  7. パンの品切れチェックに活かしてみた Copyright © Acroquest Technology Co., Ltd. All rights reserved.

    8 ① フロアが違ったり、席が遠かったりすると その場まで⾏って商品が無かったときの ガッカリ感が強い ② パンの仕⼊れ担当としても 常に残数を気にしてられない これまでの課題
  8. パン品切れチェックの構成 Copyright © Acroquest Technology Co., Ltd. All rights reserved.

    9 事前準備 稼働時の動作 • パンの物体検出のためのモデルを TorrentioVideoで作成 (今回はTensorFlowを利⽤) • S+ Camera上で エッジ処理が動作するように TorrentioVideo(エッジモジュール) をインストール • モデルのデプロイ • 定期的なカメラ画像の撮影 • パンが無くなったときの 検知と通知
  9. モデル⽣成とエッジ処理の検証 Copyright © Acroquest Technology Co., Ltd. All rights reserved.

    10 ②撮影した画像を Harvest Files にUP ④⽣成したモデルを S+ Cameraにデプロイ Harvest Napter ①画像を撮影 ③撮影した画像を使って 学習+モデル⽣成 ⑤エッジAIの処理を 検証 Mosaic
  10. モデル⽣成とエッジ処理の検証 Copyright © Acroquest Technology Co., Ltd. All rights reserved.

    11 ②撮影した画像を Harvest Files にUP ④⽣成したモデルを S+ Cameraにデプロイ Harvest Napter ①画像を撮影 ③撮影した画像を使って 学習+モデル⽣成 ⑤エッジAIの処理を 検証 Mosaic 検証のサイクルを 素早く回せる
  11. パン品切れチェックIoTが完成︕ Copyright © Acroquest Technology Co., Ltd. All rights reserved.

    12 • パンの種類まで学習させるのは 商品⼊れ替え時の⼿間が⼤きくかかるので キャビネット中の位置で種類を判定する ようにした。 • 解析した画像を、定期的に Harvest Files に アップし、状況を確認できるようにした。 • ⽋品になったときは、MS Teams に通知する。
  12. 今回の構築でハマったポイント Copyright © Acroquest Technology Co., Ltd. All rights reserved.

    13 ①Mosaic上にPythonパッケージを pipインストールすることが できなかった(scikit-learnなど) α版のInventoryAgent を提供して 頂き、無事にインストール成功。 解決 ②デプロイに失敗する問題が発⽣ (デプロイ⽤シェルが毎回エラー) デプロイサイズが⼤き過ぎた様⼦。 Napterを使って、SCPで直接 S+Cameraにデプロイした。 解決 ③カメラで取得した画像に ⾚みがかかった状態になる カメラ⾃体に⾚外線遮断フィルタ がないため、そのようになる様⼦。 ※暗い場所でも撮影しやすいカメラを利⽤ しているそうです。 解決
  13. S+ Cameraを使って良かったこと Copyright © Acroquest Technology Co., Ltd. All rights

    reserved. 14 エッジ+カメラ+電源がひとつに まとまっているのでが簡単 リモートからデプロイできるので 学習⇔検証のサイクルが早い • SIMを挿して電源を繋げば すぐに開始できる • SORACOM Mosaic上で 画像の撮影も簡単にできる • リモートからでもPoCが可能 • Harvest Filesとの連係は便利 セキュリティ的にも安⼼ • デプロイするのに 外部からの接続ポートを空けて おかなくても良い
  14. 今後やりたいこと Copyright © Acroquest Technology Co., Ltd. All rights reserved.

    15 現状の Raspberry Pi3ベースだと リアルタイムでの解析性能は 3〜4FPSぐらいが限界 ※カメラ⾃体のフレームレートは 30〜90FPS S+ Camera Raspberry Pi4版 (USB3.0) Coral Accelerator Edge TPU + リアルタイムでの 映像解析にチャレンジ︕ ⾼速に動く対象を 解析するのは難しい
  15. おまけ – AI猫カメラ Copyright © Acroquest Technology Co., Ltd. All

    rights reserved. 16 Interfaceにて連載(CQ出版社, 2018年) • Raspberry Pi を使って 猫を検知 • 猫カフェにカメラを設置し、 ⽇常の様⼦をSNSでファン に発信 • 猫がカメラフレーム内に いるときだけ撮影・通知 • ⼈が映り込んでいるとき には “あえて” 通知を しないようにしている (プライバシー保護)
  16. Evolve the Earth with Emotion of Technology Copyright © Acroquest

    Technology Co., Ltd. All rights reserved. 17 ご清聴ありがとうございました。