1 Copyright © Acroquest Technology Co., Ltd. All rights reserved. SORACOM S+ Camera を利⽤して 在庫チェックをやってみた 2020/02/04 Acroquest Technology Co., Ltd. 鈴⽊ 貴典 SORACOM UG #14

Copyright © Acroquest Technology Co., Ltd. All rights reserved. 2 ⾃⼰紹介 n 所属 • Acroquest Technology Co., Ltd. n 主な業務分野 • システムアーキテクト • IoTサービス開発 • ビッグデータ処理プラットフォーム • サーバーレス・アーキテクチャ n バックグラウンド • エンタープライズ／ミッションクリティカル • SEPG／開発／マネジメント • Java／Python 鈴⽊ 貴典 シニアテクニカルアーキテクト Acro = 先端を quest = 探究する

Acroquestのミッション・ビジョン Copyright © Acroquest Technology Co., Ltd. All rights reserved. 3 テクノロジストチームとして ビジネスの⾰新的価値創出に挑戦する ビジョン Acroquestの創り出す技術で 地球を感動で進化させる ミッション

TorrentioVideo 産業向け 映像・動画解析 AIソリューション S+ Camera AI パートナー

在庫チェックの⼤変さ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 5 ① その場に⾏かないと分からない →⼈の時間が取られる ② 商品が⽋品になるとクレームになる →顧客満⾜度の低下になる ③ スペースを有効活⽤したい →空き状況を把握する必要あり

画像解析を利⽤した在庫チェック Copyright © Acroquest Technology Co., Ltd. All rights reserved. 6 ① ⾒た⽬の内容で チェックができる ② 常に最新の情報を 得ることができる ③ ハンディ―ターミナル 等の⾼価な設備投資が 不要である Pros. ① 在庫といっても対象の モノのカタチは様々 ② 通信⼿段（ネット ワーク）の確保が 難しい場合がある ③ 倉庫などの場所が 離れている Cons.

モチベーション Copyright © Acroquest Technology Co., Ltd. All rights reserved. 7 S+ Camera を利⽤すれば解決できることが多いのでは︖ ① 簡単に設置したい ② リモートからコントール できるようにしたい ③ 固定アルゴリズムではなく お客様や⽬的に応じて 処理内容を変更したい ※回転／⾓度の調整は⼿動です。

パンの品切れチェックに活かしてみた Copyright © Acroquest Technology Co., Ltd. All rights reserved. 8 ① フロアが違ったり、席が遠かったりすると その場まで⾏って商品が無かったときの ガッカリ感が強い ② パンの仕⼊れ担当としても 常に残数を気にしてられない これまでの課題

パン品切れチェックの構成 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 9 事前準備 稼働時の動作 • パンの物体検出のためのモデルを TorrentioVideoで作成 （今回はTensorFlowを利⽤） • S＋ Camera上で エッジ処理が動作するように TorrentioVideo（エッジモジュール） をインストール • モデルのデプロイ • 定期的なカメラ画像の撮影 • パンが無くなったときの 検知と通知

モデル⽣成とエッジ処理の検証 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 10 ②撮影した画像を Harvest Files にUP ④⽣成したモデルを S＋ Cameraにデプロイ Harvest Napter ①画像を撮影 ③撮影した画像を使って 学習＋モデル⽣成 ⑤エッジAIの処理を 検証 Mosaic

モデル⽣成とエッジ処理の検証 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 11 ②撮影した画像を Harvest Files にUP ④⽣成したモデルを S＋ Cameraにデプロイ Harvest Napter ①画像を撮影 ③撮影した画像を使って 学習＋モデル⽣成 ⑤エッジAIの処理を 検証 Mosaic 検証のサイクルを 素早く回せる

パン品切れチェックIoTが完成︕ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 12 • パンの種類まで学習させるのは 商品⼊れ替え時の⼿間が⼤きくかかるので キャビネット中の位置で種類を判定する ようにした。 • 解析した画像を、定期的に Harvest Files に アップし、状況を確認できるようにした。 • ⽋品になったときは、MS Teams に通知する。

今回の構築でハマったポイント Copyright © Acroquest Technology Co., Ltd. All rights reserved. 13 ①Mosaic上にPythonパッケージを pipインストールすることが できなかった（scikit-learnなど） α版のInventoryAgent を提供して 頂き、無事にインストール成功。 解決 ②デプロイに失敗する問題が発⽣ （デプロイ⽤シェルが毎回エラー） デプロイサイズが⼤き過ぎた様⼦。 Napterを使って、SCPで直接 S+Cameraにデプロイした。 解決 ③カメラで取得した画像に ⾚みがかかった状態になる カメラ⾃体に⾚外線遮断フィルタ がないため、そのようになる様⼦。 ※暗い場所でも撮影しやすいカメラを利⽤ しているそうです。 解決

S＋ Cameraを使って良かったこと Copyright © Acroquest Technology Co., Ltd. All rights reserved. 14 エッジ＋カメラ＋電源がひとつに まとまっているのでが簡単 リモートからデプロイできるので 学習⇔検証のサイクルが早い • SIMを挿して電源を繋げば すぐに開始できる • SORACOM Mosaic上で 画像の撮影も簡単にできる • リモートからでもPoCが可能 • Harvest Filesとの連係は便利 セキュリティ的にも安⼼ • デプロイするのに 外部からの接続ポートを空けて おかなくても良い

今後やりたいこと Copyright © Acroquest Technology Co., Ltd. All rights reserved. 15 現状の Raspberry Pi3ベースだと リアルタイムでの解析性能は 3〜4FPSぐらいが限界 ※カメラ⾃体のフレームレートは 30〜90FPS S＋ Camera Raspberry Pi4版 （USB3.0） Coral Accelerator Edge TPU ＋ リアルタイムでの 映像解析にチャレンジ︕ ⾼速に動く対象を 解析するのは難しい

おまけ – AI猫カメラ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 16 Interfaceにて連載（CQ出版社, 2018年） • Raspberry Pi を使って 猫を検知 • 猫カフェにカメラを設置し、 ⽇常の様⼦をSNSでファン に発信 • 猫がカメラフレーム内に いるときだけ撮影・通知 • ⼈が映り込んでいるとき には “あえて” 通知を しないようにしている （プライバシー保護）

Evolve the Earth with Emotion of Technology Copyright © Acroquest Technology Co., Ltd. All rights reserved. 17 ご清聴ありがとうございました。