Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AIとの連携で広がるIoT活用とAIカメラの可能性の追求/SORACOM Discovery ...

AIとの連携で広がるIoT活用とAIカメラの可能性の追求/SORACOM Discovery 2021 day1_7

2021年6月22日(火)SORACOM Discovery 2021 ONLINE セッション資料です。

AIとの連携で広がるIoT活用とAIカメラの可能性の追求

2020年8月に発売を開始したS+ Camera Basic。発売以降、多くのお客様のAIの取り組みにご利用いただいています。また、S+ Camera を購入前に試すことができるトライアル機能や遡り動画サポート、更には屋外でもご利用可能な防水版のS+ Camera WPも発表し、様々なシチュエーションでご利用いただけるAIカメラへと進化を遂げております。しかしながら、まだまだS+ Cameraは進化します。本セッションではS+ Cameraの“これまでの事例“と合わせてS+ Cameraの“今後へ向けた“進化とAIカメラの可能性についてお話します。

株式会社ソラコム S+ Camera プロジェクトマネージャー 齋藤 洋徳
株式会社ソラコム S+ Camera リードエンジニア 五十嵐 健

SORACOM

June 22, 2021
Tweet

More Decks by SORACOM

Other Decks in Technology

Transcript

  1. 本日のアジェンダ • ビジネスパート • S+ Camera のこれまでの歩み • 事例 •

    新発表 - ビジネス編 • 技術パート • S+ Camera におけるアルゴリズム開発手法 • 新発表 - 技術編
  2. S+ Camera Basicとは 電源刺すのみ LTE通信 小型コンピュータ 内蔵 800万画素 容易な 設置

    高い拡張性 Strictly Confidential 電源刺すのみ LTE通信 小型コンピュータ 内蔵 800万画素 容易な 設置 高い拡張性 Strictly Confidential 汎用カメラアダプタを 利用可能 SORACOM Mosaic搭載 遠隔からデバイス管理、アルゴリズム入れ替え 届いたその日に始められる 「LTE 通信内蔵 AI カメラ」
  3. # サンプルアルゴリズム一覧 内容 1 定期画像送信 SORACOM_ENV_WAIT 間隔毎に SORACOM Harvest Files

    に画像をアップロードします。 2 顔検出 カメラが人間の目線を検出すると顔の周りを切り出して、SORACOM Harvest Files へ送信 します。 3 顔検出(プライバシ) 目線を検出すると目線にモザイクをかけて SORACOM_ENV_WAIT 間隔毎に SORACOM Harvest Files の /cap/{Mosaic ID} に画像をアップロードします。 4 差分動画 1秒毎に取得した前後の画像を比較し、前後の画像に大きな変更があった画像 を SORACOM_ENV_WAIT 分のアニメーションとして SORACOM Harvest Files にアップ ロードします。 5 数字/文字読み取り 指定された範囲の数字やアルファベットを OCR によってテキスト化して、 /OCR/{Mosaic ID} に指定された範囲とテキストの情報をアップロードします。 6 物体検出 カメラに写った物体の認識と、認識した物体の位置を検出することができます。 SORACOM_ENV_WAIT 間隔毎に検出された物体のアノテーションを付加した画像を SORACOM Harvest Files へ送信します。(MobileNet SSD v2 (COCO)モデルを利用) 7 物体検出(Google Coral Edge TPU USB Accelerator) Object Detection with Google Coral Edge TPU USB Accelerator を利用できます。 (MobileNet SSD v2 (COCO)モデルを利用) 8 物体検出(動画) 物体認識した前後の動画をHarvest Filesへアップロードします。 9 ArUcoMarker Image ArUco markerで指定された範囲を切り出します。 すぐに試せるサンプルアルゴリズム
  4. 2020年 7月 USBカメラ USB Accelerator 発売開始 API 専用コンソール 2021年 2月

    トライアル機能 提供開始 2020年 10月 専用レンズ 発売開始 S+ Camera の歩み
  5. オンラインで試せる! S+ Camera Basic 無料トライアル SORACOM アカウントの 作成 S+ Camera

    Basic 管理画面 「Start trial」 ボタン 東京/赤坂のソラコムオフィス内 実機で試せる! https://info.soracom.com/Splustrial ※トライアル可能なのは サンプルアルゴリズムのみ
  6. 2020年 7月 USBカメラ USB Accelerator 発売開始 API 専用コンソール 2021年 2月

    トライアル機能 提供開始 2020年 10月 専用レンズ 発売開始 2021年 3月 動画対応 防水版 S+ Cameraリリース S+ Camera の歩み
  7. S+ Camera WP (屋外向けS+ Camera) 2021年3月 2021年4月 2021年5月 S+ Camera

    WP発売開始 先行出荷開始 & 完売 在庫補充 & 完売 2021年7月以降 販売再開予定
  8. 高速AI処理に特化した限定版 S+ Camera Basic Smart Edition S+ Camera BasicでAI処理性能を向上するためには USB

    Accelerator ③画像を送る ④AI処理 ⑤画像を戻す カメラ ①撮影& 画像を送る 小型コンピュータ ②一次処理 S+ Camera Basic ⑥クラウドへ S+ Camera Basic Smart Editionは IMX500 ②データを送る 小型コンピュータ ①撮影 &AI処理 S+ Camera Basic Smart Edition ④クラウドへ ③二次処理 + 一台で完結!
  9. 従来通りの使い方 • 遠隔操作 • デバイスコントロール • サンプルアルゴリズム ◦ 定期画像送信 ◦

    顔検出 ◦ 顔検出(プライバシ) ◦ 差分動画 ◦ 数字/文字読み取り ◦ 物体検出 ◦ 物体検出(動画) 従来のサンプルアルゴリズムに加えて ソニーのAIモデルもMosaicコンソール上からご利用可能 ソニーが提供するIMX500専用AIモ デルの利用も可能(無償/有償版あ り) リリース直後は下記のご提供から開 始します。 • Body Keypoint S+ Camera Basic Smart Edition
  10. 画素数 Basic Smart Edition Basic 1230万画素 800万画素 画角 S+ Camera

    Basic Smart Edition ◎ 夜間撮影性能 ◎ △ ◯ ※ユニットセルサイズ 1.55 um ※ユニットセルサイズ 1.12um ※製品ページのカメラスペックを元に掲載
  11. S+ Camera Basic Smart Edition 予約販売を開始!本日から S+ Camera Basic Smart

    Edition 予約受付開始 (限定販売、売切れ御免!) 2021年6月22日 2021年9月 出荷開始 ・6/22(火)から予約受付を開始します。 ・数に限りがありますので、お早めに予約お申し込みください! ・1社につき1台のみとさせていただく場合がございますのでご了承ください。 価格:71,280円(税込・送料別) ※別途月額費用が発生いたします。
  12. 自己紹介 ❑ 五十嵐 健(Ash) ➢S+ Camera Lead Engineer ❑ 経歴

    ➢SORACOM, Inc ➢S+ Camera Lead Engineer o S+ Camera の開発 ➢OpsDev Manager o 監視・運用システムの開発(Hubble) ➢〜2015 携帯電話事業会社 o 移動体向けTCP/IP Stackの開発 o プライベートクラウド基盤の開発運用 o Leading OpenStack Bare-Metal provisioning project (ironic)
  13. セッション内容 ❑ アルゴリズム開発手法 ➢カメラへのアクセス ➢アルゴリズムの開発 ➢デプロイメント結果取得 ❑ S+ Camera Basic

    Smart Edition ➢「IMX500」イメージセンサ ➢Smart Edition向けのAPI ➢AIモデルのインストール
  14. カメラへのアクセス * https://users.soracom.io/ja-jp/docs/mosaic/develop-algorithm/#カメラへのアクセス方法 カメラ設定 curl http://localhost:8080/v1/cameraState -X PATCH -H "Content-Type:

    application/json" -d "{¥"width¥":640, ¥"height¥":480}" curl http://localhost:8080/v1/ca meraImage 画像取得 ハードウェアの違いを意識せずにカメラにアクセス
  15. カメラへのアクセス * https://users.soracom.io/ja-jp/docs/mosaic/develop-algorithm/#カメラへのアクセス方法 カメラ設定 curl http://localhost:8080/v1/cameraState -X PATCH -H "Content-Type:

    application/json" -d "{¥"width¥":640, ¥"height¥":480}" curl http://localhost:8080/v1/ca meraImage 画像取得 ffmpeg -i "https://{localhost:8080/mosaic /v1/LocalHarvestAgent/m3u8/$ {startTime}/${endTime}/index. m3u8" 動画取得
  16. 画像処理/AIの開発 定期画像送信 顔検出/認識 差分動画 文字読み取り 画像切り出し 76 物体検出 person 7

    car 1 bike 1 サンプルのダウンロード *https://console.mosaic.soracom.io/jp/en/{device_id}/camera-app-0
  17. ❑ info.json ➢バージョン情報表示ファイル ❑ CameraApp0 ➢アルゴリズムのエントリポイント ❑ PreSetup ➢最初に実行されるスクリプト oモジュールのインストール

    o大きなファイルのダウンロード ❑ CameraApp.py ➢アルゴリズムの本体 ファイル構成 CameraApp0.tgz *主要なファイルのみを掲載
  18. デプロイメント CameraApp.pyの作成 • info.json • CameraApp0 • PreSetup 1. アーカイブ(CameraApp0.tgz)

    の作成 2. Harvest Filesへアップロード 1 2 SORACOM Harvest Files CameraApp0.tgz Mosaic(UI) から S+ Camera へデプロイ 3 S+ Camera Basic SORACOM Mosaic tar cfz CameraApp0.tgz ./{download_dir}
  19. S+ Camera Basic とクラウド連携の選択肢 データ収集・蓄積 SORACOM Harvest クラウドアダプタ SORACOM Funnel

    データ転送支援 SORACOM Beam ダッシュボード作成・共有 SORACOM Lagoon クラウドファンクション SORACOM Funk パブリック SaaS や Web API 等 ストリーム処理基盤サービスや パートナーソリューション サーバレス・コンピューティング プラットフォーム (FaaS) 既存システムへ 組み込むなら 新規の クラウド活用向け 最新技術と 手軽に連携 * https://soracom.jp/recipes_index/8025/
  20. オンラインで試せる! S+ Camera Basic 無料トライアル SORACOM アカウン トの作成 S+ Camera

    Basic 管理画面 「Start trial」 ボタン 東京/赤坂のソラコムオフィス内 実機で試せる! *https://info.soracom.com/Splustrial
  21. 参考資料 ❑ 開発ドキュメント ➢https://users.soracom.io/ja- jp/docs/mosaic/develop-algorithm/ ❑ SORACOM AI セミナー #2

    ➢https://www.youtube.com/watch?v =lkpxiKsxqoA ❑ AIカメラ「S+ Camera Basic」と AWSで作る来客分析システム ➢https://soracom.jp/recipes_index/8 025/
  22. S+ Camera Basic Smart Edition ❑ 物体認識(例) 画像の取得 • (2K画像)

    InputTensor • サイズの変換(300x300) • BGR→RGB • OpenCV → Pillow 物体認識 30ms 50ms 250-300ms 処理時間の目安 合計330〜380ms *値は開発中の測定値です
  23. S+ Camera Basic Smart Edition ❑ 物体認識(例) 画像の取得 • (2K画像)

    Input Tensor • サイズの変換(300x300) • BGR→RGB • OpenCV → Pillow 物体認識 30ms 50ms 250-300ms 処理時間の目安 数ms 結果取得 20-40ms 合計330〜380ms *値は開発中の測定値です 処理時間の大幅な短縮 CPUリソースの確保
  24. OuputTensor ❑ DNNInput ➢Base64の入力画像 ❑ DNNOutput ➢物体認識のメタデータ o認識数 o使用したモデル名 ❑

    outputBody ➢物体認識の結果 o確度 o位置 oラベル *DNNInputなしも選択可能 * データは開発中のものです
  25. 参考資料 ❑ S+ Camera Basic Smart Edition 予約サイト ➢https://soracom.jp/store/13201/ ❑

    開発ドキュメント ➢https://users.soracom.io/ja- jp/docs/mosaic/feature/
  26. S+ Camera Basic Smart Edition 予約販売を開始!本日から S+ Camera Basic Smart

    Edition 予約受付開始 (限定販売、売切れ御免!) 2021年6月22日 2021年9月 出荷開始 ・6/22(火)から予約受付を開始します。 ・数に限りがありますので、お早めに予約お申し込みください! ・1社につき1台のみとさせていただく場合がございますのでご了承ください。 価格:71,280円(税込・送料別) ※別途月額費用が発生いたします。