AIとの連携で広がるIoT活用とAIカメラの可能性の追求/SORACOM Discovery 2021 day1_7

2021年6月22日（火）SORACOM Discovery 2021 ONLINE セッション資料です。

AIとの連携で広がるIoT活用とAIカメラの可能性の追求

2020年8月に発売を開始したS+ Camera Basic。発売以降、多くのお客様のAIの取り組みにご利用いただいています。また、S+ Camera を購入前に試すことができるトライアル機能や遡り動画サポート、更には屋外でもご利用可能な防水版のS+ Camera WPも発表し、様々なシチュエーションでご利用いただけるAIカメラへと進化を遂げております。しかしながら、まだまだS+ Cameraは進化します。本セッションではS+ Cameraの“これまでの事例“と合わせてS+ Cameraの“今後へ向けた“進化とAIカメラの可能性についてお話します。

株式会社ソラコム S+ Camera プロジェクトマネージャー 齋藤 洋徳
株式会社ソラコム S+ Camera リードエンジニア 五十嵐 健

Transcript

1. AIとの連携で広がるIoT活用と
   AIカメラの可能性の追求
   SORACOM, INC.
   DAY1
   16:35 – 17:05
   

   View Slide

2. #discovery2021
   本日のハッシュタグ
   @SORACOM_PR
   https://www.facebook.com/soracom.jp/
   

   View Slide

3. 本日のアジェンダ
   • ビジネスパート
   • S+ Camera のこれまでの歩み
   • 事例
   • 新発表 - ビジネス編
   • 技術パート
   • S+ Camera におけるアルゴリズム開発手法
   • 新発表 - 技術編
   

   View Slide

4. ビジネスパート
   

   View Slide

5. S+ Camera
   プロジェクトマネージャ
   齋藤 洋徳
   Hironori Saitoh
   ニックネーム: hiro
   

   View Slide

6. S+ Camera Basicとは
   電源刺すのみ
   LTE通信
   小型コンピュータ
   内蔵
   800万画素 容易な
   設置
   高い拡張性
   Strictly Confidential
   電源刺すのみ
   LTE通信
   小型コンピュータ
   内蔵
   800万画素 容易な
   設置
   高い拡張性
   Strictly Confidential
   汎用カメラアダプタを
   利用可能
   SORACOM Mosaic搭載
   遠隔からデバイス管理、アルゴリズム入れ替え
   届いたその日に始められる
   「LTE 通信内蔵 AI カメラ」
   

   View Slide

7. 2020年
   7月
   USBカメラ USB Accelerator
   発売開始
   API
   専用コンソール
   2020年
   10月
   専用レンズ
   発売開始
   S+ Camera の歩み
   

   View Slide

8. 日本語、英語表示に対応！
   簡単にカメラデバイスをコントロール
   

   View Slide

9. メニュー
   カメラ情報
   簡単にカメラデバイスをコントロール
   

   View Slide

10. 簡単にカメラデバイスをコントロール
    緑色のLEDが点灯。デバイス特定を簡単に
    

    View Slide

11. 遠隔からカメラ画像をチェック
    簡単にカメラ画像を取得
    

    View Slide

12. 遠隔から動画で確認も可能
    簡単にカメラ動画を取得
    

    View Slide

13. アルゴリズムインストールボタン
    簡単に活用できるAIアルゴリズム
    

    View Slide

14. サンプルアルゴリズムを選択
    簡単に活用できるAIアルゴリズム
    

    View Slide

15. アルゴリズム名
    バージョン
    簡単に活用できるAIアルゴリズム
    パラメータによる
    操作も可能
    

    View Slide

16. # サンプルアルゴリズム一覧 内容
    1 定期画像送信 SORACOM_ENV_WAIT 間隔毎に SORACOM Harvest Files に画像をアップロードします。
    2 顔検出 カメラが人間の目線を検出すると顔の周りを切り出して、SORACOM Harvest Files へ送信
    します。
    3 顔検出（プライバシ） 目線を検出すると目線にモザイクをかけて SORACOM_ENV_WAIT 間隔毎に SORACOM
    Harvest Files の /cap/{Mosaic ID} に画像をアップロードします。
    4 差分動画 1秒毎に取得した前後の画像を比較し、前後の画像に大きな変更があった画像
    を SORACOM_ENV_WAIT 分のアニメーションとして SORACOM Harvest Files にアップ
    ロードします。
    5 数字/文字読み取り 指定された範囲の数字やアルファベットを OCR によってテキスト化して、 /OCR/{Mosaic
    ID} に指定された範囲とテキストの情報をアップロードします。
    6 物体検出 カメラに写った物体の認識と、認識した物体の位置を検出することができます。
    SORACOM_ENV_WAIT 間隔毎に検出された物体のアノテーションを付加した画像を
    SORACOM Harvest Files へ送信します。(MobileNet SSD v2 (COCO)モデルを利用)
    7 物体検出（Google Coral Edge
    TPU USB Accelerator）
    Object Detection with Google Coral Edge TPU USB Accelerator を利用できます。
    (MobileNet SSD v2 (COCO)モデルを利用)
    8 物体検出（動画） 物体認識した前後の動画をHarvest Filesへアップロードします。
    9 ArUcoMarker Image ArUco markerで指定された範囲を切り出します。
    すぐに試せるサンプルアルゴリズム
    

    View Slide

17. お客様独自のアルゴリズムの
    インストールも可能です。
    簡単に活用できるAIアルゴリズム
    開発者向けガイド
    /APIガイド
    ソラコム
    パートナーへ依頼
    

    View Slide

18. 2020年
    7月
    USBカメラ USB Accelerator
    発売開始
    API
    専用コンソール
    2021年
    2月
    トライアル機能
    提供開始
    2020年
    10月
    専用レンズ
    発売開始
    S+ Camera の歩み
    

    View Slide

19. オンラインで試せる！
    S+ Camera Basic 無料トライアル
    SORACOM アカウントの
    作成
    S+ Camera Basic
    管理画面
    「Start trial」
    ボタン
    東京/赤坂のソラコムオフィス内
    実機で試せる！
    https://info.soracom.com/Splustrial
    ※トライアル可能なのは
    サンプルアルゴリズムのみ
    

    View Slide

20. 2020年
    7月
    USBカメラ USB Accelerator
    発売開始
    API
    専用コンソール
    2021年
    2月
    トライアル機能
    提供開始
    2020年
    10月
    専用レンズ
    発売開始
    2021年
    3月
    動画対応
    防水版 S+
    Cameraリリース
    S+ Camera の歩み
    

    View Slide

21. 柔軟な操作が可能な動画機能
    “さかのぼり動画取得“が可能
    例えば、車を検知した場合にも・・・
    車を検知
    ！
    ◯動画取得
    ◯動画取得（さかのぼり動画取得）
    

    View Slide

22. 動画のサンプルアルゴリズムをご提供
    特定の物体を検出した際に、指定した秒数間
    その前後の動画を SORACOM Harvest にアップロード
    ！
    例えば、10秒を設定した場合
    前 10秒 後 10秒
    SORACOM
    Harvest
    

    View Slide

23. S+ Camera WP
    （屋外向けS+ Camera）
    2021年3月
    2021年4月
    2021年5月
    S+ Camera WP発売開始
    先行出荷開始 & 完売
    在庫補充 & 完売
    2021年7月以降 販売再開予定
    

    View Slide

24. S+ Camera 事例
    

    View Slide

25. 株式会社JR東日本情報システム
    商業施設内の画像をイラストに変
    換し、店舗ウェブサイトで提示。
    プライバシーを守りつつ、混雑状
    況をお客様が判断し来店可否に繋
    げるサービスを実現。
    利用したSORACOMサービス：
    SORACOM Air, Mosaic, Napter, Harvest, Lagoon
    利用したデバイス：S+ Camera Basic
    導入事例
    サービス
    

    View Slide

26. 日本瓦斯株式会社
    浜松営業所のモデルケース
    営業所業務のデジタル化の一環と
    して、無人荷受け、無人入退館シ
    ステムを導入
    利用したSORACOMサービス：SORACOM Air for
    Sigfox, セルラー（LTE-M）, Funnel
    導入事例
    エネルギー
    

    View Slide

27. 株式会社CES
    AIカメラで、遠隔から庫内の在庫
    数を自動で取得。不足時には管理
    画面にアラートを表示、補充のタ
    イミングを促すシステムを開発。
    導入事例
    利用したSORACOMサービス：SORACOM Air,
    SORACOM Mosaic
    利用したデバイス：S+ Camera Basic
    サービス
    

    View Slide

28. アンカー株式会社
    AIカメラで、大手ショッピング
    モールの電気設備や熱源設備を遠
    隔監視。従来、人が行っていた定
    期点検業務をデジタル化。 利用したSORACOMサービス：SORACOM Air,
    SORACOM Mosaic
    利用したデバイス：S+ Camera Basic
    導入事例
    サービス
    

    View Slide

29. KDDI America, Inc.
    コロナ渦において物理的にアクセス
    できない顧客先のサーバルームをAI
    カメラで遠隔監視。 S+ Cameraの
    設置後もプログラムを改善、遠隔か
    ら更新し、顧客の要望に迅速に対応。
    利用したSORACOMサービス：SORACOM Air,
    Mosaic
    利用したデバイス：S+ Camera Basic
    導入事例
    

    View Slide

30. 新発表です
    

    View Slide

31. S+ Camera Basicの
    高速AI特化型 限定版をリリース
    

    View Slide

32. S+ Camera Basic Smart Edition
    

    View Slide

33. S+ Camera Basic Smart Edition
    IMX500を採用
    ソニーのAI処理機能を搭載した
    イメージセンサー「IMX500」を採用した世界初の製品
    

    View Slide

34. 高速AI処理に特化した限定版
    S+ Camera Basic Smart Edition
    S+ Camera BasicでAI処理性能を向上するためには
    USB Accelerator
    ③画像を送る
    ④AI処理
    ⑤画像を戻す
    カメラ
    ①撮影&
    画像を送る
    小型コンピュータ
    ②一次処理
    S+ Camera Basic
    ⑥クラウドへ
    S+ Camera Basic Smart Editionは
    IMX500
    ②データを送る
    小型コンピュータ
    ①撮影
    &AI処理
    S+ Camera Basic Smart Edition
    ④クラウドへ
    ③二次処理
    +
    一台で完結！
    

    View Slide

35. 従来通りの使い方
    ● 遠隔操作
    ● デバイスコントロール
    ● サンプルアルゴリズム
    ○ 定期画像送信
    ○ 顔検出
    ○ 顔検出（プライバシ）
    ○ 差分動画
    ○ 数字/文字読み取り
    ○ 物体検出
    ○ 物体検出（動画）
    従来のサンプルアルゴリズムに加えて
    ソニーのAIモデルもMosaicコンソール上からご利用可能
    ソニーが提供するIMX500専用AIモ
    デルの利用も可能（無償/有償版あ
    り）
    リリース直後は下記のご提供から開
    始します。
    • Body Keypoint
    S+ Camera Basic Smart Edition
    

    View Slide

36. 画素数
    Basic
    Smart Edition
    Basic
    1230万画素
    800万画素
    画角
    S+ Camera Basic Smart Edition
    ◎
    夜間撮影性能
    ◎
    △
    ◯
    ※ユニットセルサイズ
    1.55 um
    ※ユニットセルサイズ
    1.12um
    ※製品ページのカメラスペックを元に掲載
    

    View Slide

37. Basic
    Smart Edition
    Basic
    S+ Camera Basic Smart Edition
    ~カメラ性能も向上~
    

    View Slide

38. Basic
    Smart Edition
    Basic
    S+ Camera Basic Smart Edition
    ~カメラ性能も向上~
    

    View Slide

39. Basic
    Smart Edition
    Basic
    ※mobilenetssd相当のサンプルモデルを使用しています
    ↑処理性能 ↑処理性能
    

    View Slide

40. 販売価格とスケジュール
    

    View Slide

41. S+ Camera Basic Smart Edition
    予約販売を開始！本日から
    S+ Camera Basic Smart Edition 予約受付開始
    （限定販売、売切れ御免！）
    2021年6月22日
    2021年9月 出荷開始
    ・6/22（火）から予約受付を開始します。
    ・数に限りがありますので、お早めに予約お申し込みください！
    ・1社につき1台のみとさせていただく場合がございますのでご了承ください。
    価格：71,280円（税込・送料別）
    ※別途月額費用が発生いたします。
    

    View Slide

42. 技術パート
    

    View Slide

43. 自己紹介
    ❑ 五十嵐 健（Ash）
    ➢S+ Camera Lead Engineer
    ❑ 経歴
    ➢SORACOM, Inc
    ➢S+ Camera Lead Engineer
    o S+ Camera の開発
    ➢OpsDev Manager
    o 監視・運用システムの開発（Hubble)
    ➢〜2015 携帯電話事業会社
    o 移動体向けTCP/IP Stackの開発
    o プライベートクラウド基盤の開発運用
    o Leading OpenStack Bare-Metal provisioning project (ironic)
    

    View Slide

44. セッション内容
    ❑ アルゴリズム開発手法
    ➢カメラへのアクセス
    ➢アルゴリズムの開発
    ➢デプロイメント結果取得
    ❑ S+ Camera Basic Smart
    Edition
    ➢「IMX500」イメージセンサ
    ➢Smart Edition向けのAPI
    ➢AIモデルのインストール
    

    View Slide

45. アルゴリズム開発
    1. カメラ画像へのアクセス
    

    View Slide

46. アルゴリズム開発
    1. カメラ画像へのアクセス
    2. 画像処理/AIの開発
    

    View Slide

47. アルゴリズム開発
    1. カメラ画像へのアクセス
    2. 画像処理/AIの開発
    3. デプロイメント
    

    View Slide

48. アルゴリズム開発
    1. カメラ画像へのアクセス
    2. 画像処理/AIの開発
    3. デプロイメント
    4. 結果取得/表示
    

    View Slide

49. カメラへのアクセス
    * https://users.soracom.io/ja-jp/docs/mosaic/develop-algorithm/#カメラへのアクセス方法
    カメラ設定
    curl http://localhost:8080/v1/cameraState -X
    PATCH -H "Content-Type: application/json" -d
    "{¥"width¥":640, ¥"height¥":480}"
    curl
    http://localhost:8080/v1/ca
    meraImage
    画像取得
    

    View Slide

50. カメラへのアクセス
    * https://users.soracom.io/ja-jp/docs/mosaic/develop-algorithm/#カメラへのアクセス方法
    カメラ設定
    curl http://localhost:8080/v1/cameraState -X
    PATCH -H "Content-Type: application/json" -d
    "{¥"width¥":640, ¥"height¥":480}"
    curl
    http://localhost:8080/v1/ca
    meraImage
    画像取得
    ハードウェアの違いを意識せずにカメラにアクセス
    

    View Slide

51. カメラへのアクセス
    * https://users.soracom.io/ja-jp/docs/mosaic/develop-algorithm/#カメラへのアクセス方法
    カメラ設定
    curl http://localhost:8080/v1/cameraState -X
    PATCH -H "Content-Type: application/json" -d
    "{¥"width¥":640, ¥"height¥":480}"
    curl
    http://localhost:8080/v1/ca
    meraImage
    画像取得
    ffmpeg -i
    "https://{localhost:8080/mosaic
    /v1/LocalHarvestAgent/m3u8/$
    {startTime}/${endTime}/index.
    m3u8"
    動画取得
    

    View Slide

52. 画像処理/AIの開発
    定期画像送信 顔検出／認識
    差分動画
    文字読み取り
    画像切り出し
    76
    物体検出
    person 7
    car 1
    bike 1
    *https://users.soracom.io/ja-jp/docs/mosaic/sample-algorithm
    

    View Slide

53. 画像処理/AIの開発
    定期画像送信 顔検出／認識
    差分動画
    文字読み取り
    画像切り出し
    76
    物体検出
    person 7
    car 1
    bike 1
    サンプルのダウンロード
    *https://console.mosaic.soracom.io/jp/en/{device_id}/camera-app-0
    

    View Slide

54. ❑ info.json
    ➢バージョン情報表示ファイル
    ❑ CameraApp0
    ➢アルゴリズムのエントリポイント
    ❑ PreSetup
    ➢最初に実行されるスクリプト
    oモジュールのインストール
    o大きなファイルのダウンロード
    ❑ CameraApp.py
    ➢アルゴリズムの本体
    ファイル構成
    CameraApp0.tgz
    *主要なファイルのみを掲載
    

    View Slide

55. 解像度の設定
    CameraApp.py
    

    View Slide

56. 画像の取得
    loopで処理し続ける
    CameraApp.py
    

    View Slide

57. 画像処理
    • 例：Jpegへ変換
    • ここでAI処理を追加
    CameraApp.py
    

    View Slide

58. ❑ SORACOM Harvestへデ
    ータをアップロード
    処理結果のアップロード
    Harvest Filesへ
    変換したJpeg画像
    をアップロード
    

    View Slide

59. ❑ SORACOM Harvestへデー
    タをアップロード
    Harvest Dataへ
    • ファイルパス
    • ファイルサイズ
    処理結果のアップロード
    

    View Slide

60. ❑ SORACOM Harvestへデー
    タをアップロード
    Harvest Data
    処理結果のアップロード
    Harvest Files
    SIM認証を用いたセキ
    ュアなアップロード
    

    View Slide

61. デプロイメント
    CameraApp.pyの作成
    • info.json
    • CameraApp0
    • PreSetup
    1. アーカイブ(CameraApp0.tgz)
    の作成
    2. Harvest Filesへアップロード
    1 2
    SORACOM Harvest Files
    CameraApp0.tgz
    Mosaic(UI) から S+ Camera
    へデプロイ
    3
    S+ Camera Basic
    SORACOM
    Mosaic
    tar cfz CameraApp0.tgz ./{download_dir}
    

    View Slide

62. デモ
    o アルゴリズムのデプロイ
    o 結果の確認
    

    View Slide

63. View Slide

64. S+ Camera Basic とクラウド連携の選択肢
    データ収集・蓄積
    SORACOM Harvest
    クラウドアダプタ
    SORACOM Funnel
    データ転送支援
    SORACOM Beam
    ダッシュボード作成・共有
    SORACOM Lagoon
    クラウドファンクション
    SORACOM Funk
    パブリック SaaS や
    Web API 等
    ストリーム処理基盤サービスや
    パートナーソリューション
    サーバレス・コンピューティング
    プラットフォーム (FaaS)
    既存システムへ
    組み込むなら
    新規の
    クラウド活用向け
    最新技術と
    手軽に連携
    * https://soracom.jp/recipes_index/8025/
    

    View Slide

65. オンラインで試せる！
    S+ Camera Basic 無料トライアル
    SORACOM アカウン
    トの作成
    S+ Camera Basic
    管理画面
    「Start trial」
    ボタン
    東京/赤坂のソラコムオフィス内
    実機で試せる！
    *https://info.soracom.com/Splustrial
    

    View Slide

66. 参考資料
    ❑ 開発ドキュメント
    ➢https://users.soracom.io/ja-
    jp/docs/mosaic/develop-algorithm/
    ❑ SORACOM AI セミナー #2
    ➢https://www.youtube.com/watch?v
    =lkpxiKsxqoA
    ❑ AIカメラ「S+ Camera Basic」と
    AWSで作る来客分析システム
    ➢https://soracom.jp/recipes_index/8
    025/
    

    View Slide

67. S+ Camera Basic Smart Edition
    

    View Slide

68. S+ Camera Basic Smart Edition
    ❑ 物体認識（例）
    画像の取得
    • (2K画像)
    InputTensor
    • サイズの変換(300x300)
    • BGR→RGB
    • OpenCV → Pillow
    物体認識
    30ms
    50ms
    250-300ms
    処理時間の目安
    合計330〜380ms *値は開発中の測定値です
    

    View Slide

69. S+ Camera Basic Smart Edition
    ❑ 物体認識（例）
    画像の取得
    • (2K画像)
    Input Tensor
    • サイズの変換(300x300)
    • BGR→RGB
    • OpenCV → Pillow
    物体認識
    30ms
    50ms
    250-300ms
    処理時間の目安
    数ms
    結果取得
    20-40ms
    合計330〜380ms *値は開発中の測定値です
    処理時間の大幅な短縮
    CPUリソースの確保
    

    View Slide

70. 物体認識の取得方法
    http://${DEV_ADDR}/v1/cameraJpegImage
    http://${DEV_ADDR}/v1/cameraDNN
    * APIは開発中のものです
    カメラ画像取得
    OutputTensor
    

    View Slide

71. OuputTensor
    ❑ DNNInput
    ➢Base64の入力画像
    ❑ DNNOutput
    ➢物体認識のメタデータ
    o認識数
    o使用したモデル名
    ❑ outputBody
    ➢物体認識の結果
    o確度
    o位置
    oラベル
    *DNNInputなしも選択可能
    * データは開発中のものです
    

    View Slide

72. デモ
    o 画像と物体認識結果の取得
    o IMX500用AIモデルの作成
    o AIモデルのデプロイ
    * デモは開発中の画面
    

    View Slide

73. View Slide

74. 参考資料
    ❑ S+ Camera Basic Smart Edition
    予約サイト
    ➢https://soracom.jp/store/13201/
    ❑ 開発ドキュメント
    ➢https://users.soracom.io/ja-
    jp/docs/mosaic/feature/
    

    View Slide

75. S+ Camera Basic Smart Edition
    予約販売を開始！本日から
    S+ Camera Basic Smart Edition 予約受付開始
    （限定販売、売切れ御免！）
    2021年6月22日
    2021年9月 出荷開始
    ・6/22（火）から予約受付を開始します。
    ・数に限りがありますので、お早めに予約お申し込みください！
    ・1社につき1台のみとさせていただく場合がございますのでご了承ください。
    価格：71,280円（税込・送料別）
    ※別途月額費用が発生いたします。
    

    View Slide

76. View Slide