AIとの連携で広がるIoT活用とAIカメラの可能性の追求/SORACOM Discovery 2021 day1_7

2021年6月22日（火）SORACOM Discovery 2021 ONLINE セッション資料です。

AIとの連携で広がるIoT活用とAIカメラの可能性の追求

2020年8月に発売を開始したS+ Camera Basic。発売以降、多くのお客様のAIの取り組みにご利用いただいています。また、S+ Camera を購入前に試すことができるトライアル機能や遡り動画サポート、更には屋外でもご利用可能な防水版のS+ Camera WPも発表し、様々なシチュエーションでご利用いただけるAIカメラへと進化を遂げております。しかしながら、まだまだS+ Cameraは進化します。本セッションではS+ Cameraの“これまでの事例“と合わせてS+ Cameraの“今後へ向けた“進化とAIカメラの可能性についてお話します。

株式会社ソラコム S+ Camera プロジェクトマネージャー 齋藤 洋徳
株式会社ソラコム S+ Camera リードエンジニア 五十嵐 健

Transcript

1. AIとの連携で広がるIoT活用と AIカメラの可能性の追求 SORACOM, INC. DAY1 16:35 – 17:05
2. #discovery2021 本日のハッシュタグ @SORACOM_PR https://www.facebook.com/soracom.jp/
3. 本日のアジェンダ • ビジネスパート • S+ Camera のこれまでの歩み • 事例 • 新発表 - ビジネス編 • 技術パート • S+ Camera におけるアルゴリズム開発手法 • 新発表 - 技術編
4. ビジネスパート
5. S+ Camera プロジェクトマネージャ 齋藤 洋徳 Hironori Saitoh ニックネーム: hiro
6. S+ Camera Basicとは 電源刺すのみ LTE通信 小型コンピュータ 内蔵 800万画素 容易な 設置 高い拡張性 Strictly Confidential 電源刺すのみ LTE通信 小型コンピュータ 内蔵 800万画素 容易な 設置 高い拡張性 Strictly Confidential 汎用カメラアダプタを 利用可能 SORACOM Mosaic搭載 遠隔からデバイス管理、アルゴリズム入れ替え 届いたその日に始められる 「LTE 通信内蔵 AI カメラ」
7. 2020年 7月 USBカメラ USB Accelerator 発売開始 API 専用コンソール 2020年 10月 専用レンズ 発売開始 S+ Camera の歩み
8. 日本語、英語表示に対応！ 簡単にカメラデバイスをコントロール
9. メニュー カメラ情報 簡単にカメラデバイスをコントロール
10. 簡単にカメラデバイスをコントロール 緑色のLEDが点灯。デバイス特定を簡単に
11. 遠隔からカメラ画像をチェック 簡単にカメラ画像を取得
12. 遠隔から動画で確認も可能 簡単にカメラ動画を取得
13. アルゴリズムインストールボタン 簡単に活用できるAIアルゴリズム
14. サンプルアルゴリズムを選択 簡単に活用できるAIアルゴリズム
15. アルゴリズム名 バージョン 簡単に活用できるAIアルゴリズム パラメータによる 操作も可能
16. # サンプルアルゴリズム一覧 内容 1 定期画像送信 SORACOM_ENV_WAIT 間隔毎に SORACOM Harvest Files に画像をアップロードします。 2 顔検出 カメラが人間の目線を検出すると顔の周りを切り出して、SORACOM Harvest Files へ送信 します。 3 顔検出（プライバシ） 目線を検出すると目線にモザイクをかけて SORACOM_ENV_WAIT 間隔毎に SORACOM Harvest Files の /cap/{Mosaic ID} に画像をアップロードします。 4 差分動画 1秒毎に取得した前後の画像を比較し、前後の画像に大きな変更があった画像 を SORACOM_ENV_WAIT 分のアニメーションとして SORACOM Harvest Files にアップ ロードします。 5 数字/文字読み取り 指定された範囲の数字やアルファベットを OCR によってテキスト化して、 /OCR/{Mosaic ID} に指定された範囲とテキストの情報をアップロードします。 6 物体検出 カメラに写った物体の認識と、認識した物体の位置を検出することができます。 SORACOM_ENV_WAIT 間隔毎に検出された物体のアノテーションを付加した画像を SORACOM Harvest Files へ送信します。(MobileNet SSD v2 (COCO)モデルを利用) 7 物体検出（Google Coral Edge TPU USB Accelerator） Object Detection with Google Coral Edge TPU USB Accelerator を利用できます。 (MobileNet SSD v2 (COCO)モデルを利用) 8 物体検出（動画） 物体認識した前後の動画をHarvest Filesへアップロードします。 9 ArUcoMarker Image ArUco markerで指定された範囲を切り出します。 すぐに試せるサンプルアルゴリズム
17. お客様独自のアルゴリズムの インストールも可能です。 簡単に活用できるAIアルゴリズム 開発者向けガイド /APIガイド ソラコム パートナーへ依頼
18. 2020年 7月 USBカメラ USB Accelerator 発売開始 API 専用コンソール 2021年 2月 トライアル機能 提供開始 2020年 10月 専用レンズ 発売開始 S+ Camera の歩み
19. オンラインで試せる！ S+ Camera Basic 無料トライアル SORACOM アカウントの 作成 S+ Camera Basic 管理画面 「Start trial」 ボタン 東京/赤坂のソラコムオフィス内 実機で試せる！ https://info.soracom.com/Splustrial ※トライアル可能なのは サンプルアルゴリズムのみ
20. 2020年 7月 USBカメラ USB Accelerator 発売開始 API 専用コンソール 2021年 2月 トライアル機能 提供開始 2020年 10月 専用レンズ 発売開始 2021年 3月 動画対応 防水版 S+ Cameraリリース S+ Camera の歩み
21. 柔軟な操作が可能な動画機能 “さかのぼり動画取得“が可能 例えば、車を検知した場合にも・・・ 車を検知 ！ ◯動画取得 ◯動画取得（さかのぼり動画取得）
22. 動画のサンプルアルゴリズムをご提供 特定の物体を検出した際に、指定した秒数間 その前後の動画を SORACOM Harvest にアップロード ！ 例えば、10秒を設定した場合 前 10秒 後 10秒 SORACOM Harvest
23. S+ Camera WP （屋外向けS+ Camera） 2021年3月 2021年4月 2021年5月 S+ Camera WP発売開始 先行出荷開始 & 完売 在庫補充 & 完売 2021年7月以降 販売再開予定
24. S+ Camera 事例
25. 株式会社JR東日本情報システム 商業施設内の画像をイラストに変 換し、店舗ウェブサイトで提示。 プライバシーを守りつつ、混雑状 況をお客様が判断し来店可否に繋 げるサービスを実現。 利用したSORACOMサービス： SORACOM Air, Mosaic, Napter, Harvest, Lagoon 利用したデバイス：S+ Camera Basic 導入事例 サービス
26. 日本瓦斯株式会社 浜松営業所のモデルケース 営業所業務のデジタル化の一環と して、無人荷受け、無人入退館シ ステムを導入 利用したSORACOMサービス：SORACOM Air for Sigfox, セルラー（LTE-M）, Funnel 導入事例 エネルギー
27. 株式会社CES AIカメラで、遠隔から庫内の在庫 数を自動で取得。不足時には管理 画面にアラートを表示、補充のタ イミングを促すシステムを開発。 導入事例 利用したSORACOMサービス：SORACOM Air, SORACOM Mosaic 利用したデバイス：S+ Camera Basic サービス
28. アンカー株式会社 AIカメラで、大手ショッピング モールの電気設備や熱源設備を遠 隔監視。従来、人が行っていた定 期点検業務をデジタル化。 利用したSORACOMサービス：SORACOM Air, SORACOM Mosaic 利用したデバイス：S+ Camera Basic 導入事例 サービス
29. KDDI America, Inc. コロナ渦において物理的にアクセス できない顧客先のサーバルームをAI カメラで遠隔監視。 S+ Cameraの 設置後もプログラムを改善、遠隔か ら更新し、顧客の要望に迅速に対応。 利用したSORACOMサービス：SORACOM Air, Mosaic 利用したデバイス：S+ Camera Basic 導入事例
30. 新発表です
31. S+ Camera Basicの 高速AI特化型 限定版をリリース
32. S+ Camera Basic Smart Edition
33. S+ Camera Basic Smart Edition IMX500を採用 ソニーのAI処理機能を搭載した イメージセンサー「IMX500」を採用した世界初の製品
34. 高速AI処理に特化した限定版 S+ Camera Basic Smart Edition S+ Camera BasicでAI処理性能を向上するためには USB Accelerator ③画像を送る ④AI処理 ⑤画像を戻す カメラ ①撮影& 画像を送る 小型コンピュータ ②一次処理 S+ Camera Basic ⑥クラウドへ S+ Camera Basic Smart Editionは IMX500 ②データを送る 小型コンピュータ ①撮影 &AI処理 S+ Camera Basic Smart Edition ④クラウドへ ③二次処理 + 一台で完結！
35. 従来通りの使い方 • 遠隔操作 • デバイスコントロール • サンプルアルゴリズム ◦ 定期画像送信 ◦ 顔検出 ◦ 顔検出（プライバシ） ◦ 差分動画 ◦ 数字/文字読み取り ◦ 物体検出 ◦ 物体検出（動画） 従来のサンプルアルゴリズムに加えて ソニーのAIモデルもMosaicコンソール上からご利用可能 ソニーが提供するIMX500専用AIモ デルの利用も可能（無償/有償版あ り） リリース直後は下記のご提供から開 始します。 • Body Keypoint S+ Camera Basic Smart Edition
36. 画素数 Basic Smart Edition Basic 1230万画素 800万画素 画角 S+ Camera Basic Smart Edition ◎ 夜間撮影性能 ◎ △ ◯ ※ユニットセルサイズ 1.55 um ※ユニットセルサイズ 1.12um ※製品ページのカメラスペックを元に掲載
37. Basic Smart Edition Basic S+ Camera Basic Smart Edition ~カメラ性能も向上~
38. Basic Smart Edition Basic S+ Camera Basic Smart Edition ~カメラ性能も向上~
39. Basic Smart Edition Basic ※mobilenetssd相当のサンプルモデルを使用しています ↑処理性能 ↑処理性能
40. 販売価格とスケジュール
41. S+ Camera Basic Smart Edition 予約販売を開始！本日から S+ Camera Basic Smart Edition 予約受付開始 （限定販売、売切れ御免！） 2021年6月22日 2021年9月 出荷開始 ・6/22（火）から予約受付を開始します。 ・数に限りがありますので、お早めに予約お申し込みください！ ・1社につき1台のみとさせていただく場合がございますのでご了承ください。 価格：71,280円（税込・送料別） ※別途月額費用が発生いたします。
42. 技術パート
43. 自己紹介 ❑ 五十嵐 健（Ash） ➢S+ Camera Lead Engineer ❑ 経歴 ➢SORACOM, Inc ➢S+ Camera Lead Engineer o S+ Camera の開発 ➢OpsDev Manager o 監視・運用システムの開発（Hubble) ➢〜2015 携帯電話事業会社 o 移動体向けTCP/IP Stackの開発 o プライベートクラウド基盤の開発運用 o Leading OpenStack Bare-Metal provisioning project (ironic)
44. セッション内容 ❑ アルゴリズム開発手法 ➢カメラへのアクセス ➢アルゴリズムの開発 ➢デプロイメント結果取得 ❑ S+ Camera Basic Smart Edition ➢「IMX500」イメージセンサ ➢Smart Edition向けのAPI ➢AIモデルのインストール
45. アルゴリズム開発 1. カメラ画像へのアクセス
46. アルゴリズム開発 1. カメラ画像へのアクセス 2. 画像処理/AIの開発
47. アルゴリズム開発 1. カメラ画像へのアクセス 2. 画像処理/AIの開発 3. デプロイメント
48. アルゴリズム開発 1. カメラ画像へのアクセス 2. 画像処理/AIの開発 3. デプロイメント 4. 結果取得/表示
49. カメラへのアクセス * https://users.soracom.io/ja-jp/docs/mosaic/develop-algorithm/#カメラへのアクセス方法 カメラ設定 curl http://localhost:8080/v1/cameraState -X PATCH -H "Content-Type: application/json" -d "{¥"width¥":640, ¥"height¥":480}" curl http://localhost:8080/v1/ca meraImage 画像取得
50. カメラへのアクセス * https://users.soracom.io/ja-jp/docs/mosaic/develop-algorithm/#カメラへのアクセス方法 カメラ設定 curl http://localhost:8080/v1/cameraState -X PATCH -H "Content-Type: application/json" -d "{¥"width¥":640, ¥"height¥":480}" curl http://localhost:8080/v1/ca meraImage 画像取得 ハードウェアの違いを意識せずにカメラにアクセス
51. カメラへのアクセス * https://users.soracom.io/ja-jp/docs/mosaic/develop-algorithm/#カメラへのアクセス方法 カメラ設定 curl http://localhost:8080/v1/cameraState -X PATCH -H "Content-Type: application/json" -d "{¥"width¥":640, ¥"height¥":480}" curl http://localhost:8080/v1/ca meraImage 画像取得 ffmpeg -i "https://{localhost:8080/mosaic /v1/LocalHarvestAgent/m3u8/$ {startTime}/${endTime}/index. m3u8" 動画取得
52. 画像処理/AIの開発 定期画像送信 顔検出／認識 差分動画 文字読み取り 画像切り出し 76 物体検出 person 7 car 1 bike 1 *https://users.soracom.io/ja-jp/docs/mosaic/sample-algorithm
53. 画像処理/AIの開発 定期画像送信 顔検出／認識 差分動画 文字読み取り 画像切り出し 76 物体検出 person 7 car 1 bike 1 サンプルのダウンロード *https://console.mosaic.soracom.io/jp/en/{device_id}/camera-app-0
54. ❑ info.json ➢バージョン情報表示ファイル ❑ CameraApp0 ➢アルゴリズムのエントリポイント ❑ PreSetup ➢最初に実行されるスクリプト oモジュールのインストール o大きなファイルのダウンロード ❑ CameraApp.py ➢アルゴリズムの本体 ファイル構成 CameraApp0.tgz *主要なファイルのみを掲載
55. 解像度の設定 CameraApp.py
56. 画像の取得 loopで処理し続ける CameraApp.py
57. 画像処理 • 例：Jpegへ変換 • ここでAI処理を追加 CameraApp.py
58. ❑ SORACOM Harvestへデ ータをアップロード 処理結果のアップロード Harvest Filesへ 変換したJpeg画像 をアップロード
59. ❑ SORACOM Harvestへデー タをアップロード Harvest Dataへ • ファイルパス • ファイルサイズ 処理結果のアップロード
60. ❑ SORACOM Harvestへデー タをアップロード Harvest Data 処理結果のアップロード Harvest Files SIM認証を用いたセキ ュアなアップロード
61. デプロイメント CameraApp.pyの作成 • info.json • CameraApp0 • PreSetup 1. アーカイブ(CameraApp0.tgz) の作成 2. Harvest Filesへアップロード 1 2 SORACOM Harvest Files CameraApp0.tgz Mosaic(UI) から S+ Camera へデプロイ 3 S+ Camera Basic SORACOM Mosaic tar cfz CameraApp0.tgz ./{download_dir}
62. デモ o アルゴリズムのデプロイ o 結果の確認
64. S+ Camera Basic とクラウド連携の選択肢 データ収集・蓄積 SORACOM Harvest クラウドアダプタ SORACOM Funnel データ転送支援 SORACOM Beam ダッシュボード作成・共有 SORACOM Lagoon クラウドファンクション SORACOM Funk パブリック SaaS や Web API 等 ストリーム処理基盤サービスや パートナーソリューション サーバレス・コンピューティング プラットフォーム (FaaS) 既存システムへ 組み込むなら 新規の クラウド活用向け 最新技術と 手軽に連携 * https://soracom.jp/recipes_index/8025/
65. オンラインで試せる！ S+ Camera Basic 無料トライアル SORACOM アカウン トの作成 S+ Camera Basic 管理画面 「Start trial」 ボタン 東京/赤坂のソラコムオフィス内 実機で試せる！ *https://info.soracom.com/Splustrial
66. 参考資料 ❑ 開発ドキュメント ➢https://users.soracom.io/ja- jp/docs/mosaic/develop-algorithm/ ❑ SORACOM AI セミナー #2 ➢https://www.youtube.com/watch?v =lkpxiKsxqoA ❑ AIカメラ「S+ Camera Basic」と AWSで作る来客分析システム ➢https://soracom.jp/recipes_index/8 025/
67. S+ Camera Basic Smart Edition
68. S+ Camera Basic Smart Edition ❑ 物体認識（例） 画像の取得 • (2K画像) InputTensor • サイズの変換(300x300) • BGR→RGB • OpenCV → Pillow 物体認識 30ms 50ms 250-300ms 処理時間の目安 合計330〜380ms *値は開発中の測定値です
69. S+ Camera Basic Smart Edition ❑ 物体認識（例） 画像の取得 • (2K画像) Input Tensor • サイズの変換(300x300) • BGR→RGB • OpenCV → Pillow 物体認識 30ms 50ms 250-300ms 処理時間の目安 数ms 結果取得 20-40ms 合計330〜380ms *値は開発中の測定値です 処理時間の大幅な短縮 CPUリソースの確保
70. 物体認識の取得方法 http://${DEV_ADDR}/v1/cameraJpegImage http://${DEV_ADDR}/v1/cameraDNN * APIは開発中のものです カメラ画像取得 OutputTensor
71. OuputTensor ❑ DNNInput ➢Base64の入力画像 ❑ DNNOutput ➢物体認識のメタデータ o認識数 o使用したモデル名 ❑ outputBody ➢物体認識の結果 o確度 o位置 oラベル *DNNInputなしも選択可能 * データは開発中のものです
72. デモ o 画像と物体認識結果の取得 o IMX500用AIモデルの作成 o AIモデルのデプロイ * デモは開発中の画面
74. 参考資料 ❑ S+ Camera Basic Smart Edition 予約サイト ➢https://soracom.jp/store/13201/ ❑ 開発ドキュメント ➢https://users.soracom.io/ja- jp/docs/mosaic/feature/
75. S+ Camera Basic Smart Edition 予約販売を開始！本日から S+ Camera Basic Smart Edition 予約受付開始 （限定販売、売切れ御免！） 2021年6月22日 2021年9月 出荷開始 ・6/22（火）から予約受付を開始します。 ・数に限りがありますので、お早めに予約お申し込みください！ ・1社につき1台のみとさせていただく場合がございますのでご了承ください。 価格：71,280円（税込・送料別） ※別途月額費用が発生いたします。