Upgrade to Pro — share decks privately, control downloads, hide ads and more …

クラウド型カメラ入門!設置からAI連携まるごと解説【SORACOM Discovery 2023】

クラウド型カメラ入門!設置からAI連携まるごと解説【SORACOM Discovery 2023】

Wi-Fiカメラでクラウド録画を利用できるカメラサービス「ソラカメ」。設置の手軽さから、製造、小売、屋内外の様々な業界で活用されています。本セッションの前半は、クラウド型カメラの選び方、設置から運用方法、活用シーンをご紹介します。後半は、ソラカメとAIの組み合わせについて、フルーツの遠隔栽培の実証実験に取り組まれている三菱電機にお話を伺います。手軽に使えるクラウド型カメラとAIで、今までとは違う業務課題解決にアプローチしてみませんか?

三菱電機株式会社 名古屋製作所 オープンイノベーション推進プロジェクトグループ 池田 剛人
株式会社ソラコム プロダクトマネージャー 鬼木 洋平

SORACOM

July 06, 2023
Tweet

More Decks by SORACOM

Other Decks in Technology

Transcript

  1. 本日のハッシュタグ #SORACOM @SORACOM_PR fb.com/soracom.jp youtube.com/@SORACOM_Japan instagram.com/soracom.official 使用例 他には… • #SORACOM

    IoTやDXの話を聞きにきた • キーノートは2日目! #SORACOM #SORACOM の検索で、最新情報が!
  2. クラウドカメラの影響 • レコーダーの導入・ メンテナンスが不要 • データ管理のリスクも軽 減 • デバイスフリーで遠隔監 視

    <メリット> • インターネット通信環境 の整備 <デメリット> • カメラの設定・設置作業 に業者の手配が必要 • カメラ自体も大きくて高 額 <継続課題> • 利便性が向上した一方で、依然として残る課題もある
  3. あらゆるビジネス現場を身近につなぐ ソラカメ • Soracom Cloud型 Camera Service(通称:ソラカメ) • 従来のクラウドカメラの良さを引き継ぎながら、現場での使いやす さ・お手軽さを実現

    ソラカメが新たにもたらした要素 • 簡単なセットアップ • 手軽に配置を動かせるコンパクトなデバイス • お求めやすい値段の実現(端末代、継続費用い ずれも)
  4. リーズナブルな料金体系 費用項目 税込価格 初期費用 AtomCam2 3,480円 AtomCam Swing 4,980円 月額費用(ライセンス)

    クラウド常時録画 / モーション検知”無制限”録画ライセンス (7日間) 990円 クラウド常時録画 / モーション検知”無制限”録画ライセンス (14日間) 1,650円 クラウド常時録画 / モーション検知”無制限”録画ライセンス (30日間) 2,160円 • 現場で試しやすい・必要に応じて台数追加もスムーズ
  5. カメラのチューニングの重要性 • どこに、何台設置するのか • 電源の確保は大丈夫か • 通信環境は安定しているのか • 屋内利用なのか、屋外利用なのか •

    光源が映像に入り込まないか • and more • 「カメラ x AI」ソリューションの成否は、カメラが必要なデータを収集 できるかに大きく依存 実際に現場でカメラを設置・運用してみないと分からない (試行錯誤しやすい、小回りの効くカメラが必要)
  6. ©Mitsubishi Electric Corporation BRP-T1001-082-* I o T 緑 化 シ

    ェ ー ドの ご 紹 介 2 6 パッションフルーツによる IoT緑化シェード(IGS) https://www.mitsubishielectric.co.jp/fa/the-art-of-manufacturing/technologies/open_innovation01/index.html
  7. ©Mitsubishi Electric Corporation BRP-T1001-082-* サ マ リ ー 2 7

    土壌センサグラフ 土中温度、水分率 イオン量を検出 滞在人数カメラ カメラの画像データ からAIにてヒトを認識 し、滞在人数をカウント 成熟状態カメラ パッションフルーツの 成熟状態をAIにて 認識し、実の数を カウント パッションフルーツ 8鉢設置 鉢内に土壌センサ を設置 ミスト 気象センサ AIカメラ ▶FA(三菱電機)、農業(鈴田峠農園)、建設(青木あすなろ 建設)の3社共創活動により、IoT緑化シェードを構成し、 不動産市場(都市開発関連)に適用する新事業を検討中。 ▶都市のヒートアイランド化の緩和と、都市に集まる人々に 涼しくて快適な空間の提供を行う。パッションフルーツを アップサイクルすることで循環型システムを実現。 ▶自治体、不動産デベロッパーからの依頼により、 PoC(実証実験)を実施中。 → ウノサワ東急ビル屋上(東京) けいはんな記念公園(京都府) うめきた外庭SQUARE(大阪府) FA×農業×建設:IoT緑化シェードにより都市に快適空間を提供 新事業アイデア 社会課題 期待される成果 ・ 都市に集まる人々に涼しくて快適な空間の提供 ・ CO2削減(低炭素化) ・ 都市のヒートアイランド化の緩和 ・ 環境共生 天気グラフ 天気APIから 定期的に取得 制御盤 PLC、GOT、 などを設置 IGS本体(3m x 8m x 2.5m) IGSダッシュボード 青木あすなろ建設株式会社 ・・・ 高松コンストラクショングループの中核会社。「青木あすなろ建設アクセラレータ2021」で、 鈴田峠農園が最終審査を通過したことから、3社共創活動がスタート。 鈴田峠農園有限会社 ・・・ ⾧崎県のスタートアップ企業。2006年設立、資本金320万円、社員数20名。 「三菱電機アクセラレーションプログラム2019」の最優秀スタートアップ企業。 2022年度PoC完 2022年度PoC完 PoC中 ①植物自動育成システム ②遠隔監視システム
  8. ©Mitsubishi Electric Corporation BRP-T1001-082-* パ ッ シ ョ ン フ

    ル ー ツ と は ? 2 8 パッションフルーツとは? ▶害虫が嫌う成分があり、無農薬で 育成可能 ▶1年に2回実がなります (6~7月&9月11月) ▶実は甘酸っぱく、そのまま食べられます 効能: 夏バテ解消、美肌効果、 むくみ冷えの解消、 アンチエージング、等
  9. ©Mitsubishi Electric Corporation BRP-T1001-082-* 提 供 ソ リ ュ ー

    シ ョ ン ( 2 0 2 2 年 度 Po C ) 3 9 気象センサ 複合気象センサを 2台設置。 パッションフルーツ 8鉢設置。 鉢内に土壌センサ を設置。 IGS本体 ミスト ミストノズルを8台 設置。 制御盤 テント内に電源盤、 制御盤、ミスト装置、 電磁弁、等を設置。 LED照明 夜間点灯用の LED照明を 4台設置。 (架台サイズ: 3m x 8m x 2.5m 苗数: 8鉢) ・FX5U-32MR/DS-TS ・FX5-ENET ・GT2507T-WTSD 三菱電機FA機器 ①植物自動育成システム 人を集めるソリューション AIエッジカメラ (S+ Camera) 「滞在人数カウント」および「フルーツ成熟状態検知」を実現するため、 AIを搭載したエッジカメラ(S+ Camera)を4台設置
  10. ©Mitsubishi Electric Corporation BRP-T1001-082-* 提 供 ソ リ ュ ー

    シ ョ ン ( 2 0 2 2 年 度 Po C ) 3 10 滞在人数/ 成熟状態グラフ 各データをグラフ化 して見える化表示。 滞在人数カメラ IGS内のヒトをAI 画像処理で認識し、 滞在人数をカウント。 IGSダッシュボード 土壌センサグラフ 赤・・・土中温度 青・・・土中水分率 ※水やりタイミングで、 青グラフが上昇。 天気グラフ 天気APIから 定期的に取得。 土壌センサデータ ①土中温度[℃] ②土中水分率[%] ③水中イオン量 ④土中イオン量 ※イオン量は土中の 肥料、塩分に反応 天気データ 天気APIから 定期的に取得。 成熟状態カメラ パッションフルーツの 成熟状態をAI画像 処理で認識し、成熟 した実の数をカウント。 ②遠隔監視システム 人を集めるソリューション 「撮影データのAI解析結果」と「各種センサーの検知結果」をダッシュボード化
  11. ©Mitsubishi Electric Corporation BRP-T1001-082-* 提 供 ソ リ ュ ー

    シ ョ ン ( 2 0 2 3 年 度 Po C ) 3 11 ▪ウノサワ東急ビル屋上設置イメージ図 9m エリアB エリアA 4m 省エネソリューション • 23年度は、事業化を見据え、一般的なオフィスビル屋上でのIGS化への挑戦 • より効率的に設営・運営を可能にするISGの実現
  12. ©Mitsubishi Electric Corporation BRP-T1001-082-* 提 供 ソ リ ュ ー

    シ ョ ン ( 2 0 2 3 年 度 Po C ) 3 12 省エネソリューション (参考)システム構成図 ソラカメSwing x12 SORACOM Lagoon ダッシュボード 滞在人数 気象状況 成熟状況 土壌状況 GOT 気象センサx1 灌水/排水弁 ミスト 土壌状況 気象状況 ゲートウェイ (プロトコルブリッジ) 温湿度センサx2 電力状況 ・IGS ・エアコン 潅水状況 ミスト状況 情報系 制御系 MELSEC (FX) RS-485 RS-485 CC-Link 繁茂面積 Wi-Fi 4Gルータ 4G回線 4G回線 AI推論アプリケーション CO2吸収量 電圧 使用電力量x8 (エコモニタ) UPストリーム DOWNストリーム 土壌センサx2
  13. ©Mitsubishi Electric Corporation BRP-T1001-082-* 提 供 ソ リ ュ ー

    シ ョ ン ( 2 0 2 3 年 度 Po C ) 3 14 ②成⾧監視カメラx6台 植物の繁茂率 /パッションフルーツ の実の数・成熟度合いを推定 ①侵入検知カメラx6台 枝葉がエアコン室外機に 侵入したことを検知 省エネソリューション (IGSの上部に設置) 植物の状態を2種類のカメラで監視 • 侵入検知カメラ:6台のソラカメを配置 • 成⾧監視カメラ:6台のソラカメを配置 期待した結果を得る為には 泥臭いチューニングが不可避
  14. ©Mitsubishi Electric Corporation BRP-T1001-082-* ① 侵 入 検 知 カ

    メ ラ ( 2 0 2 3 年 度 Po C ) 4 15 ▪現地確認で分かったこと ① カメラ設置可能な場所からの撮影では侵入検 知の判断が難しい。 ② カメラ設置可能な場所に電源が来ていない。 ③ WiFiの電波強度に不安あり。 ▪ソラカメを活用して良かったこと ① ソラカメはコンパクトなので持ち運び簡単 ② モバイルバッテリーでも動作可能 ③ スマホからのデザリングで即時撮影可能 当初はカメラ1台で枝葉の侵入検知推定を 実現したかったが、断念。 現地確認は実使用するソラカメを使って、 どこでも簡単に実施可能。 現場で撮影データを見ながら、カメラ設置場所・台数を柔軟に変更
  15. ©Mitsubishi Electric Corporation BRP-T1001-082-* ② 成 ⾧ 監 視 カ

    メ ラ ( 2 0 2 3 年 度 Po C ) 4 16 ▪2022年度PoC時の課題 ① カメラ本体が大きい(13cmx11cmx40cm) ② カメラ固定でAI推論は一部のエリアに限定 ③ 画角の調整は現地で実施 ▪2023年度PoCで実現したいこと(要件) ① 屋外の狭い場所で使用するためカメラ小型化 ② カメラ1台で、広範なエリアのAI推論を実施 ③ 遠隔地からのカメラ画角調整 固定カメラ 現地調整 カメラ大 遠隔操作 カメラ小 可動カメラ ハイスペックなエッジカメラ以上の撮影範囲を、遠隔操作でカバーしながらAI推論
  16. ©Mitsubishi Electric Corporation BRP-T1001-082-* ② 成 ⾧ 監 視 カ

    メ ラ ( 2 0 2 3 年 度 Po C ) 4 17 ▪カメラの選定 屋外仕様でコンパクトな可動式カメラの探索 ソラカメSwingの採用  Where? ➡リアルタイム処理不要のため クラウド(AWS)を活用。  How? ➡クルーズ撮影された動画から 複数枚の静止画を抽出し、 スティッチで1画像に結合。 ➡結合された画像を元にAI推論。 結果をHarvestへアップロード。 ▪AI推論方法の模索 我々は植物の成⾧度合いを数値化し監視したい。 でも、ソラカメ内でカスタムAI推論は困難・・・ それでも、順調にはいかない・・・ スティッチ画像に歪が発生し実の推定に失敗。 Lagoon Harvest AI推論? ハイスペックなエッジカメラで行ったAI推論を、ソラカメAPIで品質を落とさずに実現
  17. ©Mitsubishi Electric Corporation BRP-T1001-082-* ② 成 ⾧ 監 視 カ

    メ ラ ( 2 0 2 3 年 度 Po C ) 4 18 • 静止画取得時広角補正なし ⇒AI推論失敗 • 静止画取得時広角補正あり ⇒AI推論成功 スティッチ画像に歪が発生 スティッチ画像の歪が解消 Stitch Stitch AI推論の品質を担保する為、カメラ画像の取得方法も工夫(広角補正で解決)
  18. ©Mitsubishi Electric Corporation BRP-T1001-082-* ま と め 6 21 

    SORACOM様の製品・サービスで実現できたこと  ソラカメSwingを活用した遠隔監視システムの構築。 ➡ソラカメSwing 12台使用。  ソラカメSwingを活用したAI推論手法の確立。 ➡ソラカメーAWSーSORACOMの連携で実現。  Lagoon/Harvestによるダッシュボードの実現  SORACOM様に今後期待すること  通信環境が不安定な状態が続くと、ソラカメが自動でオフライン(スリー プモード)になり、現地での電源ON/OFFが必要になる。(リモートメン テナンス性が悪化)  現在は、ソラコム様からご提案いただいたリカバリー策(スマートプラグの 利用)により再発防止が出来ているが、ソラカメ単体でもリカバリー可能 になると、より利便性が高まる。
  19. ©Mitsubishi Electric Corporation BRP-T1001-082-* ( 参 考 資 料 )

    6 23 成⾧監視カメラ (下から撮影するカメラ) 侵入監視カメラ (上から撮影するカメラ)