SONY AITRIOSによるAIエッジセンシングの新たな可能性(仮)

Transcript

1. SONY 「AITRIOS」による AIエッジセンシングの新たな可能性 (仮) 2024年11月26日 VISITS Technologies シニアディレクター 星野総合研究所合同会社 代表 星野友彦
2. 本日のセッションで達成したいこと Level1:AITRIOSは何かを知る Level2:AITRIOSに興味を持った人が増える Level3:AITRIOSで開発したい仲間が増える 今日のセッションでLevel2まで達成出来たら、(仮)卒業！
3. 前提 本日の登壇内容はSONY様のオフィシャルな見解ではございません。 AITRIOSのファンであり、AITRIOSのコミュニティに参加している ヘビーユーザーとして、また、AITRIOSを用いたユースケースの検討から システムの実現まで幅広く経験している 登壇者の知識と経験に基づく見解となりますこと、 あらかじめご承知おきください。
4. 社会課題解決のために生まれた「AITRIOS」 AI Solution Social Value Sustainability Trio + S イメージセンサーが世界中のいたるところで 当たり前に 使われている未来の実現へ
5. 爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 「AITRIOS」とは？ あらゆるモノや情報がネットワークにつながり、社会を快適に変えるIoT。しかしこれからのIoTはクラウドシステムに頼ったままで 進化できるのでしょうか。IoT端末の増加に伴いさまざまなデータをクラウドで処理するため、あらゆる負荷が増大します。そこに は膨大なデータ量、プライバシーリスク、通信・処理・分析のレイテンシー、電力消費、サービスの維持、セキュリティの保持と いった６つの壁が発生します。それらの課題を解決するため、ソニーセミコンダクタソリューションズ株式会社（以下、SSS）は 新たなエッジAIセンシングプラットフォームを展開します。 それが AITRIOS です。 (公式HPより文章および以下図を引用) サービスの構成 ハードウェア 処理の流れ
6. 普通のカメラと何が違うか？ 観賞領域 認識領域 イメージング センシング 個人の便利・楽しみ 社会の便利・安心、安全 普通のカメラ AITRIOS TOFなど
7. 「AITRIOS」の種類 - HW - 爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 AIH-IVRW2 Wi-Fiモデル 電源: USB Type-C CSV26 有線モデル 電源: PoE Raspberry Pi AI Camera - Sony IMX500 搭載 12.3MP 1-5fps 30fps クラウド経由で操作が可能 ※商用利用が前提 別途ラズパイが必要 本日のフォーカス
8. 参考：ポテンシャルを見てください！ 非力なラズパイゼロが・・・・ とても非力な ラズパイゼロ
9. 「AITRIOS」の種類 - SW - 爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 Developer Edition Local Edition Raspberry Pi モデル Enterprise Edition Webブラウザからデバイスを 操作 デバイス、PCはオンライン Windows PCからデバイス を操作 基本デバイス、PCはオフライ ン Raspberry Piでモジュール を操作 工場などでのオフライン環境 用の特別モデル データはAITRIOSクラウドに 送信またはAzure/AWS、 ローカルサーバーへの送信も 可能 データはローカルサーバーに 送信 専用のAIモデリングツール 「Brain Builder」を利用 モジュールが接続されている Raspberry Piにデータを送 信。 現時点で専用AIモデリング ツール無し LAN内のPC/サーバーにデー タを送信 対応デバイスはAIH- IVRW2とCSV26の2種 対応デバイスはAIH- IVRW2とCSV26の2種 稼働環境はRaspberry Pi 特別仕様のデバイス 本日のフォーカス
10. 「AITRIOS」ができること 爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 AIモデル作成 カメラ撮影 推論結果送信 推論結果解析 物体認識 (人によるラベリング) TensorFlow Lite モデルインポート 映像＋推論結果 出力 推論結果のみ クラウド送信 (AITRIOSクラウド またはAzure) ローカルサーバー送信 (HTTP) Data Hub経由で 推論結果取得 FlatBuffersを用いた デシリアライズ (Python他) 事前準備 AIによる画像データの推論 開発作業が必要 ステージ 主な機能(下段は高度)
11. GUIによる物体認識とラベリング
12. Data Hubによる推論結果
13. 推論結果のデータは非常に小さい！ {'1': {'C': 0, 'P': 0.99609375, 'X': 149, 'Y': 104, 'x': 260, 'y': 202}} 解説 C:Class IDの略。オブジェクトを識別するために利用 P:認識したオブジェクトのスコア X,Y:推論の左上の座標 x,y:推論した右下の座標
14. 同時にたくさんのカメラを制御できる利点を生かしたシナリオの例 野生の熊が人の生活圏内に出現する頻度が増え、エリアが拡大、人身被害件数が年々増加している(環境 省によるデータ)。 AITRIOSで熊を発見した場合、近くのデバイスを起動させることで熊の移動状態をトラッキングできると想定。
15. センシティブな状況での活用シナリオの例 画像を撮影しないエッジAIカメラ「AITRIOS」を用いて、センシティブな浴室のエリア別混雑状況を可視化！！ 簡単お知らせベル 男湯モード 風呂 脱衣場 女湯モード 風呂 脱衣場 部屋1 通知 受信 音声 通知 了解 送信 お風呂の 時間だね♪ 簡単お知らせ ベル 部屋2 まだお風呂 じゃないね AITRIOS 脱衣所混雑検知ソリューション エリアごとの人数カウント (エッジAI推論結果取得) お知らせデバイス連携 (通知送信／了解受信) キャパシティ計算 エリア別人数 キャパシティ設定 部屋3 お風呂の 時間だね♪ 部屋４ お風呂の 時間だね♪ ※独自デバイスの他、Apple Watch等想定 施設職員向け 情報共有システム 簡単お知らせ ベル 簡単お知らせ ベル 簡単お知らせ ベル エリア別残入浴入居者一覧 了解未送信入居者一覧 履歴管理 LINE通知 (簡単お知らせベルと同)
16. Console APIとPower Appsの連携 様々なサービスから呼び出すことが可能なWeb APIが提供されており、Power Appsからの実行も可能！ ※このアプリは登壇者による作成された非公式のアプリです。
17. コラボレーション 大垣ミニメイカーフェア2024 出展 爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。
18. 獣害検知 SPRESENSE連携 爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 対象物(熊)をAITRIOSで検知し、検知した座標に目掛けSPRESENSEで躯体を制御し、HDRカメラで高 精度な撮影を実施。 ローカルネットワーク SPRESENSE App HDRカメラ撮影 AITRIOS Console API ③推論結果と 座標情報送信 高精度な 撮影 (電源ONで) ①開始API実行 モーター制御 Web Server 物理イメージ 躯体(首振り可能) ステッピングモーター (簡易的に横方向のみ対応) SPRESENSE Main Board+LCD WiFi Add-on HDRカメラ AITRIOS T3Wsカメラ システムイメージ 高速な 物体認識 ④座標情報を TCPで送信 HTTP/PUT ②推論開始 ⑤撮影の実行 LCD表示(10秒) ⑥撮影結果保存
19. 獣害検知 SPRESENSE連携 爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 何かいたかも(反射神経) ー＞ AITRIOSの高速で軽量な推論結果 本当に熊かな(じっくり観察) ー＞ SPRESENSEのHDRカメラ 320px 320px AITRIOS推論結果(2fps) X:30 Y:40 x:150 y:190 ステッピングモーター 320px 320px モーター駆動(座標位置 に応じて右／左回転) 2ミリ秒単位でモーターを 1ステップずつ調整 320px 320px モーター停止 ちょうど真ん中座標に来た 時点で撮影コマンド実行 中心 X:X+(x-X)/2 中心X：160 躯体 躯体 (タイヤが回転) 躯体
21. 混雑検知 seeds reTerminal連携 爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 バックエンド処理 浴室 アプリの終了 アプリの全画面表示 デモ用(実機で推論開始／終了API実行) AITRIOS 推論結果受信API 推論結果 時系列DB デモ上では仮で 1秒に1回 デモ上では仮で 2人未満：快適(青) 2人以上：混雑(赤) を表示 デモ用(実機を使わずランダムで 混雑状況を設定／終了) 最新のデータ を取得して表示 アプリはメニューより起動 本体起動時に自動で 実行される(systemd)
22. デモ このセミナー会場に 何人いるでしょうか？
23. お互いの強みや特徴を掛け合わせ新たな価値を創造 イメージセンサーが世界中のいたるところで 当たり前に 使われている未来の実現へ 今日の登壇を聞いている皆様の サービスやプロダクトの優位性 と 様々な技術力を持ったエンジニア によって！
24. 爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 AITRIOSで実現できる世界観 犯罪を検知した場合に、推論結果をAITRIOS経由でDevice 2 Device連携し、犯罪者をトラッキング。 特徴がついた犯罪者を検知したDeviceが行動を抑制することで軽犯罪を抑制し、治安悪化を防ぐ。 SekAIichi Secure Safe 対応デバイス群(犯罪検知後、ルールに基づき監視／重大な場合は設備利用を抑制) 犯罪検知 犯罪者トラッキング／行動予測 防犯カメラ等 (既製品) 自動ドア、自動 改札 店舗／屋内 施設 信号機／道路 自動車等 PCカメラ／ スマホ モニタリング 位置情報通知 ドア開閉制限 電源制御 SekAIichi Secure Safe Consortium BlockChain(近距離におけるAITRIOS画像特徴データの共有) SekAIichi Secure Safe Cloud(遠距離AITRIOS画像特徴データの共有) 共有と展開 サービスの実現構成イメージ
26. 開発を促進するアクセラレーターを作ってます。 Reference Usecase/Mock：アイディア創出の参考事例等 Tool/Library：具現化を加速するアクセラレータ <Utility> デシリアライズAPI ローカルDB保存 <Infra> WebApp Base(Docker) スマホEd(HTTP連携) <Sample Code> M5Stack連携 <Low code> Power Platfrom連携 (AITRIOS Controller) 作成済み Architecture/Design Reference：システム設計／テクノロジースタック HTTP Local Store + IoT(IoT家電パターン) Cloud Share + Big Data Analytics(Event Data蓄積／ストリーム分析) 農作業モニタリング 獣害検知 ライドシェア 作物モニタリング 病害虫モニタリング 害獣認識／マーキ ング／害獣捕獲通 知／監視 目的別乗車人数計 測／オートリルート 連動 クマキタヨ App MockApp MockApp 介護通知 脱衣所の 混雑モニタリング 脱衣所管理App AI Model : 人数カウント 危険領域侵入検知 危険領域の 人物検知 MockApp AI Model : 物体認識
27. 面白い！と思ったら ぜひ！ AITRIOSを触ってみませんか？ 毎月、SONY様主催または共催でAITRIOSのMeetUpと、もくもく会が行われています。 社会課題を解決したいと考えているエンジニアが楽しく交流しています！ 興味があったら是非、声をかけてください！ 右上のQRコードはDiscord招待のリンクです。
28. 最後に、自己紹介 IOTビジネス共創ラボの 初期コアメンバー8年所属 AI・IOTビジネス共創ラボの 皆様と、将来の日本を創りたい アバナード株式会社で17年、 CTIOに5年従事 IDEACTIVE JAPAN PROJECT(IJP)と 呼ばれる日本を明るくしたいプロジェクトの起案者 IJPの共同スポンサーであるVISITS Technologiesに今年の11月に入社
29. 自己紹介 – エンジニアとしての目指してきた領域 - 2021年 受験型 ソリューション型 未来探索型 (超エンジニア) 課題と解決法が与えられた 状態で実行できる 与えられた課題を 自ら解決できる 自ら取り組むべき課題を 見つけ、解決できる AIやRPA等によって 既に淘汰されている (人材の価値が低い) 生成AI等によって 淘汰され始める (人材の価値が今後下がる) 今、そして今後必要な人材 旧来のオフショアと 呼ばれた人材 (手順が無いと動けない) SIer、ITコンサル社員 (顧客からヒアリング、または RFPの回答が起点) スタートアップCTO エンジニア出身起業家 テックGeek (What+圧倒的How)
30. 自己紹介 – 私の行動指針 - 好きなこと お金になること 世界が 求める もの 得意な こと 生き 甲斐 情熱 使命 専門性 天職 喜びと充実はあるが経済 的に豊かとは言えない 高揚と豊かな満足感 これでいいのか？ 疑心暗鬼な部分もあり IKIGAIフレームワーク 起業当時 得意なこと(Microsoft技術) お金になること(コンサル) ＋ 専門性 好きなことをやる 世界が求めるものをやる 生き甲斐 これから目指す姿 専門性
31. 爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 会社紹介 – 星野総合研究所合同会社 - Mission & Vision セレブなライフを爬虫類に！ 星野総合研究所の使命：先端デジタル技術を活用し、爬虫類の幸せな一生を提供すること
32. きっかけ：デジタル はちゅルーム いつでも、どこからでも確認できる 安心見守りカメラ 水槽内の温度が5分間で0.5度変化すると、 音声とLINEで通知！ 24℃以下、30℃以上(トカゲ快適温度域外)に なると自動でエアコン制御！！ 環境変化に非常弱く、理由不明の突然死が起きる爬虫類に対し、IoT(Internet of Things)と小型コン ピュータ(ラズペリーパイ)を用いて、爬虫類の快適な生活と万が一の事故を防ぐ仕組みを構築。
33. 開発内容：デジタル はちゅルーム on M5StickC Plus 爬虫類擬人化アバター「なるちゃん」 環境データからChatGPTで感情生成 簡易紫外線測定Kit (VEML6075センサー利用) おそらく業界初！！ 温湿度勾配が測定できる測定ゲージ (EnvIII、NeoPixel LED、Ambient他)
34. 爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 AITRIOSとの出会い：エッジカメラで生体活動の可視化(開発動機) 爬虫類の飼育水槽 爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 温度／湿度＋活動量 クラウド(Graph DB) Crested Gecko Line Notify 5分毎 平均温度 平均湿度 行動量 Cage1 環境データから 感情生成 トカゲ擬人化アバター 「なるちゃん」 今日は一日ずっと 引きこもっちゃった！ LINE Messaging API 行動量で体調と の因果関係計算
35. トカゲの活動量可視化 (現在実証実験中) ケヅメリクガメ ピエールさん 年齢：2歳 性別： 体重：4kg 性格：突進型