「AITRIOS」でトカゲの活動量を可視化

SONY社が提供しているエッジAIカメラ「AITRIOS」を利用して、リクガメの活動量の測定に挑みます。
また、「AITRIOS」の概要と利用方法について紹介します。

Transcript

1. 「AITRIOS」でトカゲの活動量を可視化 2024年10月16日 星野総合研究所合同会社 代表 星野友彦
2. 私にとってのペイン 真冬の時期のある日、私は爬虫類(アカメカブトトカゲ、名前は「なるちゃん」)のお世 話の日課である水替えをいつものようにしていました。 昨日はご飯も食べたし、代わり映えがない日常でしたが、今日見るとなんかおかしい。 口を開けてなんか苦しそう、急いで病院に連れて行きましたが、結果は重度の肺炎 ということでした。 そして、そのまま残念な結果になってしまいました。 日に1回、温度のメモは取っていましたが、何がおかしかったか正直わかりません。 思い当たることがあるとしたら、数週間前、特に寒い日があり、いつも通りのエアコン の環境では十分に暖められなかったことがありました。 とはいっても、室温は21度程度、そこまで致命的な寒さでもなく、その後もご飯を食 べていたこともあり、死因は謎のまま解明されていません。
3. 爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 星野総合研究所合同会社のビジョン／ミッション セレブなライフを爬虫類に！ 星野総合研究所の使命：先端デジタル技術を活用し、爬虫類の幸せな一生を提供すること
4. きっかけ：デジタル はちゅルーム いつでも、どこからでも確認できる 安心見守りカメラ 水槽内の温度が5分間で0.5度変化すると、 音声とLINEで通知！ 24℃以下、30℃以上(トカゲ快適温度域外)に なると自動でエアコン制御！！ 環境変化に非常弱く、理由不明の突然死が起きる爬虫類に対し、IoT(Internet of Things)と小型コン ピュータ(ラズペリーパイ)を用いて、爬虫類の快適な生活と万が一の事故を防ぐ仕組みを構築。
5. 開発内容：デジタル はちゅルーム on M5StickC Plus 爬虫類擬人化アバター「なるちゃん」 環境データからChatGPTで感情生成 簡易紫外線測定Kit (VEML6075センサー利用) おそらく業界初！！ 温湿度勾配が測定できる測定ゲージ (EnvIII、NeoPixel LED、Ambient他)
6. 開発内容：パイソナライゼーション ヘビの好きな色がわかっちゃう、つかまり棒 好きな色がわかったから、だから何？？？っていう突っ込みは無しで・・・
7. 爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 AITRIOSとの出会い：エッジカメラで生体活動の可視化(開発動機) 爬虫類の飼育水槽 爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 温度／湿度＋活動量 クラウド(Graph DB) Crested Gecko Line Notify 5分毎 平均温度 平均湿度 行動量 Cage1 環境データから 感情生成 トカゲ擬人化アバター 「なるちゃん」 今日は一日ずっと 引きこもっちゃった！ LINE Messaging API 行動量で体調と の因果関係計算
8. トカゲの活動量可視化 生LIVE中継(現在実証実験中) ケヅメリクガメ ピエールさん 年齢：2歳 性別： 体重：4kg 性格：突進型
9. 爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 会場デモ：トカゲの活動量可視化 左認識 右認識 {'1': {'C': 0, 'P': 0.99609375, 'X': 149, 'Y': 104, 'x': 260, 'y': 202}} または{} {'1': {'C': 0, 'P': 0.49102134, 'X’: 121, ‘Y’: 73, ‘x’: 190, 'y’: 184}} または{} Device001 Device002 認識したカメラに応じて、M5StickCplusのディスプレイに認識結果を反映 検出デバイス 位置 スコア 表示 M5と無線で接続するため、デバイスの配置がしやすい 複数のデバイスにモデルが簡単に展開／連携できる TOF(8x8)なんぞとは比べ物にならない4K解像度の圧倒的情報量!! USB-C USB-C
10. 爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 課題解決の期待を持ったエッジAIセンサー 「AITRIOS」 あらゆるモノや情報がネットワークにつながり、社会を快適に変えるIoT。しかしこれからのIoTはクラウドシステムに頼ったままで 進化できるのでしょうか。IoT端末の増加に伴いさまざまなデータをクラウドで処理するため、あらゆる負荷が増大します。そこに は膨大なデータ量、プライバシーリスク、通信・処理・分析のレイテンシー、電力消費、サービスの維持、セキュリティの保持と いった６つの壁が発生します。それらの課題を解決するため、ソニーセミコンダクタソリューションズ株式会社（以下、SSS）は 新たなエッジAIセンシングプラットフォームを展開します。 それが AITRIOS です。 (公式HPより文章および以下図を引用) サービスの構成 ハードウェア 処理の流れ
11. 「AITRIOS」ができること 爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 AIモデル作成 カメラ撮影 推論結果送信 推論結果解析 物体認識 (人によるラベリング) TensorFlow Lite モデルインポート 映像＋推論結果 推論結果のみ クラウド送信 (AITRIOSサービス またはAzure) ローカルサーバー送信 (HTTP) Data Hub経由で 推論結果取得 FlatBuffersを用いた デシリアライズ (Python他) 事前準備 AIによる画像データの推論 開発作業が必要
12. GUIによる物体認識とラベリング
13. Data Hubによる推論結果
14. ポテンシャルを見てください！ 非力なラズパイゼロが・・・・
15. 爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 推論結果は1KB未満。 ということは・・・ Cloud (Azure) Edge IoT Hub (処理済みデバイス データ受信) SQL Database アプリで利用 推論履歴等 Stream Analytics (複数デバイス間 計算処理) Azure IoT Edge Module/Runtime Azure Functions (Deserialize) Stream Analytics (時系列計算処理) 閾値判定／ デバイス制御 アクション 30FPS推論 Insights の送信 画像画像１枚(5MB)で5000推論相当。データ容量が低いため、Edge側で推論結果を時系列処理し、高 いレスポンスなデバイス制御と、複数のデバイス間で起きたことをクラウド側で共有する。 ロボットや デバイスの目
16. 同時にたくさんのカメラを制御できる利点を生かしたシナリオの例 野生の熊が人の生活圏内に出現する頻度が増え、エリアが拡大、人身被害件数が年々増加している(環境省によるデータ)。 AITRIOSで熊を発見した場合、近くのデバイスを起動させることで熊の移動状態をトラッキングできると想定。
17. 害獣検知のリファレンスアーキ 爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 AITRIOS KUMA SOL 複数デバイスによる検出トレースのイメージ(検知したデバイスと時系列から動きを把握) Console Rest API Console XX地域 PJ 推論終了 StopUpload InferenceResult 推論開始 StartUpload InferenceResult Object Detection (KUMA Model) Command Parameter (地域共通) WiFi/Internet 自宅庭／店舗入り口等 自宅庭／店舗入り口等 自宅庭／店舗入り口等 Microsoft Azure Azure Event Hubs AITRIOS NS イベントデータ デバイス 推論日時 推論結果 Azure Blob Storage AITRIOS NS AITRIOSコンテナ デバイス 撮影日時 画像(JPG) Azure Functions 熊行動範囲想定 ロジック ジオフェンシング ロジック 別技術へ置き換え可能 Azure Notification 熊発生通知 (SMS/SNS) Azure WebApps 熊発生Webサイト (マップ表示) 自動音声 アナウンス トラップ 起動 PC/ スマホ等
18. 爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 AITRIOSで実現できる世界観 犯罪を検知した場合に、推論結果をAITRIOS経由でDevice 2 Device連携し、犯罪者をトラッキング。 特徴がついた犯罪者を検知したDeviceが行動を抑制することで軽犯罪を抑制し、治安悪化を防ぐ。 SekAIichi Secure Safe 対応デバイス群(犯罪検知後、ルールに基づき監視／重大な場合は設備利用を抑制) 犯罪検知 犯罪者トラッキング／行動予測 防犯カメラ等 (既製品) 自動ドア、自動 改札 店舗／屋内 施設 信号機／道路 自動車等 PCカメラ／ スマホ モニタリング 位置情報通知 ドア開閉制限 電源制御 SekAIichi Secure Safe Consortium BlockChain(近距離におけるAITRIOS画像特徴データの共有) SekAIichi Secure Safe Cloud(遠距離AITRIOS画像特徴データの共有) 共有と展開 サービスの実現構成イメージ
20. やってみたい！ では、どう進めたらよいか？ ①デバイスの購入 ②AITRIOS コンソールの契約 (法人前提) ③デバイスの接続 (初見殺し) ④FWの最新化 ⑤AIモデル作成と デプロイ ⑥カメラ撮影 ⑦推論結果送信 ⑧推論結果解析 ※ラズパイ版モデルは、AITRIOSのサービスと現時点では接続できず、ローカル利用のみとなります。
21. 開発を促進するアクセラレーターを作ってます。 Reference Usecase/Mock：アイディア創出の参考事例等 Tool/Library：具現化を加速するアクセラレータ <Utility> デシリアライズAPI(Az関数) デシリアライズ(Python) <Infra> WebApp Base(Docker) スマホEd(HTTP連携) <Sample Code> M5Stack連携 <Low code> Power Platfrom連携 (AITRIOS Controller) 作成済み Architecture/Design Reference：システム設計／テクノロジースタック HTTP Local Store + IoT(IoT家電パターン) Cloud Share + Big Data Analytics(Event Data蓄積／ストリーム分析) 農作業モニタリング 獣害検知 ライドシェア 作物モニタリング 病害虫モニタリング 害獣認識／マーキ ング／害獣捕獲通 知／監視 目的別乗車人数計 測／オートリルート 連動 クマキタヨ App MockApp MockApp 介護通知 脱衣所の 混雑モニタリング 脱衣所管理App AI Model : 人数カウント 危険領域侵入検知 危険領域の 人物検知 MockApp AI Model : 物体認識
22. 面白い！と思ったら ぜひ！ AITRIOSを触ってみませんか？ 毎月、SONYさん主催または共催でAITRIOSのMeetUpと、もくもく会が行われています。 社会課題を解決したいと考えているエンジニアが楽しく交流しています！ 興味があったら是非、声をかけてください！
23. ご清聴ありがとうございました。 ProtoPedia：AITRIOSファンの集い