Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
M5Stickと超小型エッジAIカメラ「AITRIOS」
Search
ほしの
September 24, 2024
How-to & DIY
0
360
M5Stickと超小型エッジAIカメラ「AITRIOS」
SONY社が提供しているエッジAIカメラ「AITRIOS」とM5社が提供しているM5Stickを利用して、爬虫類の生体活動量の測定に挑みます。概要設計イメージ付き。
ほしの
September 24, 2024
Tweet
Share
More Decks by ほしの
See All by ほしの
「AITRIOS」でトカゲの活動量を可視化
hoshinoresearch
0
330
Other Decks in How-to & DIY
See All in How-to & DIY
最近読んだ本の話
akrolayer
0
110
Why did my proposals get rejected?
okuramasafumi
1
540
電気工事士を取ったら一瞬で元が取れた件
bicstone
3
5.2k
#スタックチャン「魔改造の夜」に行く
syumme01
1
190
JAWS-UGから学んだコミュニティの成功要因 (Success Factors)
awsjcpm
4
390
[너구리랑! 회고 밋업 2023] CTO 1년 회고와 회고를 바탕으로 만든 프로젝트에 대한 회고 - 전문가가 되는 방법 // 한날 님
develop_neoguri
0
170
ラズパイカメラ向け ケーブル延長基板・ハウジングの開発
koheimasaki
PRO
1
180
わたしと技術コミュニティとキャリア
kotomin_m
2
1.2k
[너구리랑! 회고 밋업 2023] 하루만에 만든 프로젝트에서 고객이 매월 결제하는 제품을 만들기까지의 여정 // 초링 님
develop_neoguri
1
100
JAWS-UG山梨第0回 AWSのユーザーコミュニティ支援
awsjcpm
0
130
Terra Charge|EVコンセントご利用ガイドブック / Terra Charge EV Charger Guidebook
contents
0
1.3k
コロナ後の世界メイカーフェア事情 高須正和@Nico-Tech Shenzhen #KMMF2024 #KariyaMMF2024
takasumasakazu
0
290
Featured
See All Featured
The Art of Programming - Codeland 2020
erikaheidi
53
13k
Being A Developer After 40
akosma
89
590k
Practical Orchestrator
shlominoach
186
10k
GitHub's CSS Performance
jonrohan
1030
460k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
3
320
KATA
mclloyd
29
14k
Embracing the Ebb and Flow
colly
84
4.6k
Build The Right Thing And Hit Your Dates
maggiecrowley
34
2.5k
GraphQLとの向き合い方2022年版
quramy
44
13k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Testing 201, or: Great Expectations
jmmastey
42
7.2k
Transcript
小さいは正義! M5Stickと超小型エッジAIカメラ「AITRIOS」 2024年9月23日 星野総合研究所合同会社 代表 星野友彦
爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 星野総合研究所合同会社のビジョン/ミッション セレブなライフを爬虫類に! 星野総合研究所の使命:先端デジタル技術を活用し、爬虫類の幸せな一生を提供すること
開発内容:デジタル はちゅルーム いつでも、どこからでも確認できる 安心見守りカメラ 水槽内の温度が5分間で0.5度変化すると、 音声とLINEで通知! 24℃以下、30℃以上(トカゲ快適温度域外)に なると自動エアコン制御!! IoT(Internet of
Things)と小型コンピュータ(ラズペリーパイ)を用いて、爬虫類の快適な生活を提供する仕 組みを構築
開発内容:デジタル はちゅルーム on M5StickC Plus 爬虫類擬人化アバター「なるちゃん」 環境データからChatGPTで感情生成 簡易紫外線測定Kit (VEML0675センサー利用) おそらく業界初!!
温湿度勾配が測定できる測定ゲージ (EnvIII、NeoPixel LED、Ambient他)
開発内容:パイソナライゼーション ヘビの好きな色がわかっちゃう、つかまり棒 好きな色がわかったから、だから何???っていう突っ込みは無しで・・・
爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 新開発!! M5 x エッジカメラで生体活動の可視化(野望) 爬虫類の飼育水槽 爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、
それが星野総合研究所の使命。 温度/湿度+活動量 クラウド(デジタルツイン風) Crested Gecko Line Notify 5分毎 平均温度 平均湿度 行動量 Cage1 環境データから感情 生成 トカゲ擬人化アバター 「なるちゃん」 今日は一日ずっと 引きこもっちゃった! LINE Messaging API
爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 課題を解決できる期待を持ったエッジAIセンサー 「AITRIOS」 あらゆるモノや情報がネットワークにつながり、社会を快適に変えるIoT。しかしこれからのIoTはクラウドシステムに頼ったままで 進化できるのでしょうか。IoT端末の増加に伴いさまざまなデータをクラウドで処理するため、あらゆる負荷が増大します。そこに は膨大なデータ量、プライバシーリスク、通信・処理・分析のレイテンシー、電力消費、サービスの維持、セキュリティの保持と いった6つの壁が発生します。それらの課題を解決するため、ソニーセミコンダクタソリューションズ株式会社(以下、SSS)は 新たなエッジAIセンシングプラットフォームを展開します。
それが AITRIOS です。 (公式HPより文章および以下図を引用) サービスの構成 ハードウェア 処理の流れ
爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 技術検証デモ(M5StickC Plus2とAITRIOSの連携) ローカルネットワーク(M5 WiFi APモード) Console Rest
API Console Web M5StickC Plus2 Object Detection Command Parameter コマンドパラメータ更新 UpdateCommandParameterFile 推論終了 StopUploadInferenceResult 推論開始 StartUploadInferenceResult Web Server Setting Page (本日省略) 推論結果受 信 API 推論開始/終 了制御 Button A Display 推論結果 表示
爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 技術検証デモ(M5StickC Plus2とAITRIOSの連携) 左認識 右認識 {'1': {'C': 0,
'P': 0.99609375, 'X': 149, 'Y': 104, 'x': 260, 'y': 202}} または{} {'1': {'C': 0, 'P': 0.99609375, 'X': 149, 'Y': 104, 'x': 260, 'y': 202}} または{} Device001 Device002 認識したカメラに応じて、M5StickCplusのディスプレイに認識結果を反映 検出デバイス 位置 スコア 表示 M5と無線で接続するため、デバイスの配置がしやすい 複数のデバイスにモデルが簡単に展開/連携できる TOF(8x8)なんぞとは比べ物にならない4K解像度の圧倒的情報量!! USB-C USB-C
爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 技術検証デモ(M5StickC Plus2とAITRIOSの連携) 課題 左認識 右認識 {'1': {'C':
0, 'P': 0.99609375, 'X': 149, 'Y': 104, 'x': 260, 'y': 202}} または{} {'1': {'C': 0, 'P': 0.99609375, 'X': 149, 'Y': 104, 'x': 260, 'y': 202}} または{} Device001 Device002 認識したカメラに応じて、M5StickCplusのディスプレイに認識結果を反映 検出デバイス 位置 スコア 表示 原因不明の通信10秒かかる問題が発生。(今回は特殊な方法で回避) PCやラズパイ/スマホで同処理を実行した時は3~5fps近くの性能が出ていた USB-C USB-C
爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 実装イメージ(本日は説明を割愛) Console Rest API 推論終了 StopUploadInferenceResult 推論開始
StartUploadInferenceResult Specific Lib HTTPClient.h ESPAsyncWebServer.h WiFi.h Arduino_JSON.h Deserialize API (Azure Functions) AITRIOS proc webserver_proc deserialize_data onRequestBody deselialize_proc deserialize_JSON call_webAPI get_inference_result get_device_id get_inference_result inference_control_proc get_access_token start/stop_inference Custom Logic(LED点灯等) 利用者が実装すること 課題となってる 通信部分 HTTP-PUT
面白い!と思ったら ぜひ! AITRIOSを触ってみませんか? 毎月、AITRIOSのMeetUpが行われています。 社会課題を解決したいと考えているエンジニアが楽しく交流しています! 興味があったら是非声をかけてください!