メモリリソース不足で苦労しましたが、何とか7周年基板で Azure Computer Vision 動かせました

2022/08/27（土）14:00〜
に開催された、『【オンライン】7周年基板IoT作品開発コンテスト 本番LT会！』での発表資料です。
イベントページ：
https://algyan.connpass.com/event/254210/

Transcript

1. TakSan(佐野) 7周年基板IoT作品開発コンテスト 発表作品 メモリリソース不足で苦労しましたが、 何とか7周年基板で Azure Computer Vision 動かせました。
2. 自己紹介 本職：組み込みＳＥ 名前：TakSan (佐野) 拠点：東大阪 https://elchika.com/user/TakSan0/ https://protopedia.net/prototyper/taksan 作品をこの辺で ⇐ 公開中 ⇒ 活動：ハッカソン・コンテスト・LT 特技：地雷ふみ
3. 話すこと ・７周年基板で実現できたこと ・苦労/工夫したこと ・動作デモ
4. 話すこと ・７周年基板で実現できたこと ・苦労/工夫したこと ・動作デモ
5. ComputerVision とは？ https://docs.microsoft.com/ja-jp/azure/cognitive-services/computer-vision/overview 引用（Microsoft Azure サイトより）
6. 構成図 Computer Vision ALGYAN7th基板 Azure 解析要求 （撮影画像＋パラメータ） 解析結果 （検出物名称、分類、検出座標・サイズ等）
7. 通信内容 C:¥Users¥xxxx>curl "https://taksan-computervision.cognitiveservices.azure.com/vision/v3.2/analyze?visualFeatures= Objects,Brands,Categories,Faces&language=en&model-version=latest" -H "Ocp-Apim-Subscription-Key: e15e4f6a274e463d 89dedd4a650b58bc" -H "Content-Type: application/json" -d "{'url’ : 'https://i.gyazo.com/39ae3853870eb5cf161d9bbd 65af1c7b.png’}” {"categories":[{"name":"others_","score":0.01171875},{"name":"outdoor_","score":0.05078125}],"faces":[],"objects “:[{"rectangle":{"x":381,"y":521,"w":473,"h":156},"object":"taxi","confidence":0.512,"parent":{"object":"car",“ confidence":0.874,"parent":{"object":"Land vehicle","confidence":0.88,"parent":{"object":"Vehicle","confidence":0 .881}}}},{"rectangle":{"x":819,"y":526,"w":440,"h":143},"object":"car","confidence":0.858,"parent":{"object":"Lan D vehicle","confidence":0.878,"parent":{"object":"Vehicle","confidence":0.88}}}],"brands":[],"requestId":"cf02897 d-3aea-4dcb-b79d-6d542495dbf9","metadata":{"height":1080,"width":1920,"format":"Png"},"modelVersion":"2021-05-01" } ▲ 要求(HTTP POST) ▲ 応答(Json Data)
8. 画像であらわすと { (中略) "objects": [ { "rectangle": { "x": 381, "y": 521, "w": 473, "h": 156 }, "object": "taxi", "confidence": 0.512, "parent": { "object": "car", "confidence": 0.874, "parent": { "object": "Land vehicl "confidence": 0.88, "parent": { "object": "Vehicle", "confidence": 0.881 } } } }, { "rectangle": { "x": 819, "y": 526, "w": 440, "h": 143 }, "object": "car", "confidence": 0.858, "parent": { "object": "Land vehicle "confidence": 0.878, "parent": { "object": "Vehicle", "confidence": 0.88 } } } ], (中略) } 要求画像 応答結果 (JSON) 結果から枠線 と名前を描画
9. 無謀な挑戦？ { (中略) "objects": [ { "rectangle": { "x": 381, "y": 521, "w": 473, "h": 156 }, "object": "taxi", "confidence": 0.512, "parent": { "object": "car", "confidence": 0.874, "parent": { "object": "Land vehicl "confidence": 0.88, "parent": { "object": "Vehicle", "confidence": 0.881 } } } }, { "rectangle": { "x": 819, "y": 526, "w": 440, "h": 143 }, "object": "car", "confidence": 0.858, "parent": { "object": "Land vehicle "confidence": 0.878, "parent": { "object": "Vehicle", "confidence": 0.88 } } } ], (中略) } 要求画像 応答結果 (JSON) 結果から枠線 と名前を描画 同じ様な事が ALGYAN7周年基板で 実行可能か検証したら いばらの道だった(ﾟДﾟ)
10. 話すこと ・７周年基板で実現できたこと ・苦労/工夫したこと ・動作デモ
11. ESP32のメモリは貧弱 Arduinoライブラリやシステムが使う分、今回使ったライブ ラリで使う分を差し引くと、ESP32の使用可能メモリは グローバル変数領域：100KB程度 動的確保領域：80KB程度
12. とにかくメモリが足りない カメラ 対して、カメラや LCDスクリーンの扱う 画像データのサイズは LCDスクリーン VGA(640X480画素、16bit色) =640x480x2 = 600KB QVGA(320X240画素、16bit色) =320x240x2 = 150KB
13. ESP32でカメラ搭載製品もある？ PSRAM というメモリを別に積んだ CPU を使用 例えばM5 カメラ
14. カメラは低解像度で割り切る カメラ LCDスクリーンに合わせてカメラ入力を1/4サイズに LCDスクリーン QVGA(320X240画素、16bit色) =320x240x2 = 150KB
15. 前回のキックオフイベントで 対策案が発見される。 １ラインずつDMA転送でカメラから読み 取りスクリーンに表示する方法 ▼ 但しこれは、縦ドット数分を連続して実 行できることが前提
16. ラインごとに遅延が発生すると １ライン分データをどうにか保持しよう とすると遅延が発生して画像が縞状に…
17. ７周年基板には愛のメモリが FRAM に１ラインごと書き込むも間に合 わず…
18. LCD画面をバッファメモリに LCDスクリーン のVRAM利用 スクリーンコントローラのコマンド を直接叩きながらSPI通信して 読み出せた
19. 話すこと ・７周年基板で実現できたこと ・苦労/工夫したこと ・動作デモ
21. 実際にやってみたい方の為に elchika というサイトに やり方解説記事を作成しました。 イベントページの資料欄に 追加しました。
22. おわり ご視聴ありがとう ございました。