re:Invent2023で体験したIoT面白ワークショップ〜お絵描き2Dロボットの構築〜

re:Invent2023のワークショップにおいて、テキスト指定した内容をボールペンで自動描画するシステムを物理キット含めて構築する充実のハンズオン。その様子をお届けします。

Transcript

1. re:Invent2023で体験した ⾯⽩IoTワークショップ お絵かき2D robotの構築 1 濱⽥孝治（ハマコー）
2. 2 自己紹介 濱⽥孝治（ハマコー） • クラスメソッド株式会社 • 製造ビジネステクノロジー部 新規サービスチー ム マネージャー • JAWS-UG container運営 • AWS APN Ambassador 2020 • 好きな⾔葉「どすこい」 • @hamako9999 • 最近のハマり︓Cities SkylinesⅡ
3. 3 re:Invent2023参加してきました
4. 4 re:Invent2023参加してきました 主に参加してたのは ワークショップ
5. 5 re:Inventのワークショップとは 時間は2時間のハンズオン • 最初にワークショップで扱うアーキテクチャの解説 • その後、提⽰されたシナリオドキュメントにそって、 実装 • 不明点は都度同席の⼈か、周囲にいるSAに質問可能 • AWS環境はまるごと参加者全員に⽤意される • 課⾦の⼼配は無いが、だいたい数時間後にリソース全部 削除される • 公開と⾮公開にわかれる
6. 6 ここに全てが載っています https://dev.classmethod.jp/articles/recommendations-for-attending-an-aws-reinvent-workshop-session/
7. 7 re:Invent2023で参加したワークショップ • AIM302 | Use generative AI to extract insights from contact center recordings • DAT303 | Build generative-AI-powered search with Amazon Aurora & Amazon RDS • IOT205 | Using generative AI & AWS IoT to build a 2D robot that draws pictures • IOT311 | Build architectural patterns for IoT data ingestion and visualization • CON403 | Seekable OCI (SOCI) for lazy loading container images with Amazon ECS • CON404 | Generative AI with Data on Amazon EKS (DoEKS) • NET304 | Simplifying application networking with Amazon VPC Lattice • IOT203-R1 | Automated anomaly detection for smart manufacturing [REPEAT]
8. 8 re:Invent2023で参加したワークショップ • AIM302 | Use generative AI to extract insights from contact center recordings • DAT303 | Build generative-AI-powered search with Amazon Aurora & Amazon RDS • IOT205 | Using generative AI & AWS IoT to build a 2D robot that draws pictures • IOT311 | Build architectural patterns for IoT data ingestion and visualization • CON403 | Seekable OCI (SOCI) for lazy loading container images with Amazon ECS • CON404 | Generative AI with Data on Amazon EKS (DoEKS) • NET304 | Simplifying application networking with Amazon VPC Lattice • IOT203-R1 | Automated anomaly detection for smart manufacturing [REPEAT] 今⽇はこれの話
9. 9 今⽇の主旨 ワークショップで扱ったデバイスの紹介と AWSの⽣成AIサービス（Bedrock）の活⽤ ⽅法のヒント
10. 10 Agenda • ワークショップの内容 • 利⽤デバイスの紹介 • まとめ
11. 11 本編スタート
13. 13 テキスト⼊⼒した内容を ボールペンで⾃動描画する デバイスの構築
14. 14 「⽥中の三⽂判」 描いて
15. 15 作るもの（ワークショップ）流れ • Amazon BedrockでStable Diffusion XL v1.0の有 効化 • 適当な画像を⽣成 • 描画デバイスの組み⽴て（物理） • デバイス「XIAO ESP32S Sense」の有効化 • ⽣成した画像を描画⽤線画に変換し、ボールペンで 描画
16. 16 stability.aiの利⽤ ref: https://d1.awsstatic.com/events/Summits/reinvent2023/IOT205_Using-generative-AI-and-AWS-IoT-to-build-a-2D-robot-that-draws-pictures.pdf
17. 17 アーキテクチャ（Webアプリ） ref: https://d1.awsstatic.com/events/Summits/reinvent2023/IOT205_Using-generative-AI-and-AWS-IoT-to-build-a-2D-robot-that-draws-pictures.pdf フロントエンドをAmplifyでホスト し、バックエンドで画像⽣成に Amazon Bedrockを利⽤
18. 18 物理キットが⽤意されている
19. 19 物理キット組⽴後
20. 20 描画デバイス XIAO ESP32S Sense ref: https://www.seeedstudio.com/blog/2023/11/22/iot205-generative-ai-aws-iot-building-a-2d-drawing-robot-workshop-with-xiao-esp32s3-sense-at-aws-reinvent/
21. 21 デバイスの紹介（公式） Seeed Studio XIAO ESP32S3 Sense • パワフルなMCUボード︓ ESP32S3 32ビット、デュアルコア、最⼤240MHz動作のXtensaプロ セッサチップを内蔵、複数の開発ポートを搭載、Arduino/MicroPythonに対応 • ⾼度な機能性︓ 取り外し可能なOV2640カメラセンサー（解像度1600*1200）、OV5640カメ ラセンサーとの互換性、追加 デジタルマイク内蔵 • より多くの可能性を秘めたメモリー︓ 8MBのPSRAMと8MBのFLASHを提供し、外部 32GB FATメモリ ⽤のSDカードスロットをサポート します。 • 卓越したRF性能︓ 2.4GHzのWi-FiとBLEのデュアルワイヤレス通信をサポートし、U.FLアンテ ナと接続した場合、100m以上のリモート通信をサポートします。 • 親指サイズのコンパクト設計︓ 21 x 17.5mm、XIAOの古典的なフォームファクターを採⽤し、 ウェアラブルデバイスのようなスペースが限られたプロジェクトに適しています。 • SenseCraft Alから事前に学習させたAlモデルをノーコードで展開
22. 22 デバイスの紹介（公式）
23. 23 デバイスの紹介（公式）
24. 24 実際に使ったモノ
25. 25 デバイスプロビジョニング⼿順 ref: https://d1.awsstatic.com/events/Summits/reinvent2023/IOT205_Using-generative-AI-and-AWS-IoT-to-build-a-2D-robot-that-draws-pictures.pdf デバイスのカメラか ら⾃分がワークショ ップで作成したQR コードを読み込む。 QRコードには会場 のWifiとAWS IoT Coreのエンドポイン ト情報が含まれてお り、デバイス認識さ せることで、クラウ ドと接続が完了
26. 26 画⾯描画のアーキテクチャ ref: https://d1.awsstatic.com/events/Summits/reinvent2023/IOT205_Using-generative-AI-and-AWS-IoT-to-build-a-2D-robot-that-draws-pictures.pdf 画像を⽣成したそのままだとボ ールペンで描画できないので、 画像を⼀旦「Image vectorization」で線画に変換 し、それをIoT Core経由でデバ イス側で描画させる。
27. 27 実際に描いている様⼦（同席していた同僚） ref: https://dev.classmethod.jp/articles/202312-reinvent2023-iot205/ アーム部分の調整がうまくいか ず︖思い通りの描画にはなかな かならなかった
28. 28 まとめ re:Inventのワークショップは⾯⽩い • ワークショップは元々体験型のコンテンツだが、実際にデ バイスが全員に配布されそれを組み⽴てながらクラウド側 と連携して動作させる体験は、最⾼に⾯⽩かった • IoTと⽣成AIの組み合わせは、いろんなユースケースが出て きているが、今⽇のモデルも⼀つの参考になれば幸い • 来年（今年か）は皆さん⼀緒にre:Invent⾏きましょう︕︕