re:Invent2023で体験した ⾯⽩IoTワークショップ お絵かき2D robotの構築 1 濱⽥孝治（ハマコー）

2 自己紹介 濱⽥孝治（ハマコー） • クラスメソッド株式会社 • 製造ビジネステクノロジー部 新規サービスチー ム マネージャー • JAWS-UG container運営 • AWS APN Ambassador 2020 • 好きな⾔葉「どすこい」 • @hamako9999 • 最近のハマり︓Cities SkylinesⅡ

3 re:Invent2023参加してきました

4 re:Invent2023参加してきました 主に参加してたのは ワークショップ

5 re:Inventのワークショップとは 時間は2時間のハンズオン • 最初にワークショップで扱うアーキテクチャの解説 • その後、提⽰されたシナリオドキュメントにそって、 実装 • 不明点は都度同席の⼈か、周囲にいるSAに質問可能 • AWS環境はまるごと参加者全員に⽤意される • 課⾦の⼼配は無いが、だいたい数時間後にリソース全部 削除される • 公開と⾮公開にわかれる

6 ここに全てが載っています https://dev.classmethod.jp/articles/recommendations-for-attending-an-aws-reinvent-workshop-session/

7 re:Invent2023で参加したワークショップ • AIM302 | Use generative AI to extract insights from contact center recordings • DAT303 | Build generative-AI-powered search with Amazon Aurora & Amazon RDS • IOT205 | Using generative AI & AWS IoT to build a 2D robot that draws pictures • IOT311 | Build architectural patterns for IoT data ingestion and visualization • CON403 | Seekable OCI (SOCI) for lazy loading container images with Amazon ECS • CON404 | Generative AI with Data on Amazon EKS (DoEKS) • NET304 | Simplifying application networking with Amazon VPC Lattice • IOT203-R1 | Automated anomaly detection for smart manufacturing [REPEAT]

8 re:Invent2023で参加したワークショップ • AIM302 | Use generative AI to extract insights from contact center recordings • DAT303 | Build generative-AI-powered search with Amazon Aurora & Amazon RDS • IOT205 | Using generative AI & AWS IoT to build a 2D robot that draws pictures • IOT311 | Build architectural patterns for IoT data ingestion and visualization • CON403 | Seekable OCI (SOCI) for lazy loading container images with Amazon ECS • CON404 | Generative AI with Data on Amazon EKS (DoEKS) • NET304 | Simplifying application networking with Amazon VPC Lattice • IOT203-R1 | Automated anomaly detection for smart manufacturing [REPEAT] 今⽇はこれの話

9 今⽇の主旨 ワークショップで扱ったデバイスの紹介と AWSの⽣成AIサービス（Bedrock）の活⽤ ⽅法のヒント

10 Agenda • ワークショップの内容 • 利⽤デバイスの紹介 • まとめ

11 本編スタート

12

13 テキスト⼊⼒した内容を ボールペンで⾃動描画する デバイスの構築

14 「⽥中の三⽂判」 描いて

15 作るもの（ワークショップ）流れ • Amazon BedrockでStable Diffusion XL v1.0の有 効化 • 適当な画像を⽣成 • 描画デバイスの組み⽴て（物理） • デバイス「XIAO ESP32S Sense」の有効化 • ⽣成した画像を描画⽤線画に変換し、ボールペンで 描画

16 stability.aiの利⽤ ref: https://d1.awsstatic.com/events/Summits/reinvent2023/IOT205_Using-generative-AI-and-AWS-IoT-to-build-a-2D-robot-that-draws-pictures.pdf

17 アーキテクチャ（Webアプリ） ref: https://d1.awsstatic.com/events/Summits/reinvent2023/IOT205_Using-generative-AI-and-AWS-IoT-to-build-a-2D-robot-that-draws-pictures.pdf フロントエンドをAmplifyでホスト し、バックエンドで画像⽣成に Amazon Bedrockを利⽤

18 物理キットが⽤意されている

19 物理キット組⽴後

20 描画デバイス XIAO ESP32S Sense ref: https://www.seeedstudio.com/blog/2023/11/22/iot205-generative-ai-aws-iot-building-a-2d-drawing-robot-workshop-with-xiao-esp32s3-sense-at-aws-reinvent/

21 デバイスの紹介（公式） Seeed Studio XIAO ESP32S3 Sense • パワフルなMCUボード︓ ESP32S3 32ビット、デュアルコア、最⼤240MHz動作のXtensaプロ セッサチップを内蔵、複数の開発ポートを搭載、Arduino/MicroPythonに対応 • ⾼度な機能性︓ 取り外し可能なOV2640カメラセンサー（解像度1600*1200）、OV5640カメ ラセンサーとの互換性、追加 デジタルマイク内蔵 • より多くの可能性を秘めたメモリー︓ 8MBのPSRAMと8MBのFLASHを提供し、外部 32GB FATメモリ ⽤のSDカードスロットをサポート します。 • 卓越したRF性能︓ 2.4GHzのWi-FiとBLEのデュアルワイヤレス通信をサポートし、U.FLアンテ ナと接続した場合、100m以上のリモート通信をサポートします。 • 親指サイズのコンパクト設計︓ 21 x 17.5mm、XIAOの古典的なフォームファクターを採⽤し、 ウェアラブルデバイスのようなスペースが限られたプロジェクトに適しています。 • SenseCraft Alから事前に学習させたAlモデルをノーコードで展開

22 デバイスの紹介（公式）

23 デバイスの紹介（公式）

24 実際に使ったモノ

25 デバイスプロビジョニング⼿順 ref: https://d1.awsstatic.com/events/Summits/reinvent2023/IOT205_Using-generative-AI-and-AWS-IoT-to-build-a-2D-robot-that-draws-pictures.pdf デバイスのカメラか ら⾃分がワークショ ップで作成したQR コードを読み込む。 QRコードには会場 のWifiとAWS IoT Coreのエンドポイン ト情報が含まれてお り、デバイス認識さ せることで、クラウ ドと接続が完了

26 画⾯描画のアーキテクチャ ref: https://d1.awsstatic.com/events/Summits/reinvent2023/IOT205_Using-generative-AI-and-AWS-IoT-to-build-a-2D-robot-that-draws-pictures.pdf 画像を⽣成したそのままだとボ ールペンで描画できないので、 画像を⼀旦「Image vectorization」で線画に変換 し、それをIoT Core経由でデバ イス側で描画させる。

27 実際に描いている様⼦（同席していた同僚） ref: https://dev.classmethod.jp/articles/202312-reinvent2023-iot205/ アーム部分の調整がうまくいか ず︖思い通りの描画にはなかな かならなかった

28 まとめ re:Inventのワークショップは⾯⽩い • ワークショップは元々体験型のコンテンツだが、実際にデ バイスが全員に配布されそれを組み⽴てながらクラウド側 と連携して動作させる体験は、最⾼に⾯⽩かった • IoTと⽣成AIの組み合わせは、いろんなユースケースが出て きているが、今⽇のモデルも⼀つの参考になれば幸い • 来年（今年か）は皆さん⼀緒にre:Invent⾏きましょう︕︕