【四国クラウドお遍路2023】パタパタプロジェクト-AWSを活用して手軽に画像分析を実装した_20230916

by Toshiki Terai

Slide 1

Slide 1 text

～パタパタプロジェクト～ 2023-09-16 四国クラウドお遍路 2 0 2 3 株式会社ディーネット寺井俊喜(テライトシキ) 1 AWSを活用して手軽に画像分析を実装した

Slide 2

Slide 2 text

自己紹介 2 • 名前 - 寺井俊喜（テライトシキ） • 所属 - 株式会社ディーネット（2022/12~） - クラウドビジネス部アーキテクト課 • 好きなこと - 音楽、猫、お酒、ゲーム、効率化 • 好きなAWSサービス - Amazon EventBridge • SNS/ブログ - Twitter（@TeraiToshiki） - DENET技術ブログ（t.terai） follow me !! 1年後

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

目次 5

Slide 6

Slide 6 text

目次 6 1.パタパタプロジェクトとは 2.完成品の紹介 3.構成について 4.苦労した点や今後の課題

Slide 7

Slide 7 text

そもそも「パタパタ」って何？ 7

Slide 8

Slide 8 text

「パタパタ」とは 8 • 正式名称 • 反転フラップ式案内表示機フラップが一斉に回転する音が特徴的で「パタパタ」とも呼ばれている

Slide 9

Slide 9 text

パタパタプロジェクトとは 9

Slide 10

Slide 10 text

パタパタプロジェクト（第一期） 10 • 社内の有志が集って発足(４名) 主目標：パタパタを自動で動かしてランダムにサービス表示

Slide 11

Slide 11 text

パタパタプロジェクト（第一期） - 完成品 11 • ラズパイによるモーター制御で一定間隔ごとにパタパタ • パタパタの自動制御を実現「日経クロステックNEXT関西2023」での展示

Slide 12

Slide 12 text

パタパタプロジェクト第二期 12

Slide 13

Slide 13 text

パタパタプロジェクト（第二期） 13 • 有志を募って規模拡大（４名→９名）主目標： AWSと組み合わせて会社としてのアピール材料に →いっぱいAWS触りたい！！！

Slide 14

Slide 14 text

パタパタプロジェクト（第二期） - 課題 14 • AWSのソリューションと組み合わせたい • 任意のトリガー制御でインタラクト性を持たせたい • パタパタで出た結果(面)を認識できない IoT Core API Gateway CloudFront S3 Rekognition Lambda

Slide 15

Slide 15 text

完成品 15

Slide 16

Slide 16 text

Slide 17

Slide 17 text

上から見た図 17 モーター回転パタパタを回すパタパタモーターモニターボタンカメラパタパタの出た面を写真撮影 DENETのサービス名などを表示入力待機画面・分析結果を表示ダミーボタン ※実際にはお使いいただけません。

Slide 18

Slide 18 text

デモ映像 18

Slide 19

Slide 19 text

構成について 19

Slide 20

Slide 20 text

20 AWS 構成図

Slide 21

Slide 21 text

21 AWS 構成図 – 一連の動作(画像分析)

Slide 22

Slide 22 text

AWS 構成図 – REST API トリガー 22 • 「S3」に配置した起動用ページを「CloudFront」経由で配信 • 「API Gateway」で起動用の「Lambda」をトリガー • 「IoT Topic」に特定のメッセージをパブリッシュ • ラズパイ側で特定のトピックをサブスクライブして、メッセージに応じてモーター回転(Python)

Slide 23

Slide 23 text

API Gateway – 統合リクエストコンソール画面が新しくなってた

Slide 24

Slide 24 text

AWS 構成図 – 画像分析 24 • 「IoT Core」経由でAWSの各サービスと連携（ MQTTプロトコル） • 「Rekognition カスタムラベル」を使用した画像分析機能により出た面を認識可能に • 「Lambda」でRekognitionからの分析結果を元に画像処理結果をIoT Topicにパブリッシュ

Slide 25

Slide 25 text

IoT Core – Rule & Action

Slide 26

Slide 26 text

IoT Core – Rule & Action

Slide 27

Slide 27 text

Rekognition カスタムラベル – トレーニング

Slide 28

Slide 28 text

Rekognition カスタムラベル – 処理結果 28 検出したラベル日時ラベルテキストバウンディングボックス画像内で検出されたアイテムの境界ボックス処理した日時ラベルに対応したテキスト

Slide 29

Slide 29 text

AWS 構成図 – 異常検知&アラート 29 • 「IoT Events」でモーターの不具合を検知 • 「Health Dashboard」から発行されるIoT関連のサービス異常を「EventBridge」ルールで制御 • 「CloudWatch Logs メトリクスフィルター」でLambdaの特定のエラーメッセージを検知 →SNSで運用チームに通知

Slide 30

Slide 30 text

Health Dashboard →EventBridge →SNS 30

Slide 31

Slide 31 text

「IoT Events」によるデバイスの異常検知 31

Slide 32

Slide 32 text

源泉かけ流しの湯 – Slackにて開発者や運用担当に通知 32

Slide 33

Slide 33 text

構成まとめ 33

Slide 34

Slide 34 text

苦労した点と今後の課題 34

Slide 35

Slide 35 text

苦労話 – プロジェクトの推進 35 • しっかり計画化して進めたい慎重派 • とりあえず走り出そう精神の大胆派 PMやリーダーなどの役割を定める(立候補) ↓ 有志の集まりなのでフラットな組織構造 ↓ 指揮命令系統が曖昧対立

Slide 36

Slide 36 text

今後の課題やりたいこと 36 • Rekognition – 画像分析 • 学習精度の向上（たまにミスる。） • 一連の処理速度の改善（ちょっと遅い。） • コスト最適化（結構高い。） • AWSのベストプラクティスに近づける • セキュリティ向上（誰でもパタパタできちゃう。） • 開発環境整備(CI/CD) （Lambdaコンソールで更新大変。） • プロジェクト推進力の向上 • プロジェクトコントロール（プロジェクトスムーズに進めたい。） • コミュニケーション能力（みんな仲良く。）

Slide 37

Slide 37 text

ご清聴ありがとうございました。株式会社ディーネット寺井俊喜(テライトシキ) AWSアドバンストコンサルティングパートナー 37 DENETではパタパタPJ第三期メンバーを募集しています