【四国クラウドお遍路2023】パタパタプロジェクト-AWSを活用して手軽に画像分析を実装した_20230916

「パタパタプロジェクト」なる社内プロジェクトにおいて、IoT CoreとRekognitionを組み合わせてAWSのソリューションを活用した事例

Transcript

1. ～パタパタプロジェクト～
   2023-09-16
   四 国 ク ラ ウ ド お 遍 路 2 0 2 3
   株式会社ディーネット 寺井 俊喜(テライ トシキ)
   1
   AWSを活用して手軽に画像分析を実装した
   

   View Slide

2. 自己紹介
   2
   • 名前
   - 寺井 俊喜（テライ トシキ）
   • 所属
   - 株式会社ディーネット（2022/12~）
   - クラウドビジネス部 アーキテクト課
   • 好きなこと
   - 音楽、猫、お酒、ゲーム、効率化
   • 好きなAWSサービス
   - Amazon EventBridge
   • SNS/ブログ
   - Twitter（@TeraiToshiki）
   - DENET技術ブログ（t.terai） follow me !!
   1年後
   

   View Slide

3. 会社概要
   Copyright © Digital-Effect Network CO.,LTD. All Rights Reserved.
   3
   

   View Slide

4. ディーネットについて
   Copyright © Digital-Effect Network CO.,LTD. All Rights Reserved.
   4
   

   View Slide

5. 目次
   5
   

   View Slide

6. 目次
   6
   1.パタパタプロジェクトとは
   2.完成品の紹介
   3.構成について
   4.苦労した点や今後の課題
   

   View Slide

7. そもそも「パタパタ」って何？
   7
   

   View Slide

8. 「パタパタ」とは
   8
   • 正式名称
   • 反転フラップ式案内表示機
   フラップが一斉に回転する音が特徴的で
   「パタパタ」とも呼ばれている
   

   View Slide

9. パタパタプロジェクトとは
   9
   

   View Slide

10. パタパタプロジェクト（第一期）
    10
    • 社内の有志が集って発足(４名)
    主目標：パタパタを自動で動かしてランダムにサービス表示
    

    View Slide

11. パタパタプロジェクト（第一期） - 完成品
    11
    • ラズパイによるモーター制御で一定間隔ごとにパタパタ
    • パタパタの自動制御を実現
    「日経クロステックNEXT関西2023」での展示
    

    View Slide

12. パタパタプロジェクト
    第二期
    12
    

    View Slide

13. パタパタプロジェクト（第二期）
    13
    • 有志を募って規模拡大（４名→９名）
    主目標： AWSと組み合わせて会社としてのアピール材料に
    →いっぱいAWS触りたい！！！
    

    View Slide

14. パタパタプロジェクト（第二期） - 課題
    14
    • AWSのソリューションと
    組み合わせたい
    • 任意のトリガー制御で
    インタラクト性を持たせたい
    • パタパタで出た結果(面)を
    認識できない
    IoT Core
    API Gateway CloudFront S3
    Rekognition Lambda
    

    View Slide

15. 完成品
    15
    

    View Slide

16. View Slide

17. 上から見た図
    17
    モーター回転 パタパタを回す
    パタパタ
    モーター
    モニター
    ボタン
    カメラ
    パタパタの出た面を写真撮影
    DENETのサービス名などを表示
    入力待機画面・分析結果を表示
    ダミーボタン
    ※実際にはお使いいただけません。
    

    View Slide

18. デモ映像
    18
    

    View Slide

19. 構成について
    19
    

    View Slide

20. 20
    AWS 構成図
    

    View Slide

21. 21
    AWS 構成図 – 一連の動作(画像分析)
    

    View Slide

22. AWS 構成図 – REST API トリガー
    22
    • 「S3」に配置した起動用ページを
    「CloudFront」経由で配信
    • 「API Gateway」で起動用の
    「Lambda」をトリガー
    • 「IoT Topic」に特定のメッセージ
    をパブリッシュ
    • ラズパイ側で特定のトピックをサ
    ブスクライブして、メッセージに
    応じてモーター回転(Python)
    

    View Slide

23. API Gateway – 統合リクエスト
    コンソール画面が新しくなってた
    

    View Slide

24. AWS 構成図 – 画像分析
    24
    • 「IoT Core」経由でAWSの
    各サービスと連携
    （ MQTTプロトコル）
    • 「Rekognition カスタムラベル」
    を使用した画像分析機能により
    出た面を認識可能に
    • 「Lambda」でRekognitionからの
    分析結果を元に画像処理
    結果をIoT Topicにパブリッシュ
    

    View Slide

25. IoT Core – Rule & Action
    

    View Slide

26. IoT Core – Rule & Action
    

    View Slide

27. Rekognition カスタムラベル – トレーニング
    

    View Slide

28. Rekognition カスタムラベル – 処理結果
    28
    検出したラベル 日時
    ラベル
    テキスト
    バウンディング
    ボックス
    画像内で検出された
    アイテムの境界ボックス
    処理した日時
    ラベルに対応したテキスト
    

    View Slide

29. AWS 構成図 – 異常検知&アラート
    29
    • 「IoT Events」でモーターの
    不具合を検知
    • 「Health Dashboard」から発行
    されるIoT関連のサービス異常を
    「EventBridge」ルールで制御
    • 「CloudWatch Logs メトリクス
    フィルター」でLambdaの特定の
    エラーメッセージを検知
    →SNSで運用チームに通知
    

    View Slide

30. Health Dashboard →EventBridge →SNS
    30
    

    View Slide

31. 「IoT Events」によるデバイスの異常検知
    31
    

    View Slide

32. 源泉かけ流しの湯 – Slackにて開発者や運用担当に通知
    32
    

    View Slide

33. 構成まとめ
    33
    

    View Slide

34. 苦労した点と今後の課題
    34
    

    View Slide

35. 苦労話 – プロジェクトの推進
    35
    • しっかり計画化して進めたい慎重派
    • とりあえず走り出そう精神の大胆派
    PMやリーダーなどの役割を定める(立候補)
    ↓
    有志の集まりなのでフラットな組織構造
    ↓
    指揮命令系統が曖昧
    対立
    

    View Slide

36. 今後の課題 やりたいこと
    36
    • Rekognition – 画像分析
    • 学習精度の向上 （たまにミスる。）
    • 一連の処理速度の改善 （ちょっと遅い。）
    • コスト最適化 （結構高い。）
    • AWSのベストプラクティスに近づける
    • セキュリティ向上 （誰でもパタパタできちゃう。）
    • 開発環境整備(CI/CD) （Lambdaコンソールで更新大変。）
    • プロジェクト推進力の向上
    • プロジェクトコントロール（プロジェクトスムーズに進めたい。）
    • コミュニケーション能力 （みんな仲良く。）
    

    View Slide

37. ご清聴ありがとうございました。
    株式会社ディーネット 寺井 俊喜(テライ トシキ)
    AWSアドバンスト
    コンサルティングパートナー
    37
    DENETではパタパタPJ第三期メンバーを募集しています
    

    View Slide