Upgrade to Pro — share decks privately, control downloads, hide ads and more …

【四国クラウドお遍路2023】パタパタプロジェクト-AWSを活用して手軽に画像分析を実装した_20230916

Toshiki Terai
September 16, 2023

 【四国クラウドお遍路2023】パタパタプロジェクト-AWSを活用して手軽に画像分析を実装した_20230916

「パタパタプロジェクト」なる社内プロジェクトにおいて、IoT CoreとRekognitionを組み合わせてAWSのソリューションを活用した事例

Toshiki Terai

September 16, 2023
Tweet

More Decks by Toshiki Terai

Other Decks in Technology

Transcript

  1. ~パタパタプロジェクト~
    2023-09-16
    四 国 ク ラ ウ ド お 遍 路 2 0 2 3
    株式会社ディーネット 寺井 俊喜(テライ トシキ)
    1
    AWSを活用して手軽に画像分析を実装した

    View full-size slide

  2. 自己紹介
    2
    • 名前
    - 寺井 俊喜(テライ トシキ)
    • 所属
    - 株式会社ディーネット(2022/12~)
    - クラウドビジネス部 アーキテクト課
    • 好きなこと
    - 音楽、猫、お酒、ゲーム、効率化
    • 好きなAWSサービス
    - Amazon EventBridge
    • SNS/ブログ
    - Twitter(@TeraiToshiki)
    - DENET技術ブログ(t.terai) follow me !!
    1年後

    View full-size slide

  3. 会社概要
    Copyright © Digital-Effect Network CO.,LTD. All Rights Reserved.
    3

    View full-size slide

  4. ディーネットについて
    Copyright © Digital-Effect Network CO.,LTD. All Rights Reserved.
    4

    View full-size slide

  5. 目次
    6
    1.パタパタプロジェクトとは
    2.完成品の紹介
    3.構成について
    4.苦労した点や今後の課題

    View full-size slide

  6. そもそも「パタパタ」って何?
    7

    View full-size slide

  7. 「パタパタ」とは
    8
    • 正式名称
    • 反転フラップ式案内表示機
    フラップが一斉に回転する音が特徴的で
    「パタパタ」とも呼ばれている

    View full-size slide

  8. パタパタプロジェクトとは
    9

    View full-size slide

  9. パタパタプロジェクト(第一期)
    10
    • 社内の有志が集って発足(4名)
    主目標:パタパタを自動で動かしてランダムにサービス表示

    View full-size slide

  10. パタパタプロジェクト(第一期) - 完成品
    11
    • ラズパイによるモーター制御で一定間隔ごとにパタパタ
    • パタパタの自動制御を実現
    「日経クロステックNEXT関西2023」での展示

    View full-size slide

  11. パタパタプロジェクト
    第二期
    12

    View full-size slide

  12. パタパタプロジェクト(第二期)
    13
    • 有志を募って規模拡大(4名→9名)
    主目標: AWSと組み合わせて会社としてのアピール材料に
    →いっぱいAWS触りたい!!!

    View full-size slide

  13. パタパタプロジェクト(第二期) - 課題
    14
    • AWSのソリューションと
    組み合わせたい
    • 任意のトリガー制御で
    インタラクト性を持たせたい
    • パタパタで出た結果(面)を
    認識できない
    IoT Core
    API Gateway CloudFront S3
    Rekognition Lambda

    View full-size slide

  14. 上から見た図
    17
    モーター回転 パタパタを回す
    パタパタ
    モーター
    モニター
    ボタン
    カメラ
    パタパタの出た面を写真撮影
    DENETのサービス名などを表示
    入力待機画面・分析結果を表示
    ダミーボタン
    ※実際にはお使いいただけません。

    View full-size slide

  15. デモ映像
    18

    View full-size slide

  16. 構成について
    19

    View full-size slide

  17. 20
    AWS 構成図

    View full-size slide

  18. 21
    AWS 構成図 – 一連の動作(画像分析)

    View full-size slide

  19. AWS 構成図 – REST API トリガー
    22
    • 「S3」に配置した起動用ページを
    「CloudFront」経由で配信
    • 「API Gateway」で起動用の
    「Lambda」をトリガー
    • 「IoT Topic」に特定のメッセージ
    をパブリッシュ
    • ラズパイ側で特定のトピックをサ
    ブスクライブして、メッセージに
    応じてモーター回転(Python)

    View full-size slide

  20. API Gateway – 統合リクエスト
    コンソール画面が新しくなってた

    View full-size slide

  21. AWS 構成図 – 画像分析
    24
    • 「IoT Core」経由でAWSの
    各サービスと連携
    ( MQTTプロトコル)
    • 「Rekognition カスタムラベル」
    を使用した画像分析機能により
    出た面を認識可能に
    • 「Lambda」でRekognitionからの
    分析結果を元に画像処理
    結果をIoT Topicにパブリッシュ

    View full-size slide

  22. IoT Core – Rule & Action

    View full-size slide

  23. IoT Core – Rule & Action

    View full-size slide

  24. Rekognition カスタムラベル – トレーニング

    View full-size slide

  25. Rekognition カスタムラベル – 処理結果
    28
    検出したラベル 日時
    ラベル
    テキスト
    バウンディング
    ボックス
    画像内で検出された
    アイテムの境界ボックス
    処理した日時
    ラベルに対応したテキスト

    View full-size slide

  26. AWS 構成図 – 異常検知&アラート
    29
    • 「IoT Events」でモーターの
    不具合を検知
    • 「Health Dashboard」から発行
    されるIoT関連のサービス異常を
    「EventBridge」ルールで制御
    • 「CloudWatch Logs メトリクス
    フィルター」でLambdaの特定の
    エラーメッセージを検知
    →SNSで運用チームに通知

    View full-size slide

  27. Health Dashboard →EventBridge →SNS
    30

    View full-size slide

  28. 「IoT Events」によるデバイスの異常検知
    31

    View full-size slide

  29. 源泉かけ流しの湯 – Slackにて開発者や運用担当に通知
    32

    View full-size slide

  30. 構成まとめ
    33

    View full-size slide

  31. 苦労した点と今後の課題
    34

    View full-size slide

  32. 苦労話 – プロジェクトの推進
    35
    • しっかり計画化して進めたい慎重派
    • とりあえず走り出そう精神の大胆派
    PMやリーダーなどの役割を定める(立候補)

    有志の集まりなのでフラットな組織構造

    指揮命令系統が曖昧
    対立

    View full-size slide

  33. 今後の課題 やりたいこと
    36
    • Rekognition – 画像分析
    • 学習精度の向上 (たまにミスる。)
    • 一連の処理速度の改善 (ちょっと遅い。)
    • コスト最適化 (結構高い。)
    • AWSのベストプラクティスに近づける
    • セキュリティ向上 (誰でもパタパタできちゃう。)
    • 開発環境整備(CI/CD) (Lambdaコンソールで更新大変。)
    • プロジェクト推進力の向上
    • プロジェクトコントロール(プロジェクトスムーズに進めたい。)
    • コミュニケーション能力 (みんな仲良く。)

    View full-size slide

  34. ご清聴ありがとうございました。
    株式会社ディーネット 寺井 俊喜(テライ トシキ)
    AWSアドバンスト
    コンサルティングパートナー
    37
    DENETではパタパタPJ第三期メンバーを募集しています

    View full-size slide