四国のあのイベントの〇〇システムを45日間で構築した話 / cloudohenro2024_tachibana

四国のあのイベントの〇〇システムを 45⽇間で構築した話⽴花拓也 #JAWSUG_OHENRO 『四国クラウドお遍路 2024 IN ⾼知』

⽴花拓也 2 @biatunky ⻘森県出⾝・在住/39歳ヘプタゴン代表取締役 / デジタルキューブ取締役 JAWS-UG東北 AWS
HERO AWS Ambassador(2021~2024) APN AWS Top Engineers (2021~2024) AWS Summit Japan / Seoul / Beijing 好きなAWSサービス︓AWS IoT

Date Your Footer Here 4 270 < 970

株式会社ヘプタゴン(heptagon inc.) 創業 2012年東北拠点のクラウドインテグレーター Vison 顔を知らない100万⼈の幸せよりも⾃分たちの⾝近な100⼈をテクノロジーで幸せに 5

地⽅でも⽣成AIの事例が続々と 6 ⾃治体の情報発信⽤のLINEチャット botのバックエンドにBedrockを採⽤⻘森県三沢市ヴァンラーレ⼋⼾ Bedrockで作成した選⼿のAIに⼦供がインタビューできるコンテンツを提供

7 2024年7⽉7⽇⾼松市で開催されたトライアスロン⼤会約500⼈が参加 51.5km （スイム1500m・バイク40km・ラン10km）

きっかけはSTnet野⼝さん 8 トライアスロンの⼤会でAIの実証実験をするから⼿伝って︕ フィニッシュの笑顔をＡＩで紡ぎたいんだ︕ あと配信環境もAWSで︕

あとは任せた︕ 9

10 やりたいこと - 競技の映像を複数のスマホで撮影し、スイッチングや実況⽤のAIアバターを合成した上で、Youtubeへ配信 - 選⼿のフィニッシュ映像をスマホで撮影し、選⼿の顔を切り抜き、笑顔の判定を⾏いランキング化をした上で、会場とWEBで公開する開発体制
全体統括⼤会事務局との調整設計/構築/開発配信の技術⽀援

11 構成図(配信側)

12 構成図(フィニッシャーズスマイル側) 利⽤した主なサービス MediaLive / GStreamer on EC2 / Kinesis
Video Streams (KVS) / Lambda Recognition / DynamoDB / S3 / CloudFront

13 構成図(フィニッシャーズスマイル側) １、動画がRTMPで届くので、 GStreamer で変換してKinesis Video Streamに動画を格納

14 構成図(フィニッシャーズスマイル側) ２、LambdaがKVSのビデオストリームから定期的に画像を抽出(GetImages)して、S3へ画像を保存する

15 構成図(フィニッシャーズスマイル側) 3、rekognitionを使って画像から顔だけを切り抜き S3へ保存する

16 構成図(フィニッシャーズスマイル側) 4、顔画像をrekognitionを使って笑顔判定を⾏う。同時に判定済みの顔かどうかのチェックを⾏う。結果をDynamoDBと画像のメタデータに書き込む。表⽰⽤の画像をS3へ保存する。

17 構成図(フィニッシャーズスマイル側) 5、CloudFrontから画像をWEBページを配信。AWS WAFを⽤いてアクセス制限を実施。

18 構成図(フィニッシャーズスマイル側)

19 ۤ࿑޻෉ͨ͠఺ - 動画からWEB表⽰までの遅延対策 - ⼈物の重複排除 - ⼤量の⼈が同時にゴールした場合の処理 - 顔の切り取りの位置の調整
- AWSのコストをできるだけ抑える - スマホの熱対策⼤会前⽇まで何度もテストと調整を繰り返す

⼤会当⽇ 20 午前中から35度の炎天下…会場が停電…

⼤会当⽇ 21 午前中から35度の炎天下…会場が停電…

22 当⽇のゴール付近の様⼦

ゴール直後 24

⼤成功でイベント終了︕

イベントを振り返って 26 • リアルイベントは⾃分たちの仕事で喜んでいるもらっている姿が⾒えるのが醍醐味︕ • AIにも⼈間味が感じられた気がした • ビルディングブロック楽しい「作らずに創る」

四国のあのイベントの〇〇システムを45日間で構築した話 / cloudohenro2024...