JAWS DAYS 2024 MLOpsの旅 - AWS IoTとSageMakerでリアルタイム検出に挑む

Transcript

1. JAWS DAYS 2024 ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c JAWS DAYS 2024 AWS IoTとSageMakerでリアルタイム検出に挑む フェンリル株式会社 髙芝 葵 木村 裕亮 MLOpsの旅 1
2. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 本日のアジェンダ
 01 イントロダクション 02 機械学習とMLOps 03 こんなの作ってみました！ 04 イチオシ‧⼯夫したポイント 05 リアルタイム検出に⾄るまでに⽴ちはだかった壁 06 反省点、次はこうしたい 07 まとめ 本日のアジェンダ 2
3. イントロダクション 3
4. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 4 企業紹介 イントロダクション
5. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 5 イントロダクション Fenrir
 ブランドミッション デザインと技術から生まれる創造性が、
 変わらない本質を追求する。

6. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 6 登壇者 イントロダクション
7. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c IoT機器開発案件にて設計・実装を担当し、AWSの経験を積んだ後、2022年に フェンリルに入社。 フェンリル入社後はAWSをメインとしたクラウドアーキテクチャ 設計とIoT関連を担当。
 
 資格
 情報処理技術者試験 基本情報技術者（FE）
 
 好きなAWS サービス
 Lambda, IoT Core
 
 最近のマイブーム
 麻雀、英会話アプリ
 
 
 髙芝 葵
 Aoi Takashiba
 イントロダクション 7
8. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 自動車部品開発企業にてエンジン筒内およびインジェクターの流体解析エンジニ ア兼PLを担当。フェンリル入社後は業務用アプリケーション開発でAWSアーキテク トを担当。
 大学時代の研究知見を活かし、GIMLE MLOps サービスの立ち上げに参画。 データエンジニアリングから ML 運用支援までを担当。
 
 好きな AWS サービス
 SageMaker, CloudFormation
 
 最近のマイブーム
 サウナ、ゴルフ
 木村 裕亮
 Yusuke Kimura
 イントロダクション 8
9. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 9 セッション概要 イントロダクション
10. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c MLOpsって聞いたことありますか？ イントロダクション 10
11. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c MLOpsとは、 機械学習の運用をスマートに自動化するアプローチ イントロダクション 11 たくさんの あっ！ うーん と を共有
12. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c さあ、 MLOpsの世界へ 一緒に飛び込んでみましょう！ イントロダクション 12
13. 機械学習とMLOps 13
14. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 機械学習とMLOps 14 機械学習のおおまかな流れ
 学習用データの準 備 学習モデル の作成 学習モデル の評価 推論 年度 給与平均 2015 420.4 万円 2016 422.0 万円 2017 430.0 万円 2018 433.3 万円 学習アルゴリズムはいろいろ ・線形回帰 ・決定木 ・CNN ・etc… 学習アルゴリズムごとにいろんな パラメータが存在。。。 このモデルの予測 精度は 97% ！ 2019 年度は多分 436 万円！！ 納得がいくまで 繰り返し実施！
15. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 機械学習とMLOps 15 MLOps

16. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 機械学習とMLOps 16 Amazon SageMaker
 • Amazon の機械学習サービス • SageMaker Studio で学習モデルの作 成やデプロイ作業を実施 • 作成した学習モデルは、エンドポイント にデプロイして API のように利用する • SageMaker Pipeline による自動化が 可能
17. こんなの作ってみました！ 17
18. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c こんなの作ってみました！ 18 お客様との出会い
19. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c こんなの作ってみました！ 19 2022年秋、とある展示会で
 実は自社で開発した赤外線センサーを使ったビ ジネスを考えていて、何か良いアイデアがないか なと思ってまして… セイコー NPC 様
20. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c こんなの作ってみました！ 20
21. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c こんなの作ってみました！ 21 セイコーNPC 製
 赤外線アレイセンサモジュール [SMH-01B01]
 仕様
 • 8×8構成　64画素 • フレーム計測速度：4/2/1FPS（ソフト切替え） • Siレンズ光学系搭載：全視野角35度（両端素子ピーク間） • 10bitADCによるデジタル出力（I2C） • 20〜200倍の倍率可変プリアンプの倍率切替えにより計測温度を約250℃まで拡大 （25℃環境） • バンドギャップ型温度センサによる環境温度検出機能、温度補正係数内臓 • 放射温度分解能：±1.5℃ • 電流電圧：5.0V±5%、消費電流：5mA（typ.） • 保存温度：-40〜100℃、動作温度：-20〜100℃（温度特性確認範囲：5〜45℃） https://www.npc.co.jp/products/437
22. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c こんなの作ってみました！ 22 赤外線センサー
 グー、チョキ、パーをしたときに、ある程度手の形で表面温度が取得でき、マッピングしてみると輪郭が見て 取れるような製品 • 8×8で対象物の表面温度のデータを取得 • データは最大4FPSで取得 https://www.npc.co.jp/products/437
23. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c こんなの作ってみました！ 23 なにかいい提案ができないものか…っ！！
24. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c こんなの作ってみました！ 24 なるほどーそうですねぇ... 赤外線センサを IoT 機器に接続して、デー タをクラウドにアップロードし、機械学習で人の状態を判定できるように したうえで、お客様に販売するのはどうでしょう？ いいかもしれないですね！やってみたいです！ セイコー NPC 様
25. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c こんなの作ってみました！ 25 実現したいこと
26. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c こんなの作ってみました！ 26 1. 人の姿勢検出をしたい 2. リアルタイムで判定結果を見たい
27. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c こんなの作ってみました！ 27 実現方法
28. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c こんなの作ってみました！ 28 01　赤外線センサからデータをアップロードしデータを保存する機能 02　データを使って学習モデルを作成し予測する機能 03　結果を表示するためのウェブアプリケーション 必要な3 つの機能

29. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c こんなの作ってみました！ 29 構成：IoT Core、Kinesis Firehose、S3、DynamoDB 赤外線センサからデータをアップロードしデータを保存する機能

30. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c こんなの作ってみました！ 30 構成：SageMaker、S3、Athena、CodePipeline データを使って学習モデルを作成し予測する機能

31. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c こんなの作ってみました！ 31 構成：CloudFront、S3、APIGateway、Lambda 結果を表示するためのウェブアプリケーション

32. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c こんなの作ってみました！ 32
33. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c こんなの作ってみました！ 33 01　即時表示 　　 赤外線センサーが今写している状態をリアルタイムに表示する機能 02　時間指定表示 　　 過去の赤外線センサーのデータを閲覧できる機能 アプリケーションの画面に関して

34. イチオシ・工夫したポイント 34
35. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c イチオシ・工夫したポイント 35 CloudFormationで全て管理 低コストの環境を実現 リアルタイム検出を実現
36. リアルタイム検出に至るまでに 立ちはだかった壁 36
37. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c リアルタイム検出に至るまでに 立ちはだかった壁 37 第1の壁 IoT デバイスからのデータ送信
38. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 38 MLOpsに入る前のデータ取り込みにおける重要なポイント IoTデバイスからのデータ送信
 リアルタイム検出に至るまでに 立ちはだかった壁
39. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 39 デバイスとAWSでの通信の確立 IoTデバイスからのデータ送信で実施したこと
 リアルタイム検出に至るまでに 立ちはだかった壁 • AWS IoT CoreにM5Stackをモノとして登録 • 登録時に生成されるX.509クライアント証明書をM5Stackに初期設定として書き込み ◦ Wi-Fiの接続情報、NTPサーバー、MQTTエンドポイント、デバイスIDも書き込み • IoTポリシーを作成し、証明書にアタッチ
40. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 40 MQTTの通信インターフェース設計 リアルタイム検出に至るまでに 立ちはだかった壁 • トピック ◦ 「AWS IoT Core の MQTT トピックの設計」というホワイトペーパーを参考に設計 IoTデバイスからのデータ送信で実施したこと
 data/sensor/infrared/npc/{製品名}/{センサーID}
41. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 41 リアルタイム検出に至るまでに 立ちはだかった壁 • ペイロード ◦ JSON形式で、デバイスID、タイムスタンプ、データそのものを含む形で送信 IoTデバイスからのデータ送信で実施したこと
 {"sensorUnitId": "xxxxxxxx", "measurementTime": "2023-03-02T16:01:01.000Z", "position": "up", "height": "1.0", "ambientTemperature": 21.9, "radiationTemperature": [18.5, 18.7, 18.6, 18.3, 19.3, 18.7, 18.6, 19.3, 18.6, 18.0, 18.6, 18.6, 19.2, 20.3, 19.5, 18.5, 18.4, 18.2, 19.0, 18.8, 24.5, 28.8, 22.7, 18.6, 18.1, 18.3, 18.5, 18.8, 28.1, 28.8, 25.8, 19.4, 19.1, 17.5, 18.0, 18.7, 24.4, 24.8, 22.7, 18.8, 17.8, 17.8, 19.4, 23.8, 26.1, 28.8, 24.9, 21.1, 18.5, 18.2, 23.5, 25.3, 26.6, 26.5, 26.3, 25.9, 18.9, 19.6, 24.4, 26.0, 25.7, 25.9, 25.9, 26.4]} MQTTの通信インターフェース設計
42. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 42 AWS側もデバイス側も準備できたはずなのにデータが届かない！ 最後に直面した課題
 リアルタイム検出に至るまでに 立ちはだかった壁
43. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 43 AWS側もデバイス側も準備できたはずなのにデータが届かない！ 最後に直面した課題
 リアルタイム検出に至るまでに 立ちはだかった壁 デバイス側のMQTT送信ライブラリのデータ長上限を修正 解決策
44. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 44 結果
 リアルタイム検出に至るまでに 立ちはだかった壁 赤外線センサーのデータを AWSにアップロードすることができました！ 🎉🥳🎉🥳🎉🥳🎉 🥳🎉
45. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c リアルタイム検出に至るまでに 立ちはだかった壁 45 第2の壁 SageMaker が難しかった
46. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 46 “AWS で機械学習サービスといえば、SageMaker！” という程度の知識しかありませんでした。 😢 社内で SageMaker の使い方を調査し始めた頃のお話
 リアルタイム検出に至るまでに 立ちはだかった壁
47. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 47 ローカルの PC 上でデータを読み込み、 予測結果を出力するまでは やったことあるが。。。 機械学習の知識
 リアルタイム検出に至るまでに 立ちはだかった壁
48. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 48 どうしたらいいのか 全くわかりませんでした。 SageMakerの場合
 リアルタイム検出に至るまでに 立ちはだかった壁
49. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 49 作業フェーズごとに別のインスタンスで動く仕組みとしていることを理解 解決のキッカケ
 リアルタイム検出に至るまでに 立ちはだかった壁
50. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 50 リアルタイム検出に至るまでに 立ちはだかった壁
51. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 51 学習用コンテナについての苦労 その他のポイント
 リアルタイム検出に至るまでに 立ちはだかった壁 一部のコンテナでは、目的変数は先頭列に配置しておかなければならないというルールがありまし た。最初、ドキュメントを読んでいてもなかなか気付けなかったポイントで、めちゃくちゃハマったの を覚えています。
52. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c リアルタイム検出に至るまでに 立ちはだかった壁 52 第3の壁 データ取得とデータラベリング
53. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 53 データ取得の問題
 リアルタイム検出に至るまでに 立ちはだかった壁 • データは屋内で取る？屋外で取る？ • 赤外線センサーの高さどうする？ • 赤外線センサーと対象者との距離どうする？ • 服装は？何 FPS で取ろうか？ etc… • 対象としたい物の熱源以外のものが入り込んでしまうと、判 定が難しくなる可能性がある
54. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 54 対応
 リアルタイム検出に至るまでに 立ちはだかった壁 条件を絞ること • 屋内であること • 窓が写り込まないこと • 部屋の明かりも写り込まないこと • 対象者は 1 人であること
55. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 55 取得時の様子と赤外線センサーの映り方
 リアルタイム検出に至るまでに 立ちはだかった壁
56. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 56 データラベリングの問題
 リアルタイム検出に至るまでに 立ちはだかった壁 赤外線センサーデータの正解ラベルを付与していく作業が大変 平均 約 180 秒の動画 × 2 FPS × 動画約 120 個 ＝ 約 43,200 フレーム分のデータ
57. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 57 対応
 リアルタイム検出に至るまでに 立ちはだかった壁 間違いのないようにラベリングを進めて行く（しかない） ラベリング作業が学習の精度に直接影響するため、 気の抜けないとても大変な作業となりました。 もっと何とかならないものか....　
58. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c リアルタイム検出に至るまでに 立ちはだかった壁 58 第4の壁 コストの肥大化
59. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 59 問題点
 リアルタイム検出に至るまでに 立ちはだかった壁 IoTで取り込んだデータをWebアプリでリアルタイム表示するためにレイテン シーの低いDynamoDBを採用すると... インフラコストが膨大に 😢
60. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 60 改善策 1
 リアルタイム検出に至るまでに 立ちはだかった壁 DynamoDBで有効期限 (TTL) を有効化し、 直近のデータ3日間分のみを置く
61. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 61 リアルタイム検出に至るまでに 立ちはだかった壁 全期間のデータはKinesis Data Firehose で zip 圧縮後、S3 に格納し、必 要な時はAthenaでクエリして取得 • Kinesis Data Firehose から S3 への出力周期は1分毎 • 費用削減のため、センサーごとにファイルが分かれない想定 • ファイル数が多すぎるとAthenaでのクエリが効率的ではないためまとめた 改善策 2

62. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 62 改善策 3
 リアルタイム検出に至るまでに 立ちはだかった壁 SageMakerのPredictor Endpointに起動スケジュールを設定し、 常時起動をやめた • 午前9:00〜午後6:00のスケジュールを設定した
63. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 63 結果
 リアルタイム検出に至るまでに 立ちはだかった壁 42 % 削減できました！！ 🎉🥳🎉🥳🎉🥳🎉 🥳🎉
64. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c リアルタイム検出に至るまでに 立ちはだかった壁 64 第5の壁 どこまでリアルタイムに表示できるか？
65. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 65 問題点
 リアルタイム検出に至るまでに 立ちはだかった壁 データアップロードしてから表示まで何秒かかるんだろう... データアップロードしてから 2〜3秒後に見れるかも？
66. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 66 今回の要件
 リアルタイム検出に至るまでに 立ちはだかった壁 • コストは最小限に抑えたい • ある程度滑らかに表示させたい • 少しの表示遅延であれば許容する
67. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 67 改善策 1
 リアルタイム検出に至るまでに 立ちはだかった壁 アプリケーションを2つの主要な画面で構成すること 01　即時表示画面 02　時間指定表示画面
68. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 68 即時表示画面
 リアルタイム検出に至るまでに 立ちはだかった壁 赤外線センサーからアップロードされたデータをリアルタイムに近い形で表示
69. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 69 時間指定表示画面
 リアルタイム検出に至るまでに 立ちはだかった壁 ユーザーが日時を指定し、見たい時間のデータを選択して表示
70. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 70 改善策 2
 リアルタイム検出に至るまでに 立ちはだかった壁 一定時間のデータをまとめて取得することでリクエスト数を削減 • データを毎回DynamoDBから読み込むことでコストが嵩んでいた • 速度に影響しない範囲でリクエストをまとめることでコスト削減を実現
71. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 71 改善策 3
 リアルタイム検出に至るまでに 立ちはだかった壁 少しバッファを持たせてデータ取得することで、確実にデータを表示 • API の実行タイミングで、最新のデータを常に取得できるかわからない • 8秒前のデータから取得することで、確実にデータを取得して表示 • 少し遅延しながらも、ある程度滑らかに表示させることができた
72. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 72 結果
 リアルタイム検出に至るまでに 立ちはだかった壁 コストを最小限に抑えつつ、 8秒間 の遅延で表示することに成功 🎉🥳🎉🥳🎉🥳🎉 🥳🎉
73. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 設置した機能 73 即時表示画面
 リアルタイム検出に至るまでに 立ちはだかった壁 赤外線センサからアップロードされたデータをリアルタイムに近い形で表示 リアルタイム表示を開始または一時停止できるボタン
74. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 74 時間指定表示画面
 リアルタイム検出に至るまでに 立ちはだかった壁 ユーザーが⽇時を指定し、⾒たい時間のデータを選択して表⽰ • 再⽣/停⽌ボタン • コマ送りボタン • 先頭/最終コマへのジャンプボタン • プログレスバー • 判定結果の種別を選択できるセレクトボックスなど 設置した機能
75. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 75 結果
 リアルタイム検出に至るまでに 立ちはだかった壁 2つのモードを提供し、 用途に応じて最適なデータ閲覧体験を実現 🎉🥳🎉🥳🎉🥳🎉 🥳🎉
76. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c リアルタイム検出に至るまでに 立ちはだかった壁 76 第6の壁 機械学習の精度向上
77. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c こんなの作ってみました！ 77 今回の学習モデル作成
 • アルゴリズム 2D-CNN • 実装 Keras 赤外線センサー データ配列 環境温度 赤外線センサー高さ情報
78. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 78 試行錯誤
 リアルタイム検出に至るまでに 立ちはだかった壁 データが多すぎるのか？ 種類が多すぎて判定できないのか？ シーンをもう少し限定したほうがよいのか？ 精度の高いモデルが作れない
79. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 79 改善策
 リアルタイム検出に至るまでに 立ちはだかった壁 • データに正解ラベルを付与する際、体の一部が写っているものなどもそ れ専用にラベルをつけていたため、この部分を学習データとして読み込 まないようにする • 姿勢の中間状態のデータ (座っている状態と立っている状態の間にあた るデータ) を除いた • CNNの層の調整やパラメータ調整など
80. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 80 結果
 リアルタイム検出に至るまでに 立ちはだかった壁 正解率 85 % 〜 90% 🎉🥳🎉🥳🎉🥳🎉 🥳🎉
81. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 81 結果
 リアルタイム検出に至るまでに 立ちはだかった壁 • SageMaker Pipeline により、納品後もお客様が学習データを変えなが ら学習モデルを作成できる環境を構築できた • CodePipeline を活用し、作成した学習モデルをアプリケーションに自動 でデプロイできる環境を構築できた。 MLOps の環境を構築できた！
82. 反省点、次はこうしたい 82
83. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 83 反省点、次はこうしたい 01 リアルタイム性を上げたい     より早く判定できる環境を... (エッジで推論しないと難しそう) 02 性能改善     学習モデル改良 03 インフラ構成の⾒直し     パイプラインと学習モデルデプロイ周りをもっとうまく作りたかった
84. まとめ 84
85. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_c 85 まとめ • MLOpsの構築事例紹介でした • 今回のような粒度の荒いデータでも人の姿勢検知をすることができた • IoTデータの取り込みと推論エンドポイントはコストに注意 • 次は精度向上に向けて、時系列の判定などを実施予定 皆さんも MLOps を取り入れてみてください！