2021上期情報共有会発表資料/2021kamikihapyosiryou

Transcript

1. Copyright © Software Research Associates, Inc. All Rights Reserved AWS機械学習系サービスのご紹介 DX技術本部 山本 悠介、土田 拓実 2021/09/15
2. Copyright © Software Research Associates, Inc. All Rights Reserved 自己紹介 1 • 山本 悠介（やまもと ゆうすけ） – サーバサイドエンジニア • 主にJava • アーキテクト(FWまわりの検討、アプリケーションのレイヤ検討etc) – から AWSアーキテクト • 提案、見積 • 要件定義(非機能要件) • 設計、構築 • 主にWebアプリケーションプラットフォーム • 2020年 産業2→DX技術本部 • 略歴 – 小規模SIer(2002-2007) – SRA(2007-)
3. Copyright © Software Research Associates, Inc. All Rights Reserved 本日の発表 2 • 最近流行りの機械学習カテゴリのなかから2つのサービスを紹介
4. Copyright © Software Research Associates, Inc. All Rights Reserved 本日の発表 3 • 本日のねらい – サービスこんなのあるんだ…と知ってもらうこと • AWSはサーバ(ec2)だけじゃないぞ！ – サービス導入しやすそう…思ってもらうこと – これ、ウチのプロジェクトで使えるかも！って思ってもらえたら最高です
5. Copyright © Software Research Associates, Inc. All Rights Reserved Amazon Lookout for Vision DX技術本部 山本 悠介 yu-yama@sra.co.jp 2021/09/15
6. Copyright © Software Research Associates, Inc. All Rights Reserved 目次 5 • Amazon Lookout for Vision とは • 料金 • やってみた • まとめ
7. Copyright © Software Research Associates, Inc. All Rights Reserved Amazon Lookout for Vision とは 6 • オブジェクトの視覚表現の欠陥や異常を発見する機械学習 (ML) サービス – 機械学習や深層学習の専門知識がなくても使える • ユースケース
8. Copyright © Software Research Associates, Inc. All Rights Reserved 使用イメージ 7 Step1 – 正常な製品と欠陥のある製品を示す画像を Lookout for Visionにロード Step2 – 画像に正常または異常のラベルを付けると、Lookout for Vision が数分で自動的にモデルを作成 Step3 – Lookout for Vision ダッシュボードを使用して、欠陥を監視し、プロセスを改善 Step4 – 目視検査プロセスをリアルタイムまたはバッチで自動化し、欠陥が検出されたときに通知を受け取る Step5 – 特定された製品欠陥に関するフィードバックを提供することにより、継続的な改善を行う
9. Copyright © Software Research Associates, Inc. All Rights Reserved 目次 8 • Amazon Lookout for Vision とは • 料金 • やってみた • まとめ
10. Copyright © Software Research Associates, Inc. All Rights Reserved 料金 9 – a Amazon Lookout for Vision の料金 https://aws.amazon.com/jp/lookout-for-vision/pricing/
11. Copyright © Software Research Associates, Inc. All Rights Reserved 目次 10 • Amazon Lookout for Vision とは • 料金 • やってみた • まとめ
12. Copyright © Software Research Associates, Inc. All Rights Reserved やってみた 11 • 画像の準備 – PNGまたはJPEG形式 – 単一のデータセットの場合 • 正常系の画像20枚、異常系の画像10枚 – 個別のトレーニングデータセットとテストデータセットの場合 • トレーニングデータは正常系の画像10枚、テストデータは正常系の画像10枚、異常系の画像10枚 – 全て同じサイズである必要あり • 回路基板の画像を使ってやってみる https://github.com/aws-samples/amazon-lookout-for-vision/tree/main/circuitboard
13. Copyright © Software Research Associates, Inc. All Rights Reserved 画像の異常を検出するモデルを作成 12 • S3に正常系20枚、異常系20枚を配置して • “データセットを作成”ボタンを押下 • バケット内に正常系(normal)、異常系 (anomaly)とディレクトリを掘っておくと、 勝手にラベル付けしてくれる
14. Copyright © Software Research Associates, Inc. All Rights Reserved 画像の異常を検出するモデルを作成 13 • 読み込まれました • 自動でラベル付けされてい ます
15. Copyright © Software Research Associates, Inc. All Rights Reserved トレーニング 14 • “モデルをトレーニング”ボ タン押下
16. Copyright © Software Research Associates, Inc. All Rights Reserved トレーニング 15 • トレーニングが完了しました(30分位かかりました) • 精度81.8%、リコール(再現率)90%となっています
17. Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる 16 • モデルを開始します(CLI) • 起動まで10分程度
18. Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる 17 • 異常系1
19. Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる 18 • 異常系1 結果 • IsAnomalous：画像に1つ以上の異常が含まれている場合、true • Confidence：信頼性。0から1までの浮動小数点値で表され、値が大きいほど信 頼性が高いことを示します。 • つまり…不正解です！
20. Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる 19 • 異常系2
21. Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる 20 • 異常系2 結果 • 正解です(ちょっと自信なさげ)
22. Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる 21 • 異常系3
23. Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる 22 • 異常系3 結果 • 正解です(ちょっと自信なさげ)
24. Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる 23 • 正常系1
25. Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる 24 • 正常系1 結果 • 不正解…
26. Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる 25 • 正常系2
27. Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる 26 • 正常系2 結果 • 不正解…
28. Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる 27 • 正常系3
29. Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる 28 • 正常系3 結果 • 不正解…
30. Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる 29 • 半分以上間違っている…ので正常系の画像20枚、異常系の画像20枚をテストデ ータセットに追加して再度トレーニング • 精度100%、リコール(再現率)80%となっています – (精度100%過学習?というのは一旦置いておきます)
31. Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる(再) 30 • 異常系1
32. Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる(再) 31 • 異常系1 結果 • 正解です！
33. Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる(再) 32 • 異常系2
34. Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる(再) 33 • 異常系2 結果 • 正解です!!
35. Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる(再) 34 • 異常系3
36. Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる(再) 35 • 異常系3 結果 • 正解です!!!
37. Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる(再) 36 • 正常系1
38. Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる(再) 37 • 正常系1 結果 • 正解!!!(自信なさげ)
39. Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる(再) 38 • 正常系2
40. Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる(再) 39 • 正常系2 結果 • 正解!!
41. Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる(再) 40 • 正常系3
42. Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる(再) 41 • 正常系3 結果 • 正解!!!
43. Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる 42 • 結果 – 1回目(正常系20枚、異常系20枚)のモデル • 2/6の正解 – 2回目(正常系20枚、異常系20枚テストデータセットに追加)のモデル • 6/6の正解
44. Copyright © Software Research Associates, Inc. All Rights Reserved まとめ 43 • 機械学習の専門知識がなくても推論できました。 • でも、どのモデル(精度/リコール)を使用して推論するかは有識者にご意見を伺 いたいところ。
45. Copyright © Software Research Associates, Inc. All Rights Reserved 参考URL 44 • Amazon Lookout for Vision (コンピュータービジョンを使用して視覚表現の欠 陥や異常を発見) – https://aws.amazon.com/jp/lookout-for-vision/ • What is Amazon Lookout for Vision? – https://docs.aws.amazon.com/lookout-for-vision/latest/developer-guide/what-is.html
46. Copyright © Software Research Associates, Inc. All Rights Reserved ご清聴ありがとうございました。 45 • 17分程度残っていれば時間いい感じ。
47. Copyright © Software Research Associates, Inc. All Rights Reserved Amazon Forecast DX技術本部 土田 拓実 takumi-t@sra.co.jp 2021/09/15
48. Copyright © Software Research Associates, Inc. All Rights Reserved 自己紹介 47 株式会社 SRA 2020年度入社 DX技術本部 DX技術開発室 土田 拓実 GSLetterNeo Vol.157 「プログラミングでインフラ構築~AWS CDKで始めるIaC~」 https://www.sra.co.jp/Portals/0/files/gsletter/pdf/GSLetterNeoVol157.pdf Qiita：@t_tsuchida
49. Copyright © Software Research Associates, Inc. All Rights Reserved 目次 48 • Amazon Forecastとは • 料金体系 • 設定の流れ • やってみる – ：Qiitaのビュー数予測 • まとめ • そのほかのサービス • DXのAWS学習支援について(sra only) • Q&A
50. Copyright © Software Research Associates, Inc. All Rights Reserved Amazon Forecastとは 49 • サービス概要 – 機械学習で予測を行うフルマネージドのサービス。 – 過去データを与えると今後の予測が行える。 • ユースケース – 商品販売予想から倉庫の在庫調整を行いたい場合(商品発注の指標の一つに) – Webページのトラフィックの予測を行いたい場合
51. Copyright © Software Research Associates, Inc. All Rights Reserved 料金体系 50
52. Copyright © Software Research Associates, Inc. All Rights Reserved 設定の流れ 51 1. データインポート – CSVの時系列過去データをForecastにインポート • 基本データは「item_id,timestamp,value」 • 関係するデータ,メタデータもインポートすることで予測の精度向上が可能 2. モデル選定/学習 – 全6種類のモデルから、データに適したモデルを選定/学習 – AutoML機能を利用することで適したモデルの自動選定も可能 3. 結果の出力 – 結果をグラフとして閲覧可能 – AWS CLIやAWS SDK等からも取得できる
53. Copyright © Software Research Associates, Inc. All Rights Reserved やってみる：Qiitaのビュー数予測 52 • Qiitaの今後一か月のページビュー数を予測してみる。 • GoogleAnalyticsから過去のページビュー数をcsvにエクスポート • 2020/10/4~2021/8/30(計330日)
54. Copyright © Software Research Associates, Inc. All Rights Reserved 設定の流れ 53 1. データインポート – CSVの時系列過去データをForecastにインポート • 基本データは「item_id,timestamp,value」 • 関係するデータ,メタデータもインポートすることで予測の向上が可能 2. モデル選定/学習 – 全6種類のモデルから、データに適したモデルを選定/学習 – AutoML機能を利用することで適したモデルの自動選定も可能 3. 結果の出力 – 結果をグラフとして閲覧可能 – AWS CLIやAWS SDK等からも取得できる
55. Copyright © Software Research Associates, Inc. All Rights Reserved やってみる：Qiitaのビュー数予測 54 • データインポート – csvを整形、S3にアップロード • Item_id, timestamp, target_value – ForecastでS3のバケットのarnを指定・インポート S3バケット import upload
56. Copyright © Software Research Associates, Inc. All Rights Reserved 設定の流れ 55 1. データインポート – CSVの時系列過去データをForecastにインポート • 基本データは「item_id,timestamp,value」 • 関係するデータ,メタデータもインポートすることで予測の向上が可能 2. モデル選定/学習 – 全6種類のモデルから、データに適したモデルを選定/学習 – AutoML機能を利用することで適したモデルの自動選定も可能 3. 結果の出力 – 結果をグラフとして閲覧可能 – AWS CLIやAWS SDK等からも取得できる
57. Copyright © Software Research Associates, Inc. All Rights Reserved やってみる：Qiitaのビュー数予測 56 • モデル選定/学習 – 6つの学習モデルの中から選定をおこなう • AutoMLで最適なモデルの選定→結果、今回は「ETS」が勝利(WAPE:0.2227) • その他のモデル：https://docs.aws.amazon.com/ja_jp/forecast/latest/dg/aws-forecast-choosing-recipes.html • 学習時間は約1時間
58. Copyright © Software Research Associates, Inc. All Rights Reserved 設定の流れ 57 1. データインポート – CSVの時系列過去データをForecastにインポート • 基本データは「item_id,timestamp,value」 • 関係するデータ,メタデータもインポートすることで予測の向上が可能 2. モデル選定/学習 – 全6種類のモデルから、データに適したモデルを選定/学習 – AutoML機能を利用することで適したモデルの自動選定も可能 3. 結果の出力 – 結果をグラフとして閲覧可能 – AWS CLIやAWS SDK等からも取得できる
59. Copyright © Software Research Associates, Inc. All Rights Reserved やってみる：Qiitaのビュー数予測 58 • 結果 – グラフ • Value : 過去データ • P10,P50,P90：それぞれ10,50,90パーセンタイル ビュー数 日付
60. Copyright © Software Research Associates, Inc. All Rights Reserved やってみる：Qiitaのビュー数予測 59 • 結果 – グラフ • Value : 過去データ • P10,P50,P90：それぞれ10,50,90パーセンタイル ビュー数 日付
61. Copyright © Software Research Associates, Inc. All Rights Reserved まとめ 60 • マネージドサービスであり、データを投入するだけで予測できる • 機械学習わからなくても予測ができる！！ • 結果を見るだけではなく、CLI,SDKなどからも取得できる • 公式ハンズオンあります！ – https://pages.awscloud.com/JAPAN-event-OE-Hands-on-for-Beginners-AIML-2021- reg-event.html?trk=aws_introduction_page
62. Copyright © Software Research Associates, Inc. All Rights Reserved そのほかのサービス 61 …etc Amazon Elastic Container Service https://qiita.com/yu-yama-sra/ https://qiita.com/t_tsuchida/ AWS Amplify AWS Backup AWS Config Amazon Simple Email Service Elastci Load Balancing Amazon Kendra 詳しくはこちら：
63. Copyright © Software Research Associates, Inc. All Rights Reserved Q&A 62