Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
2021上期情報共有会発表資料/2021kamikihapyosiryou
Search
yu-yama
September 15, 2021
Technology
0
15
2021上期情報共有会発表資料/2021kamikihapyosiryou
yu-yama
September 15, 2021
Tweet
Share
More Decks by yu-yama
See All by yu-yama
Kubernetes概要 / kubernetes_outline
yusukaaay
0
56
Other Decks in Technology
See All in Technology
生成AIと産業向けソフトウェアの自動生成 〜 ハノーバーメッセ2024より〜
kioto
2
420
大規模言語モデル (LLM)における低精度数値表現
pfn
PRO
3
810
.NET GraphQL Client のリアル
sansantech
PRO
1
220
グイグイ系QAエンジニアでやっていくよ!
____rina____
0
760
Cloudflare WorkersがPythonに対応したので試してみた
miura55
0
190
開発スピードの維持向上を支える、テスト設計の 漸進的進化への取り組み / Continuous Test Design Development for Speed of Product Development
ropqa
0
180
B2C、B2B プロダクトマネジメントの違い(および思考の罠) / B2C, B2B PM and reduction fallacy
ykmc09
5
2.3k
OPENLOGI Company Profile
hr01
0
45k
能動学習のいろは:書籍「Human-in-the-Loop機械学習」3〜5章
hiroyoshiito
0
290
TypeScript の抽象構文木を用いた、数百を超える API の大規模リファクタリング戦略
yanaemon
6
1.2k
株式会社EventHub・エンジニア採用資料
eventhub
0
2.1k
使われないものを作るな!出口から作るデータ分析基盤 / Data Platform Development Starting from the User Needs
amaotone
16
4.5k
Featured
See All Featured
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
188
16k
Why You Should Never Use an ORM
jnunemaker
PRO
51
8.7k
Navigating Team Friction
lara
179
13k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
226
51k
Designing with Data
zakiwarfel
96
4.8k
The Brand Is Dead. Long Live the Brand.
mthomps
49
30k
How To Stay Up To Date on Web Technology
chriscoyier
782
250k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
221
21k
What the flash - Photography Introduction
edds
64
11k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
20
1.8k
Building Flexible Design Systems
yeseniaperezcruz
320
37k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
228
16k
Transcript
Copyright © Software Research Associates, Inc. All Rights Reserved AWS機械学習系サービスのご紹介
DX技術本部 山本 悠介、土田 拓実 2021/09/15
Copyright © Software Research Associates, Inc. All Rights Reserved 自己紹介
1 • 山本 悠介(やまもと ゆうすけ) – サーバサイドエンジニア • 主にJava • アーキテクト(FWまわりの検討、アプリケーションのレイヤ検討etc) – から AWSアーキテクト • 提案、見積 • 要件定義(非機能要件) • 設計、構築 • 主にWebアプリケーションプラットフォーム • 2020年 産業2→DX技術本部 • 略歴 – 小規模SIer(2002-2007) – SRA(2007-)
Copyright © Software Research Associates, Inc. All Rights Reserved 本日の発表
2 • 最近流行りの機械学習カテゴリのなかから2つのサービスを紹介
Copyright © Software Research Associates, Inc. All Rights Reserved 本日の発表
3 • 本日のねらい – サービスこんなのあるんだ…と知ってもらうこと • AWSはサーバ(ec2)だけじゃないぞ! – サービス導入しやすそう…思ってもらうこと – これ、ウチのプロジェクトで使えるかも!って思ってもらえたら最高です
Copyright © Software Research Associates, Inc. All Rights Reserved Amazon
Lookout for Vision DX技術本部 山本 悠介
[email protected]
2021/09/15
Copyright © Software Research Associates, Inc. All Rights Reserved 目次
5 • Amazon Lookout for Vision とは • 料金 • やってみた • まとめ
Copyright © Software Research Associates, Inc. All Rights Reserved Amazon
Lookout for Vision とは 6 • オブジェクトの視覚表現の欠陥や異常を発見する機械学習 (ML) サービス – 機械学習や深層学習の専門知識がなくても使える • ユースケース
Copyright © Software Research Associates, Inc. All Rights Reserved 使用イメージ
7 Step1 – 正常な製品と欠陥のある製品を示す画像を Lookout for Visionにロード Step2 – 画像に正常または異常のラベルを付けると、Lookout for Vision が数分で自動的にモデルを作成 Step3 – Lookout for Vision ダッシュボードを使用して、欠陥を監視し、プロセスを改善 Step4 – 目視検査プロセスをリアルタイムまたはバッチで自動化し、欠陥が検出されたときに通知を受け取る Step5 – 特定された製品欠陥に関するフィードバックを提供することにより、継続的な改善を行う
Copyright © Software Research Associates, Inc. All Rights Reserved 目次
8 • Amazon Lookout for Vision とは • 料金 • やってみた • まとめ
Copyright © Software Research Associates, Inc. All Rights Reserved 料金
9 – a Amazon Lookout for Vision の料金 https://aws.amazon.com/jp/lookout-for-vision/pricing/
Copyright © Software Research Associates, Inc. All Rights Reserved 目次
10 • Amazon Lookout for Vision とは • 料金 • やってみた • まとめ
Copyright © Software Research Associates, Inc. All Rights Reserved やってみた
11 • 画像の準備 – PNGまたはJPEG形式 – 単一のデータセットの場合 • 正常系の画像20枚、異常系の画像10枚 – 個別のトレーニングデータセットとテストデータセットの場合 • トレーニングデータは正常系の画像10枚、テストデータは正常系の画像10枚、異常系の画像10枚 – 全て同じサイズである必要あり • 回路基板の画像を使ってやってみる https://github.com/aws-samples/amazon-lookout-for-vision/tree/main/circuitboard
Copyright © Software Research Associates, Inc. All Rights Reserved 画像の異常を検出するモデルを作成
12 • S3に正常系20枚、異常系20枚を配置して • “データセットを作成”ボタンを押下 • バケット内に正常系(normal)、異常系 (anomaly)とディレクトリを掘っておくと、 勝手にラベル付けしてくれる
Copyright © Software Research Associates, Inc. All Rights Reserved 画像の異常を検出するモデルを作成
13 • 読み込まれました • 自動でラベル付けされてい ます
Copyright © Software Research Associates, Inc. All Rights Reserved トレーニング
14 • “モデルをトレーニング”ボ タン押下
Copyright © Software Research Associates, Inc. All Rights Reserved トレーニング
15 • トレーニングが完了しました(30分位かかりました) • 精度81.8%、リコール(再現率)90%となっています
Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる
16 • モデルを開始します(CLI) • 起動まで10分程度
Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる
17 • 異常系1
Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる
18 • 異常系1 結果 • IsAnomalous:画像に1つ以上の異常が含まれている場合、true • Confidence:信頼性。0から1までの浮動小数点値で表され、値が大きいほど信 頼性が高いことを示します。 • つまり…不正解です!
Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる
19 • 異常系2
Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる
20 • 異常系2 結果 • 正解です(ちょっと自信なさげ)
Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる
21 • 異常系3
Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる
22 • 異常系3 結果 • 正解です(ちょっと自信なさげ)
Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる
23 • 正常系1
Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる
24 • 正常系1 結果 • 不正解…
Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる
25 • 正常系2
Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる
26 • 正常系2 結果 • 不正解…
Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる
27 • 正常系3
Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる
28 • 正常系3 結果 • 不正解…
Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる
29 • 半分以上間違っている…ので正常系の画像20枚、異常系の画像20枚をテストデ ータセットに追加して再度トレーニング • 精度100%、リコール(再現率)80%となっています – (精度100%過学習?というのは一旦置いておきます)
Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる(再)
30 • 異常系1
Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる(再)
31 • 異常系1 結果 • 正解です!
Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる(再)
32 • 異常系2
Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる(再)
33 • 異常系2 結果 • 正解です!!
Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる(再)
34 • 異常系3
Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる(再)
35 • 異常系3 結果 • 正解です!!!
Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる(再)
36 • 正常系1
Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる(再)
37 • 正常系1 結果 • 正解!!!(自信なさげ)
Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる(再)
38 • 正常系2
Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる(再)
39 • 正常系2 結果 • 正解!!
Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる(再)
40 • 正常系3
Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる(再)
41 • 正常系3 結果 • 正解!!!
Copyright © Software Research Associates, Inc. All Rights Reserved 異常を検出してみる
42 • 結果 – 1回目(正常系20枚、異常系20枚)のモデル • 2/6の正解 – 2回目(正常系20枚、異常系20枚テストデータセットに追加)のモデル • 6/6の正解
Copyright © Software Research Associates, Inc. All Rights Reserved まとめ
43 • 機械学習の専門知識がなくても推論できました。 • でも、どのモデル(精度/リコール)を使用して推論するかは有識者にご意見を伺 いたいところ。
Copyright © Software Research Associates, Inc. All Rights Reserved 参考URL
44 • Amazon Lookout for Vision (コンピュータービジョンを使用して視覚表現の欠 陥や異常を発見) – https://aws.amazon.com/jp/lookout-for-vision/ • What is Amazon Lookout for Vision? – https://docs.aws.amazon.com/lookout-for-vision/latest/developer-guide/what-is.html
Copyright © Software Research Associates, Inc. All Rights Reserved ご清聴ありがとうございました。
45 • 17分程度残っていれば時間いい感じ。
Copyright © Software Research Associates, Inc. All Rights Reserved Amazon
Forecast DX技術本部 土田 拓実
[email protected]
2021/09/15
Copyright © Software Research Associates, Inc. All Rights Reserved 自己紹介
47 株式会社 SRA 2020年度入社 DX技術本部 DX技術開発室 土田 拓実 GSLetterNeo Vol.157 「プログラミングでインフラ構築~AWS CDKで始めるIaC~」 https://www.sra.co.jp/Portals/0/files/gsletter/pdf/GSLetterNeoVol157.pdf Qiita:@t_tsuchida
Copyright © Software Research Associates, Inc. All Rights Reserved 目次
48 • Amazon Forecastとは • 料金体系 • 設定の流れ • やってみる – :Qiitaのビュー数予測 • まとめ • そのほかのサービス • DXのAWS学習支援について(sra only) • Q&A
Copyright © Software Research Associates, Inc. All Rights Reserved Amazon
Forecastとは 49 • サービス概要 – 機械学習で予測を行うフルマネージドのサービス。 – 過去データを与えると今後の予測が行える。 • ユースケース – 商品販売予想から倉庫の在庫調整を行いたい場合(商品発注の指標の一つに) – Webページのトラフィックの予測を行いたい場合
Copyright © Software Research Associates, Inc. All Rights Reserved 料金体系
50
Copyright © Software Research Associates, Inc. All Rights Reserved 設定の流れ
51 1. データインポート – CSVの時系列過去データをForecastにインポート • 基本データは「item_id,timestamp,value」 • 関係するデータ,メタデータもインポートすることで予測の精度向上が可能 2. モデル選定/学習 – 全6種類のモデルから、データに適したモデルを選定/学習 – AutoML機能を利用することで適したモデルの自動選定も可能 3. 結果の出力 – 結果をグラフとして閲覧可能 – AWS CLIやAWS SDK等からも取得できる
Copyright © Software Research Associates, Inc. All Rights Reserved やってみる:Qiitaのビュー数予測
52 • Qiitaの今後一か月のページビュー数を予測してみる。 • GoogleAnalyticsから過去のページビュー数をcsvにエクスポート • 2020/10/4~2021/8/30(計330日)
Copyright © Software Research Associates, Inc. All Rights Reserved 設定の流れ
53 1. データインポート – CSVの時系列過去データをForecastにインポート • 基本データは「item_id,timestamp,value」 • 関係するデータ,メタデータもインポートすることで予測の向上が可能 2. モデル選定/学習 – 全6種類のモデルから、データに適したモデルを選定/学習 – AutoML機能を利用することで適したモデルの自動選定も可能 3. 結果の出力 – 結果をグラフとして閲覧可能 – AWS CLIやAWS SDK等からも取得できる
Copyright © Software Research Associates, Inc. All Rights Reserved やってみる:Qiitaのビュー数予測
54 • データインポート – csvを整形、S3にアップロード • Item_id, timestamp, target_value – ForecastでS3のバケットのarnを指定・インポート S3バケット import upload
Copyright © Software Research Associates, Inc. All Rights Reserved 設定の流れ
55 1. データインポート – CSVの時系列過去データをForecastにインポート • 基本データは「item_id,timestamp,value」 • 関係するデータ,メタデータもインポートすることで予測の向上が可能 2. モデル選定/学習 – 全6種類のモデルから、データに適したモデルを選定/学習 – AutoML機能を利用することで適したモデルの自動選定も可能 3. 結果の出力 – 結果をグラフとして閲覧可能 – AWS CLIやAWS SDK等からも取得できる
Copyright © Software Research Associates, Inc. All Rights Reserved やってみる:Qiitaのビュー数予測
56 • モデル選定/学習 – 6つの学習モデルの中から選定をおこなう • AutoMLで最適なモデルの選定→結果、今回は「ETS」が勝利(WAPE:0.2227) • その他のモデル:https://docs.aws.amazon.com/ja_jp/forecast/latest/dg/aws-forecast-choosing-recipes.html • 学習時間は約1時間
Copyright © Software Research Associates, Inc. All Rights Reserved 設定の流れ
57 1. データインポート – CSVの時系列過去データをForecastにインポート • 基本データは「item_id,timestamp,value」 • 関係するデータ,メタデータもインポートすることで予測の向上が可能 2. モデル選定/学習 – 全6種類のモデルから、データに適したモデルを選定/学習 – AutoML機能を利用することで適したモデルの自動選定も可能 3. 結果の出力 – 結果をグラフとして閲覧可能 – AWS CLIやAWS SDK等からも取得できる
Copyright © Software Research Associates, Inc. All Rights Reserved やってみる:Qiitaのビュー数予測
58 • 結果 – グラフ • Value : 過去データ • P10,P50,P90:それぞれ10,50,90パーセンタイル ビュー数 日付
Copyright © Software Research Associates, Inc. All Rights Reserved やってみる:Qiitaのビュー数予測
59 • 結果 – グラフ • Value : 過去データ • P10,P50,P90:それぞれ10,50,90パーセンタイル ビュー数 日付
Copyright © Software Research Associates, Inc. All Rights Reserved まとめ
60 • マネージドサービスであり、データを投入するだけで予測できる • 機械学習わからなくても予測ができる!! • 結果を見るだけではなく、CLI,SDKなどからも取得できる • 公式ハンズオンあります! – https://pages.awscloud.com/JAPAN-event-OE-Hands-on-for-Beginners-AIML-2021- reg-event.html?trk=aws_introduction_page
Copyright © Software Research Associates, Inc. All Rights Reserved そのほかのサービス
61 …etc Amazon Elastic Container Service https://qiita.com/yu-yama-sra/ https://qiita.com/t_tsuchida/ AWS Amplify AWS Backup AWS Config Amazon Simple Email Service Elastci Load Balancing Amazon Kendra 詳しくはこちら:
Copyright © Software Research Associates, Inc. All Rights Reserved Q&A
62