Amazon Lookout for VisionとRaspberry Pi “Zero から始める「欠陥品」生活” JAWS DAYS 2021 プレイベント Mar. 14, 2021 株式会社ソラコム テクノロジー・エバンジェリスト 松下享平 / Max @ma2shita 

株式会社ソラコム テクノロジー・エバンジェリスト 松下享平 (まつした こうへい) "Max" 講演回数 140超/2018年 保有スライド 1万枚超(もはやわからん) オーバーラン常習犯 JAWS-UG IoT 専門支部 好きな AWS サービス • AWS IoT Core • AWS IoT Events • awscli @ma2shita お気軽にフォローを！ 

Raspberry Pi Amazon Lookout for Vision 正常 or 異常 Amazon Lookout for VisionとRaspberry Pi “Zero から始める「欠陥品」生活” インターネット 

クラウド ネットワーク センサー/デバイス “モノ” 「IoT」とは？ モノやコトをデジタル化 現場のデジタル化 現場とクラウドを つなげる データの活用 IoT とは？ SORACOM とは？ 

クラウド ネットワーク センサー/デバイス “モノ” デジタル化の課題「ネットワーク」 セキュリティ 対策や更新? クラウドとの 連携？ 通信機能の 開発？ ネットワークの 設定？ IoT とは？ SORACOM とは？ 

あらゆる現場をつなげる無線通信 IoT 向けデータ通信 SORACOM Air どこでもつながる 無線通信 セキュリティや 付加機能 セルラー LPWA 2G / 3G / LTE LTE-M Sigfox IoT ビジネス向けの 料金体系 IoT とは？ SORACOM とは？ 

クラウド ネットワーク センサー/デバイス “モノ” 長距離の無線通信で簡単にクラウドへ接続 中継器 アクセスポイント等 ネット回線 IoT は モノやコトをデジタル化してクラウドで活用 SORACOM は IoT の「つなぐ」を簡単に 閉域接続 回線管理 ダッシュボード クラウド連携 遠隔アクセス デバイス管理 IoT とは？ SORACOM とは？ 

AWS と IoT の話なら 3/20 JAWS DAYS 2021 Bトラック 14:20 ~ IoT とは？ SORACOM とは？ Amazon API Gateway AWS IoT Core 

ズレないようにラベリング ボタンを “ポチっ” → AWS Lambda 起動できる IoT ボタン SORACOM LTE-M Button powered by AWS SORACOM LTE-M Button for Enterprise CV(コンピュータービジョン)の背景とAmazon Lookout for Vision 

CV(コンピュータービジョン)検討の背景 人的な品質チェックの バラつきを解消したい 作業標準や手順書の 作成、実施 「見りゃわかる」を 機械で実現できないか？ 担当者ごとの基準、 体調や気分、非線形な労働 そこまでの規模ではない CV(コンピュータービジョン)の背景とAmazon Lookout for Vision 

画像から正常/異常を判定 Amazon Lookout for Vision 2/25 GA!! 1/31リリースの アイコンセットに 入っています！ CV(コンピュータービジョン)の背景とAmazon Lookout for Vision 

https://aws.amazon.com/jp/blogs/news/aws-reinvent-recap-aiml-seminar-for-biopharma/ Amazon EC2で DBサーバを構築 Amazon Aurora や RDS Amazon Lightsailで WordPressや Redmine Amazon Lookout for Vision は “AI サービス” CV(コンピュータービジョン)の背景とAmazon Lookout for Vision 

目的に特化してるからこそ、ハマれば強い EC2 に TensorFlow 入れば できるよね “ Amazon SageMaker で できるよね “ Amazon Lookout for Vision は 「画像から正常/異常を判定」に特化した AI サービス CV(コンピュータービジョン)の背景とAmazon Lookout for Vision 

Amazon Lookout for Vision CV(コンピュータービジョン)の背景とAmazon Lookout for Vision 

Zero から始める Amazon Lookout for Vision 

正常 正常 異常 Zero から始める Amazon Lookout for Vision 

Amazon Lookout for Vision ➢ 向いているコト、他サービスを検討する時 ➢ 使う際の注意点 ➢ 活用アイデア ➢ アプリケーションへの組み込み方法 ➢ 最大の壁「画像を集める方法」 Zero から始める Amazon Lookout for Vision 

Amazon Lookout for Vision 向いているコト 正常 / 異常の2値分類 3種類以上の分類 正常 保留… 異常 正常 正常 異常 Amazon Lookout for Vision 向け ワークロード ✓ 🤔 他サービスの利用を検討 Amazon Rekognition、 Amazon SageMaker 等 Zero から始める Amazon Lookout for Vision 

Amazon Lookout for Vision 活用時の注意点 ➢ 学習時と推論要求時の画像ファイルの品質を 合わせておこう • ピント、色味、背景、トリミングといった画像調整は対象外 • 特に縦横サイズが学習時と推論時で異なるとエラー発生 ➢ ワークロードが最大となるように働かせよう • インスタンス稼働時間による課金タイプ • DetectAnomaies のクオータ(TPS)にも注意 ➢ Confidence(信頼度) も見るようにしよう Zero から始める Amazon Lookout for Vision 

Amazon Lookout for Vision 「信頼度」で中間分類を実現する TIPS 結果 (IsAnomalous) 正常 正常 異常 最終判断 正常 保留 異常 信頼度 (Confidence) 89% 34% 77% 条件付け 60% > Confidence を “保留” とする Zero から始める Amazon Lookout for Vision 

Amazon Lookout for Vision 活用アイデア ラベルのズレ スイッチの状況 在庫の有無 メーター監視 傷モノ検査 ※ Amazon Lookout for Vision 説明ページより Zero から始める Amazon Lookout for Vision 

「ふじ」 or 「NOT ふじ」 Zero から始める Amazon Lookout for Vision https://qiita.com/tsukamoto/items/c321d19b9b7362525da5 

Amazon Lookout for Vision アプリケーションへの組み込み方法 AWS CLI boto3 import boto3 lv = boto3.client('lookoutvision’) r = lv.detect_anomalies(...) API https://boto3.amazonaws.com/v1/documentation/api /latest/reference/services/lookoutvision.html https://docs.aws.amazon.com/lookout-for- vision/latest/APIReference/Welcome.html 既存システムへの組み込み AWS Lambdaとの連携 API Gateway からの 直接呼び出し Zero から始める Amazon Lookout for Vision 

Amazon Lookout for Vision Raspberry Pi 等の Linux OSから AWS CLI 準備 $ sudo apt install fswebcam > AWS CLI v2 インストール 撮影と推論 $ fswebcam -d /dev/video0 -S 60 -r 1280x720 --no-banner image.jpg $ aws lookoutvision detect-anomalies --project-name labeling_anomaly_detect ¥ --model-version 1 --content-type=image/jpeg --body image.jpg Zero から始める Amazon Lookout for Vision 

機械学習、最大の壁は… 画像を集める方法 ➢ 不良品が出るまで待つ？ ➢ 不良品を「わざわざ」作る？ ML学習用の画像収集 

ML学習用の画像収集 【再掲】 

学習用データを集めてたら「仕事が終わってた」問題 ML学習用の画像として 正常を30枚、異常を30枚 集めてね！ うーん、ラベル貼りの作業で 異常が出るのって 1%くらいかな 異常を30枚用意するには 3000個のラベル貼りが必要 MLによる判定が可能になるのは 3001個目から ➢ 規模が小さいから始めたはずが、大規模に。 もし発注が1000個だったら ➢ データが集まらず「始まらない」。 ※これでも少ない方 ※大体もっと低い ML投入前に「仕事、終わっちゃいましたよ！」 現場に投入されにくい要因 ML学習用の画像収集 

Photoshop や ImageMagick で 作り出す $ for X in $(321 325) ; ¥ do for Y in $(246 251) ; ¥ do composite -verbose -geometry +${X}+${Y} -compose over label.png base.jpg ${X}-${Y}.jpg ; ¥ done ; done 2枚のレイヤーを ImageMagick で合成 ML学習用の画像収集 

まとめ 少ないデータで 開始可能 「異常品」の “準備” 信頼度による 中間分類 Amazon Lookout for Vision 

詳しくは Qiita にて https://qiita.com/ma2shita/items/39ca13feeb43348b9f36 https://qiita.com/ma2shita/items/fb61de364ab316ff47a4 LGTM していってね！ Amazon Lookout for Vision で試験できる画像と、 Photoshop データを CC BY-NC-ND 4.0 で公開 

SORACOM は IoT の「つなぐ」を簡単に https://soracom.jp/recipes_index/2956/ 「どんな現場からでも AWS につなげたい」 そんな時にご検討ください！ 

経験 Zeroでも、できました！ https://qiita.com/ma2shita/items/c9d0e5a981c02cf58c5e Raspberry Pi Zero 最近発売となった SORACOM Onyx LTE USB ドングル 3/17 SORACOM Device Meetupで この解説します！ Amazon Lookout for VisionとRaspberry Pi “Zeroから始める「欠陥品」生活” 

世界中のヒトとモノをつなげ 共鳴する社会へ