予知保全利用を目指した外観検査AIの開発 〜画像処理AIを用いた外観画像に対する異常検知〜

生成AIブームの波に乗り、企業活動におけるビジネス課題の解決手段としても、AI・機械学習を用いたソリューションが一般に浸透しつつあります。
産業に対するAI・機械学習課題としては、建物や道路、線路等の損傷や塗装剥げといった異常の検知に関するご相談を多く頂いております。
本セッションでは、前述の課題に対する解決策の一例をご紹介致します。
現場を想定した実験設定や、画像処理の技術を用いた具体的な異常検知手法、システム化する際のアーキテクチャ等について順を追って解説していきます。

[目次]
1. AI/MLを用いた画像処理の基本
2. 外観検査AIの適用領域と導入メリット
3. 一般的な画像中の異常検知手法
4. 外観検査システムの想定アーキテクチャ
5. 現時点の課題と今後の展望
6. まとめ

Transcript

1. 予知保全利⽤を⽬指した外観検査AIの開発 〜画像処理AIを⽤いた外観画像に対する異常検知〜 2024.6.28 データアナリティクス事業本部 貞松 政史
2. Xへの投稿の際は ハッシュタグ #devio2024 でお願いいたします 2 お願い
3. AI/MLによるビジネス課題の解決 3 • 近年AI/MLのビジネス活⽤が⼀般に普及 ◦ 深層学習(Deep Learning)の登場 ◦ ⽣成AIの登場により更に加速 • クラスメソッドも様々なAI/ML課題を解決 ◦ 予測、分類、推薦、画像処理、⾳声処理 ▪ https://classmethod.jp/services/machine-learning/ ◦ ⽣成AIを活⽤した業務効率化 など ▪ https://classmethod.jp/services/generative-ai/ai-starter/
4. 画像中の異常検知に関するニーズ 4 不定期的にお問い合わせいただくテーマ 「(何かしら画像中の)異常を検知することはできませんか？」 具体的には… • 部品、製品の中から不備のある箇所を⾒つける • 建物の外壁を撮影して補修が必要な箇所を⾒つける • 道路や線路の損傷箇所を⾒つける など
5. 本セッションのメインテーマ 5 • 前述の課題は全て「外観検査」で⼀括りにできる • 外観検査の⽬的は概ね「予知保全」による 「コスト最適化」や「リスク低減」 • 具体的な異常検知⼿法、システム化する際の 想定アーキテクチャ等、順を追って解説
6. スピーカー情報 6 ⽒名 貞松 政史 (サダマツ マサシ) 所属 データアナリティクス事業本部 インテグレーション部 機械学習チーム マネージャー
7. 1. AI/MLを⽤いた画像処理の基本 2. 外観検査AIの適⽤領域と導⼊メリット 3. ⼀般的な画像中の異常検知⼿法 4. 外観検査システムの想定アーキテクチャ 5. 現時点の課題と今後の展望 6. まとめ おしながき 7
8. AI/MLによる画像処理の基本 8
9. • 画像分類 ◦ 画像に写っている主な対象でラベル分け ◦ 画像の内容を説明するラベルやキャプションの付与 • 物体検出 ◦ 特定のオブジェクトを検出してその場所をマーク • テキスト抽出 ◦ 画像中のテキストを抽出 AI/MLを⽤いた画像処理タスク 9
10. • ⼀般的な⼿法(アルゴリズム)を適⽤ ◦ ImageNet、ResNet、VGG、Inception など ▪ ラベリング済みの学習データセットを⽤意してカスタム分類 モデルを作成 • クラウドサービス(SaaS)の利⽤ ◦ 画像処理に特化したSaaSを利⽤ ▪ Amazon RekognitionやGoogle Cloud Vertex AI Vision など ▪ カスタム分類モデルを作成するだけでなく、有名な⼈物‧場所の 判別、コンテンツモデレーションなどの機能を活⽤することも可能 画像分類 10
11. • 最新の⼿法(アルゴリズム)を適⽤ ◦ YOLOv8 ▪ 処理速度が⾮常に速いのが特徴 ▪ https://docs.ultralytics.com/modes/train/ 物体検出 11 アノテーション済 データセット 未知のデータに 対して推論実⾏
12. • OCRのツールやサービスを使⽤した解決 ◦ 商⽤のOCRソフトやクラウドサービス(SaaS) • ⽣成AIモデルを使⽤した解決 ◦ Anthropic社のClaude3は⽇本語対応の強化を明⾔ ◦ 最新のClaude3.5 Sonnetはマンガのふきだしから ルビを除外したセリフを抽出するような込み⼊った テキスト抽出まで可能 テキスト抽出 12
13. 外観検査AIの適⽤領域と 導⼊メリット 13
14. • 製造業 ◦ 部品、製品の中から不備のある箇所を⾒つける • 建設業や鉄道会社 ◦ 建物の外壁を撮影して補修が必要な箇所を⾒つける ◦ 道路や線路の損傷箇所を⾒つける 外観検査AIの適⽤領域 14
15. • 予知保全 ◦ 事前の異常検知による事故リスクの低減 ◦ 適切なタイミングでの保守によりコストを削減 • 危険作業リスクの低減 ◦ ⾼所や⼯場機械‧化学物質の付近など、危険な場所での 作業を機械化して⼈的リスクを低減 外観検査AIの導⼊メリット 15
16. ⼀般的な画像中の異常検知⼿法 16
17. • ⼊⼒の再構成モデル ◦ ⼊⼒された画像を再構成するモデルを使⽤して、⼊⼒画像と再構成画 像を⽐較した際に検出される差分を異常とみなす 基本的なアプローチの⼀例 17
18. • 時系列データでも同様のアプローチが存在する ◦ 異常を検出したい対象の時間範囲で時系列予測データを⽣成し て、実績データと⽐較することで差分を異常とみなす 基本的なアプローチの⼀例 18
19. • 画像分類モデルのEfficientNetを利⽤した異常検知 ◦ 独⾃データセットによる再学習無しで⾼い性能を持つ ▪ https://qiita.com/shinmura0/items/5f2c363812f7cdcc8771 ▪ https://github.com/shinmura0/EfficientNet_AD_Segmentation ◦ セグメンテーション(領域の抽出) の実装に⼯夫が必要 EfficientNet-AD 19
20. • Segment Anything Model (Meta社)を利⽤した異常検知 ◦ https://qiita.com/shinmura0/items/2ebe69c1a31ae1b98de2 ◦ ⼤規模データセットによる学習モデル ◦ 汎⽤性が⾼く、セグメンテーションに特化している ◦ テキストプロンプトを使⽤して特定の異常を検出 ◦ モデルサイズが⼤きく処理コストが ⾼い Segment Any Anomaly (SAA) 20
21. • 画像向けの異常検知ライブラリで、Intel が提供する OpenVINOツールキット の⼀部 ◦ https://anomalib.readthedocs.io/en/latest/ ◦ 提供されているSegmentationモデル ▪ PaDiM (2020) ※anomalibのデフォルト ▪ STFPM (2021) ▪ PatchCore (2021) ▪ CFLOW-AD (2021) ▪ FastFlow (2021) Anomalibで利⽤可能な⼿法 21 PaDiMによる出⼒の⼀例
22. • クラウドサービスで⽤意されている外観検査⽤のSaaSを 利⽤することも可能 ◦ Amazon Lookout for Vision ▪ 数⼗枚程度の画像データでモデルの作成が可能 ▪ https://aws.amazon.com/jp/lookout-for-vision/ ▪ https://dev.classmethod.jp/articles/lookout-vision-update-segmentation/ ◦ Google Cloud Visual Inspection AI ▪ ネットワークエッジやオンプレミスにデプロイ可能 ▪ https://cloud.google.com/solutions/visual-inspection-ai クラウドサービスによる解決 22
23. 外観検査システムの 想定アーキテクチャ 23
24. AWS Cloud 想定アーキテクチャ 24 input Amazon ECR output Image Amazon S3 Amazon API Gateway Lambda - 学習データ - 学習モデル etc… Model Train Notebook - 独⾃コンテナ利⽤ - ここに異常検知アルゴリズムの 実装を押し込める - 学習ジョブ、推論ジョブ、 推論エンドポイントで利⽤ Amazon SageMaker Amazon SageMaker上で異常検知モデルの学習と推論を実⾏する想定で構成した場合 ユーザークライアント
25. 現時点の課題と今後の展望 25
26. • 背景など複数要素が混在する複雑な画像への対応 ◦ 独⾃データセットによるファインチューニング ▪ 学習⽤データのアノテーション(ラベル付け)など、⾼コスト • 動画を対象としたリアルタイム異常検知 ◦ リアルタイムに動画内の異常箇所を検出、表⽰ ◦ 推論の処理速度やアプリケーションの実装など課題あり • エッジ端末による推論処理 ◦ クラウド環境でなくローカルのエッジ端末で推論処理を実⾏ ◦ モデルサイズの最⼩化、処理速度と性能(精度)のトレードオフ 現時点の課題 26
27. • 動画を対象とした異常検知への対応 ◦ 動画をフレーム単位で静⽌画として切り出し ◦ 静⽌画に対する異常検知を実⾏ ◦ 異常が検知されたフレームだけを抽出 今後の展望 27
28. まとめ 28
29. • AI/MLのビジネス活⽤の中でも⽐較的ニーズのある 画像中の異常検知についての解決アプローチをご紹介 ◦ ⼀般的な画像中の異常検知⼿法 ◦ 異常検知モデルをコアとするシステムアーキテクチャ ◦ 現時点で考えられる課題の整理 • 対象となるユースケースに依ってはすぐに適⽤可能 ◦ ⽐較的単純な画像、動画の異常検知 ◦ 厳密なリアルタイム性を求めないケース まとめ 29