予知保全利⽤を⽬指した外観検査AIの開発 〜画像処理AIを⽤いた外観画像に対する異常検知〜 2024.6.28 データアナリティクス事業本部 貞松 政史

Xへの投稿の際は ハッシュタグ #devio2024 でお願いいたします 2 お願い

AI/MLによるビジネス課題の解決 3 ● 近年AI/MLのビジネス活⽤が⼀般に普及 ○ 深層学習(Deep Learning)の登場 ○ ⽣成AIの登場により更に加速 ● クラスメソッドも様々なAI/ML課題を解決 ○ 予測、分類、推薦、画像処理、⾳声処理 ■ https://classmethod.jp/services/machine-learning/ ○ ⽣成AIを活⽤した業務効率化 など ■ https://classmethod.jp/services/generative-ai/ai-starter/

画像中の異常検知に関するニーズ 4 不定期的にお問い合わせいただくテーマ 「(何かしら画像中の)異常を検知することはできませんか？」 具体的には… ● 部品、製品の中から不備のある箇所を⾒つける ● 建物の外壁を撮影して補修が必要な箇所を⾒つける ● 道路や線路の損傷箇所を⾒つける など

本セッションのメインテーマ 5 ● 前述の課題は全て「外観検査」で⼀括りにできる ● 外観検査の⽬的は概ね「予知保全」による 「コスト最適化」や「リスク低減」 ● 具体的な異常検知⼿法、システム化する際の 想定アーキテクチャ等、順を追って解説

スピーカー情報 6 ⽒名 貞松 政史 (サダマツ マサシ) 所属 データアナリティクス事業本部 インテグレーション部 機械学習チーム マネージャー

1. AI/MLを⽤いた画像処理の基本 2. 外観検査AIの適⽤領域と導⼊メリット 3. ⼀般的な画像中の異常検知⼿法 4. 外観検査システムの想定アーキテクチャ 5. 現時点の課題と今後の展望 6. まとめ おしながき 7

AI/MLによる画像処理の基本 8

● 画像分類 ○ 画像に写っている主な対象でラベル分け ○ 画像の内容を説明するラベルやキャプションの付与 ● 物体検出 ○ 特定のオブジェクトを検出してその場所をマーク ● テキスト抽出 ○ 画像中のテキストを抽出 AI/MLを⽤いた画像処理タスク 9

● ⼀般的な⼿法(アルゴリズム)を適⽤ ○ ImageNet、ResNet、VGG、Inception など ■ ラベリング済みの学習データセットを⽤意してカスタム分類 モデルを作成 ● クラウドサービス(SaaS)の利⽤ ○ 画像処理に特化したSaaSを利⽤ ■ Amazon RekognitionやGoogle Cloud Vertex AI Vision など ■ カスタム分類モデルを作成するだけでなく、有名な⼈物‧場所の 判別、コンテンツモデレーションなどの機能を活⽤することも可能 画像分類 10

● 最新の⼿法(アルゴリズム)を適⽤ ○ YOLOv8 ■ 処理速度が⾮常に速いのが特徴 ■ https://docs.ultralytics.com/modes/train/ 物体検出 11 アノテーション済 データセット 未知のデータに 対して推論実⾏

● OCRのツールやサービスを使⽤した解決 ○ 商⽤のOCRソフトやクラウドサービス(SaaS) ● ⽣成AIモデルを使⽤した解決 ○ Anthropic社のClaude3は⽇本語対応の強化を明⾔ ○ 最新のClaude3.5 Sonnetはマンガのふきだしから ルビを除外したセリフを抽出するような込み⼊った テキスト抽出まで可能 テキスト抽出 12

外観検査AIの適⽤領域と 導⼊メリット 13

● 製造業 ○ 部品、製品の中から不備のある箇所を⾒つける ● 建設業や鉄道会社 ○ 建物の外壁を撮影して補修が必要な箇所を⾒つける ○ 道路や線路の損傷箇所を⾒つける 外観検査AIの適⽤領域 14

● 予知保全 ○ 事前の異常検知による事故リスクの低減 ○ 適切なタイミングでの保守によりコストを削減 ● 危険作業リスクの低減 ○ ⾼所や⼯場機械‧化学物質の付近など、危険な場所での 作業を機械化して⼈的リスクを低減 外観検査AIの導⼊メリット 15

⼀般的な画像中の異常検知⼿法 16

● ⼊⼒の再構成モデル ○ ⼊⼒された画像を再構成するモデルを使⽤して、⼊⼒画像と再構成画 像を⽐較した際に検出される差分を異常とみなす 基本的なアプローチの⼀例 17

● 時系列データでも同様のアプローチが存在する ○ 異常を検出したい対象の時間範囲で時系列予測データを⽣成し て、実績データと⽐較することで差分を異常とみなす 基本的なアプローチの⼀例 18

● 画像分類モデルのEfficientNetを利⽤した異常検知 ○ 独⾃データセットによる再学習無しで⾼い性能を持つ ■ https://qiita.com/shinmura0/items/5f2c363812f7cdcc8771 ■ https://github.com/shinmura0/EfficientNet_AD_Segmentation ○ セグメンテーション(領域の抽出) の実装に⼯夫が必要 EfficientNet-AD 19

● Segment Anything Model (Meta社)を利⽤した異常検知 ○ https://qiita.com/shinmura0/items/2ebe69c1a31ae1b98de2 ○ ⼤規模データセットによる学習モデル ○ 汎⽤性が⾼く、セグメンテーションに特化している ○ テキストプロンプトを使⽤して特定の異常を検出 ○ モデルサイズが⼤きく処理コストが ⾼い Segment Any Anomaly (SAA) 20

● 画像向けの異常検知ライブラリで、Intel が提供する OpenVINOツールキット の⼀部 ○ https://anomalib.readthedocs.io/en/latest/ ○ 提供されているSegmentationモデル ■ PaDiM (2020) ※anomalibのデフォルト ■ STFPM (2021) ■ PatchCore (2021) ■ CFLOW-AD (2021) ■ FastFlow (2021) Anomalibで利⽤可能な⼿法 21 PaDiMによる出⼒の⼀例

● クラウドサービスで⽤意されている外観検査⽤のSaaSを 利⽤することも可能 ○ Amazon Lookout for Vision ■ 数⼗枚程度の画像データでモデルの作成が可能 ■ https://aws.amazon.com/jp/lookout-for-vision/ ■ https://dev.classmethod.jp/articles/lookout-vision-update-segmentation/ ○ Google Cloud Visual Inspection AI ■ ネットワークエッジやオンプレミスにデプロイ可能 ■ https://cloud.google.com/solutions/visual-inspection-ai クラウドサービスによる解決 22

外観検査システムの 想定アーキテクチャ 23

AWS Cloud 想定アーキテクチャ 24 input Amazon ECR output Image Amazon S3 Amazon API Gateway Lambda - 学習データ - 学習モデル etc… Model Train Notebook - 独⾃コンテナ利⽤ - ここに異常検知アルゴリズムの 実装を押し込める - 学習ジョブ、推論ジョブ、 推論エンドポイントで利⽤ Amazon SageMaker Amazon SageMaker上で異常検知モデルの学習と推論を実⾏する想定で構成した場合 ユーザークライアント

現時点の課題と今後の展望 25

● 背景など複数要素が混在する複雑な画像への対応 ○ 独⾃データセットによるファインチューニング ■ 学習⽤データのアノテーション(ラベル付け)など、⾼コスト ● 動画を対象としたリアルタイム異常検知 ○ リアルタイムに動画内の異常箇所を検出、表⽰ ○ 推論の処理速度やアプリケーションの実装など課題あり ● エッジ端末による推論処理 ○ クラウド環境でなくローカルのエッジ端末で推論処理を実⾏ ○ モデルサイズの最⼩化、処理速度と性能(精度)のトレードオフ 現時点の課題 26

● 動画を対象とした異常検知への対応 ○ 動画をフレーム単位で静⽌画として切り出し ○ 静⽌画に対する異常検知を実⾏ ○ 異常が検知されたフレームだけを抽出 今後の展望 27

まとめ 28

● AI/MLのビジネス活⽤の中でも⽐較的ニーズのある 画像中の異常検知についての解決アプローチをご紹介 ○ ⼀般的な画像中の異常検知⼿法 ○ 異常検知モデルをコアとするシステムアーキテクチャ ○ 現時点で考えられる課題の整理 ● 対象となるユースケースに依ってはすぐに適⽤可能 ○ ⽐較的単純な画像、動画の異常検知 ○ 厳密なリアルタイム性を求めないケース まとめ 29

No content

31