IBM Maximo Visual Inspection - カスタム検知を簡単自作 -

Transcript

1. IBM Cognitive Applications / © 2021 IBM Corporation IBM Maximo Visual Inspection - カスタム検知を簡単⾃作 - 野ヶ⼭ 尊秀 Takahide Nogayama, Ph.D. ⽇本アイ・ビー・エム株式会社 テクノロジー事業本部 コグニティブ・アプリケーションズ IBM Cloud Festa Online 2021
2. ワークショップ、セッション、および資料は、IBMまたはセッション発表者によって準備され、それぞれ独⾃の⾒解を反映したものです。それらは情報 提供の⽬的のみで提供されており、いかなる参加者に対しても法律的またはその他の指導や助⾔を意図したものではなく、またそのような結果を⽣むも のでもありません。本講演資料に含まれている情報については、完全性と正確性を期するよう努⼒しましたが、「現状のまま」提供され、明⽰または暗 ⽰にかかわらずいかなる保証も伴わないものとします。本講演資料またはその他の資料の使⽤によって、あるいはその他の関連によって、いかなる損害 が⽣じた場合も、IBMは責任を負わないものとします。 本講演資料に含まれている内容は、IBMまたはそのサプライヤーやライセンス交付者からいかな る保証または表明を引きだすことを意図したものでも、IBMソフトウェアの使⽤を規定する適⽤ライセンス契約の条項を変更することを意図したもので もなく、またそのような結果を⽣むものでもありません。 本講演資料でIBM製品、プログラム、またはサービスに⾔及していても、IBMが営業活動を⾏っているすべての国でそれらが使⽤可能であることを暗⽰ するものではありません。本講演資料で⾔及している製品リリース⽇付や製品機能は、市場機会またはその他の要因に基づいてIBM独⾃の決定権をもっ ていつでも変更できるものとし、いかなる⽅法においても将来の製品または機能が使⽤可能になると確約することを意図したものではありません。本講 演資料に含まれている内容は、参加者が開始する活動によって特定の販売、売上⾼の向上、またはその他の結果が⽣じると述べる、または暗⽰すること を意図したものでも、またそのような結果を⽣むものでもありません。 パフォーマンスは、管理された環境において標準的なIBMベンチマークを使⽤し た測定と予測に基づいています。ユーザーが経験する実際のスループットやパフォーマンスは、ユーザーのジョブ・ストリームにおけるマルチプログラ ミングの量、⼊出⼒構成、ストレージ構成、および処理されるワークロードなどの考慮事項を含む、数多くの要因に応じて変化します。したがって、 個々のユーザーがここで述べられているものと同様の結果を得られると確約するものではありません。 記述されているすべてのお客様事例は、それらのお客様がどのようにIBM製品を使⽤したか、またそれらのお客様が達成した結果の実例として⽰された ものです。実際の環境コストおよびパフォーマンス特性は、お客様ごとに異なる場合があります。 IBM、IBM ロゴ、ibm.com、Maximo Visual Inspection, IBM Operational Decision Manager, Red Hat Decision Manager は、 世界の多くの国で登録された International Business Machines Corporationの商標です。他の製品名およびサービス名等は、それぞれIBMまたは各社の商標である場合があります。現 時点での IBM の商標リストについては、www.ibm.com/legal/copytrade.shtmlをご覧ください。 Node-RED is open. All dependencies of this project are available under the Apache Software License 2.0
3. IBM Cognitive Applications / © 2021 IBM Corporation 2 本⽇の内容 Maximo Visual Inspection のご紹介 ちょっと複雑な画像判定タスク Maximo Visual Inspection + Node-RED で実現するカスタム判定
4. IBM Cognitive Applications / © 2021 IBM Corporation 3 画像認識AI開発⽀援ツール: Maximo Visual Inspection Maximo Visual Inspection ラベル付け 学習 推論 iOS デバイス ローカルファイル サーバー+カメラ iOS デバイス 3 画像・動画 推論 推論 学習済みモデル データ拡張 AI画像認識のスキル不要︕プログラムレス︕ ユーザ部⾨の⽅が扱える画像・映像向けAI開発ツールです
5. IBM Cognitive Applications / © 2021 IBM Corporation 4 画像認識AI開発⽀援ツール : Maximo Visual Inspection AI画像認識のスキル不要︕プログラムレス︕ ユーザ部⾨の⽅が扱える画像・映像向けAI開発ツールです 画像分類 何があるのか 物体検出 何がどこにあるのか 領域検出 何がどこにあって、 どんな形か 動作検出 動画の特定シーンなど Good 0.999 NG 0.090
6. IBM Cognitive Applications / © 2021 IBM Corporation 5 施設管理・保全現場のデジタル変⾰を実現する IBM設備管理ソリューション全体像 SAFETY REMOTE ASSIST AR 遠隔支援 AI アシスト 匠の技能継承 安全・健康管理 設備作業 管理基盤 労働現場の 安全管理 スコアリング 性能予測 設備の透明性向上 HEALTH PREDICT MONITOR モニタリング MANAGE Visual Inspection 画像解析
7. IBM Cognitive Applications / © 2021 IBM Corporation 6 AI画像認識結果を設備保全業務に連携可能 Maximo Visual InspectionでのAI画像認識結果を⼀エッジ情報として、設備保全業務に活⽤可能です。 例えば、設備の不良を検出した結果を、設備保全システムIBM Maximoに連携し、確信度が閾値以上で あればアラートをあげる・インシデントを起票して点検業務につなげることができます。 業務利⽤を⾒据えた 仕組み Watson IoT Platform Maximo Asset Monitor Maximo Maximo Visual Inspection Maximo Visual Inspection Mobile エッジから運⽤システムまで⼀気通貫型のソリューション展開を実現
8. IBM Cognitive Applications / © 2021 IBM Corporation 7 本⽇の内容 Maximo Visual Inspection のご紹介 ちょっと複雑な画像判定タスク Maximo Visual Inspection + Node-RED で実現するカスタム判定
9. IBM Cognitive Applications / © 2021 IBM Corporation 8 ちょっと複雑な画像判定タスク • 制限区域への入室前の服装・所持品検査の画像AIによる簡素化 • NGならば、音やメール/SMSなどで通知 OK 1. ⾚ストラップ着⽤ 2. かつ、PC所持せず 3. かつ、バッグ所持せず NG 1. ⾚ストラップ未着⽤ 2. または、PC所持 3. または、バッグ所持
10. IBM Cognitive Applications / © 2021 IBM Corporation 9 典型的な画像判定タスクの実装 画像分類ですべて行う • ルールが埋め込まれてブラックボックス化 • 訓練データ大 • 服装ルールが変わったら再学習 画像分類 エンジン 学習済み モデル OK/NG 画像 物体検出 エンジン 学習済み モデル OK/NG 画像 画像 検出結果 物体検出と判定ルールの組み合わせ • 判定ルールはホワイトボックス化 • 訓練データ小 • 服装ルールが変わったら判定ルール変更 判定ルール
11. IBM Cognitive Applications / © 2021 IBM Corporation 10 判定ルール OKパターン例 Human Red Neck Strap NGパターン例 Blue Neck Strap PC Bag Human 人物エリアの中に 赤ストラップ が有る 人物エリアの中に バッグ が無い 人物エリアの中に PC が無い Yes Yes Yes 服装OK 服装NG 開始 No No No
12. IBM Cognitive Applications / © 2021 IBM Corporation 11 たしか、、 AI画像認識のスキル不要︕プログラムレス︕ ユーザ部⾨の⽅が扱える画像・映像向けAI開発ツールです 🤔 判定ルールを開発?
13. IBM Cognitive Applications / © 2021 IBM Corporation 12 判定ルールを開発? プログラミング⾔語 ビジネスルール管理 システム(BRMS) ビジュアル プログラミング⾔語 視認性良し・⾼機能 導⼊コスト安 IBM Operational Decision Manager Red Hat Decision Manager C/C++ Java Python VBA Ruby Javascript SCRATCH Node-RED 判定フローが可視化 IoT機器との連携得意
14. IBM Cognitive Applications / © 2021 IBM Corporation 13 本⽇の内容 Maximo Visual Inspection のご紹介 ちょっと複雑な画像判定タスク Maximo Visual Inspection + Node-RED で実現するカスタム判定
15. IBM Cognitive Applications / © 2021 IBM Corporation 14 今回の検証システム全体 ⼈が通ると⼈感センサにより映像が撮 影されEdge Serverに送られる Edge Server MVI Edge Server モデル フロー 事前配置 警備員 映像 警報 Node-RED 建物管理者 MVI Server 事前配置 モデル作成 HTTP Post HTTP Post カメラ ⼈感センサ
16. IBM Cognitive Applications / © 2021 IBM Corporation 15 撮影の様⼦
17. IBM Cognitive Applications / © 2021 IBM Corporation 16 IBM Maximo Visual Inspection で簡単に データ登録→ラベル付け→⾃動ラベル→データ拡張→学習済みモデル作成
18. IBM Cognitive Applications / © 2021 IBM Corporation 17 1. HTTP サーバーで⼊⼒と出⼒を⾏う • “HTTP in / response ”の２つのノードを挿入すると、Node-RED は HTTP サーバー として振る舞う • 画像をHTTP リクエストで受け、OKまたはNGをHTTPレスポンスで返却する リモートカメラ ローカルカメラ OK / NG Node-RED
19. IBM Cognitive Applications / © 2021 IBM Corporation 18 2. MVI Edge Server にオブジェクト検知を依頼 • 画像をMVI Edge Sever に送信し、オブジェクト検知結果のJSONを受け取る。 リモートカメラ ローカルカメラ OK / NG MVI Edge Server Human Bag PC Human
20. IBM Cognitive Applications / © 2021 IBM Corporation 19 3. 複数の検出された⼈物ごとに繰り返す • 検出された物体の中のうち、全ての“Human”オブジェクトごとに後段の処理を繰り返す リモートカメラ ローカルカメラ OK / NG MVI Edge Server Human Bag PC Human Human Human Node-RED
21. IBM Cognitive Applications / © 2021 IBM Corporation 20 4. 検出された⼈物ごとに検査を⾏う • “Human” オブジェクトが、１つ以上の対象オブジェクトを含むかどうかで分岐 リモートカメラ ローカルカメラ OK / NG MVI Edge Server Human Bag PC Human Human true false Node-RED true false true false
22. IBM Cognitive Applications / © 2021 IBM Corporation 21 5. 検査不合格の⼈物へのアクションを⾏う • Node-REDのノードで、音で通知、Eメール送信、SMS、Slack, LINE などへ通知などが可能 • Node-REDのコマンド実行ノードで、物理的な通知(警告灯の点灯、 リモートカメラ ローカルカメラ Human OK / NG Human Human Human Human Human Human … NG に対してアクション (⾳、ゲートを閉める、メール、SMS) Node-RED MVI Edge Server Human Human Bag PC
23. IBM Cognitive Applications / © 2021 IBM Corporation 22 Node-RED 作成過程の様⼦
24. IBM Cognitive Applications / © 2021 IBM Corporation 23 動画デモ 1. 人がいない場合 2. 服装OK 3. 服装NG
25. IBM Cognitive Applications / © 2021 IBM Corporation 24 ⼈物がいない場合、OKが返る
26. IBM Cognitive Applications / © 2021 IBM Corporation 25 ⼈物の服装に違反なければ、OKが返る
27. IBM Cognitive Applications / © 2021 IBM Corporation 26 ⼈物の服装に違反なければ、NGが返り、通知、メール送信、警報鳴らす
28. IBM Cognitive Applications / © 2021 IBM Corporation 27 まとめ • IBM Maximo Visual Inspection は GUIでユーザー部門の方が扱える画像・映像向けAI開発ツール • 複雑な画像判定は全てAIにやらせるより、物体検知+判定ルールがおすすめ • 学習データ小 • ルール変更に対するコスト小 • Node-REDはユーザー部門の方でも扱える判定ルール作成環境 • ルール可視化されてわかりやすい • GUIで簡単操作 • 外部機器（カメラ、IoT機器、など)との連携機能など豊富 • 本日のサンプルコードは https://github.com/IBM/node-red-contrib-ibm-mvi
30. IBM Cognitive Applications / © 2021 IBM Corporation 29 ⼊⼒データとして対応している Image/Video 形式について データ・フォーマット サイズ 画像 • JPEG • PNG • DICOM 24GB (同時アップ ロード時) 動画 • GUI • Ogg Vorbis (.ogg) • VP8 or VP9 (.webm) • H.264 encoded videos with MP4 format (.mp4) • APIのみで利⽤可能 • Matroska (.mkv) • Audio Video Interleave (.avi) • Moving Picture Experts Group (.mpg or .mpeg2) • 未対応 • Videos that are encoded with the H.265 codec. 学習タイプ モデル サイズ(pixels) 画像分類 GoogLeNet 224 x 224 物体検出 Faster R-CNN 1000 x 600 tiny YOLO V2 416 x 416 YOLO V3 608 x 608 SSD 512 x 512 セグメンテーション Detectron 1333 x 800 動作検出 Structured segment network (SSN) 224 x 224 • 利⽤可能な画像/動画形式 • 利⽤可能な最⼤画像サイズ(モデルごと) https://www.ibm.com/docs/ja/maximo- vi/8.1.0?topic=planning
31. IBM Cognitive Applications / © 2021 IBM Corporation 30 利⽤可能なモデルについて ※1 https://www.ibm.com/docs/ja/maximo-vi/8.1.0?topic=overview-models-supported-functions 学習タイプごとに以下のモデルをご利⽤可能(※1) であり、それぞれのモデルで使⽤されているフレームワークが異なります 学習タイプ モデル 使⽤フレームワーク TensorRT 対応※2 CoreML 対応※2 画像分類 GoogLeNet IBM Caffe No Yes 物体検出 Faster R-CNN Yes No tiny YOLO V2 No Yes YOLO V3 Tensorflow No Yes SSD TesorRT (Caffe) Yes No セグメンテーション Detectron Caffe 2 No No 動作検出 Structured segment network (SSN) - No No • ご利⽤可能なモデル⼀覧 • カスタムモデルで使⽤可能なフレームワーク 学習タイプ バージョン Python 2.7 Support Python 3.6 Support Keras 2.3.1 Yes Yes Tensorflow 2.1.0 No Yes Pytorch 1.3.1 Yes Yes ※2 作成済みモデルのExport時に利⽤可能 https://www.ibm.com/docs/ja/maximo-vi/8.1.0?topic=planning