IBM Visual Insights & IBM Visual Inspector を利用した物体検出 / IBM Visual Inspector - How to detect object -

Copyright 2020 IGUAZU Corporation IBM Visual Insights & IBM Visual
Inspector を利用した物体検出 2020年 6月株式会社イグアステクニカル推進部

Copyright 2020 IGUAZU Corporation 1 お断り特記事項本資料の記載内容は、正式なイグアスおよび日本IBMのテストやレビューを受けておりません。内容について、できる限り正確を期すよう努めてはおりますが、いかなる明示または暗黙の保証も責任も負いかねます。
本資料の情報は、使用先の責任において使用されるべきものであることを、あらかじめご了承ください。掲載情報は不定期に変更されることもあります。他のメディア等に無断で転載する事はご遠慮ください。当資料をコピー等で複製することは、執筆者の承諾なしではできません。また、当資料に記載された製品名または会社名はそれぞれの各社の商標または登録商標です。

Copyright 2020 IGUAZU Corporation 2 Agenda 1. IBM Visual Insights
/ IBM Visual Inspector とは 2. IBM Visual Inspector の使用方法 ① IBM Visual Insights でのモデル作成 ② IBM Visual Inspector での推論（手動キャプチャ） ③ IBM Visual Inspector での推論（自動キャプチャ）

Copyright 2020 IGUAZU Corporation 4 1. IBM Visual Insights /
IBM Visual Inspector とは ① IBM Visual Insights : 画像認識に特化したAI開発支援ツール特徴 • GUI操作のみで、ノンプログラミングで画像分類や物体検出のモデルが作成可能 • iOSのCoreMLやNVidia TensorRT形式のモデルが作成可能（一部条件あり） ② IBM Visual Inspector : Apple iOSのアプリ。IBM Visual Insights で作成したモデルを使用し、画像認識を行う IBM Visual Insights IBM Visual Inspector CoreMLモデル CoreMLモデルモデル取り込み IBM Visual Insights モデル作成 (学習) 推論 IBM Visual Insights と IBM Visual Inspector の連携イメージ

Copyright 2020 IGUAZU Corporation 6 2. IBM Visual IBM Visual
Inspector の使用方法 IBM Visual Insights IBM Visual Inspector CoreMLモデル CoreMLモデルモデル取り込み IBM Visual Insights モデル作成 (学習) 推論 ※IBM Visual Insights と IBM Visual Inspector の連携イメージ ① IBM Visual Insights でのモデル作成 IBM Visual Inspectorで推論に使用するモデルを作成します。(下記青枠部分）今回は、白色のクリップの中に緑色のクリップが入っているかを検知するサンプルとします。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成大まかな手順は以下の通りになります。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成手順１：IBM Visual Insightsにログインし、「Data sets」をクリックします。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成手順2：「Create new data set」をクリックします。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成手順３：下記のような画面がポップアップされるので、「Data set name」に名称を入力し、「Create」をクリックします。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成手順４：先の手順で入力した名前のData Setが作成されるので、クリックします。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成手順５：ファイラーからアップロードしたいファイルを選択し、指定した領域にドラッグ＆ドロップします。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成手順６：確認画面が現れるので、「Add files」をクリックします。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成手順７：画像がアップロードされるのを確認します。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成手順８：左側のペインから、「Objects」を展開し、「Add Object」をクリックします。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成手順９：検出したいものを入力（ここでは、「white_clip」）を入力し、「Add」をクリックします。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成手順１０：前の手順で指定したものができているのを確認します。以下同様に、検出したいものを繰り返します。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成手順１１：検出したいものの定義（ここでは「white_clip」と「green_clip」）できたら、「OK」をクリックします。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成手順１２：「Select」をクリックし、すべての画像にチェックをつけ、Label objects」をクリックします。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成手順１３：ラベル付け画面が出るので、右から検出させたい項目を選択し、「BOX」をクリック、その項目の写っている範囲を指定します。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成手順１４：同様に、写っているもの領域を指定していきます。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成手順１５：1枚の画像ですべての指定が終わったら、左のリストから違う画像を選択し、同様に全画像に対して、領域の指定をしていきます。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成手順１６：領域の指定がすべて終わったら、画面左上の戻るボタンをクリックします。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成手順１７：元の画像一覧画面に戻るので、「Train model」をクリックします。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成手順１８：「Object detection」を選択、「Tiny YOLO v2」を選択、「Enable Core ML」のオプションにチェックをつけ、「Train Model」をクリックします。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成手順１９：「Object detection」を選択、「Tiny YOLO v2」を選択、「Enable Core ML」のオプションにチェックをつけ、「Train Model」をクリックします。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成手順１８：学習が開始されます。進捗バーで進捗度合いが確認できます。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成手順１９：学習が終わったら、「Model details」をクリックします。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成手順２０：できたモデルの精度等が確認できます。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成手順２１：Visual Inspectorから参照できるように、プロジェクトを作成します。「Projects」をクリックし、「Create new project」をクリックします。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成手順２２：ポップアップ画面が出てくるので、プロジェクト名を入力（ここではclipとします）し、「Create」をクリックします。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成手順２３：プロジェクトが作られるので、その行をクリックします。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成手順２３：「Add assets to this projct」をクリックします。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成手順２４：ポップアップ画面が現れるので、Asset typeに「Data set」、Data set to includeに最初に作成したデータセット（ここではclip）を選択し、「Add」をクリックします。 ※ここでしていしたDeta setにVisual Inspectorでキャプチャされた写真がアップロードされます。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成手順２５：Data setが登録されるのを確認し、再度「Add assets to this projct」をクリックします。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成手順２６：ポップアップ画面が現れるので、Asset typeに「Model」、Model to includeに学習で作成されたモデル（ここではclip_model）を選択し、「Add」をクリックします。 ※ここでしていしたモデルを使用してVisual Inspectorで推論が行われます。

Inspector の使用方法画像アップロードラベリング学習 (モデル作成） ① IBM Visual Insights でのモデル作成手順２７：Modelが登録されるのを確認します。以上で、Visual Insights側の作業は完了です。

Inspector の使用方法 ① IBM Visual Inspector での推論（手動キャプチャ）手順１：IBM Visual Inspectorを起動します。初回起動時は、使用許諾の画面が出るので、「Agree」をクリックします。

Inspector の使用方法 ① IBM Visual Inspector での推論（手動キャプチャ）手順２：「I already have an account」をクリックします。

Inspector の使用方法 ① IBM Visual Inspector での推論（手動キャプチャ）手順３：「Device Name」と「Location」を入力し、「Next」をクリックします。

Inspector の使用方法 ① IBM Visual Inspector での推論（手動キャプチャ）手順４：「Handheld Mode」をONにし、 IBM Visual Insigts Serverの情報を入力、「Save」をクリックします。 ※ Visual Insights ServerのBase URLは、「http://<IPアドレス>/visual-insights/api」となります。

Inspector の使用方法 ① IBM Visual Inspector での推論（手動キャプチャ）手順５：推論のインスタンスを作成するため、「＋」をクリックします。

Inspector の使用方法 ① IBM Visual Inspector での推論（手動キャプチャ）手順６：名称を入力し、Projectの「Select」をクリックします。

Inspector の使用方法 ① IBM Visual Inspector での推論（手動キャプチャ）手順７：Visual Insightsで作成したProject がリストに出てくる（ここではclip）ので、それをクリックします。

Inspector の使用方法 ① IBM Visual Inspector での推論（手動キャプチャ）手順８：「Model」をクリックします。

Inspector の使用方法 ① IBM Visual Inspector での推論（手動キャプチャ）手順９：Visual Insightsで作成したモデル（ここではclip_model）をクリックします。

Inspector の使用方法 ① IBM Visual Inspector での推論（手動キャプチャ）手順１０：各項目を入力後、「＜Model」をクリックします。 ※入力した項目を元に、成功か失敗かを判断されます。・Ignore Results Below ここで指定した信頼度のものは、物体検知物の対象外とする・Expected Count 想定される物体検知数。ここで指定した個数以外の物体検知された場合は、失敗となる・Threshold/Notify When 信頼度がThreshholdを超えた場合、または、下回った場合は失敗となる。ここでは、GREEN CLIPに1個でも入っていたら失敗扱いにしたいので、右図のように設定します。

Inspector の使用方法 ① IBM Visual Inspector での推論（手動キャプチャ）手順１１：「＜Back」をクリックします。

Inspector の使用方法 ① IBM Visual Inspector での推論（手動キャプチャ）手順１２：「Data Set」をクリックします。

Inspector の使用方法 ① IBM Visual Inspector での推論（手動キャプチャ）手順１３：Visual Insigtsで作成したデータセット（ここではClip)をクリックします。

Inspector の使用方法 ① IBM Visual Inspector での推論（手動キャプチャ）手順１４：「Trigger String」に任意の文字列を入力し、「Done」をクリックします。

Inspector の使用方法 ① IBM Visual Inspector での推論（手動キャプチャ）手順１５：今まで入力した、インスタンスができます。

Inspector の使用方法 ① IBM Visual Inspector での推論（手動キャプチャ）手順１６：「Captutre」をクリックします。

Inspector の使用方法 ① IBM Visual Inspector での推論（手動キャプチャ）手順１９：「Inspect」をクリックし、推論モードにします。 ※「Collect」は推論せずに撮られた写真を Visual Insightsのデータセットにアップロードするのみになります。

Inspector の使用方法 ① IBM Visual Inspector での推論（手動キャプチャ）手順２０：「カメラ」マークをクリックします。写真が撮られ、推論結果が出ます。「＜」をクリックすると、撮影画面に戻ります。

Inspector の使用方法 ① IBM Visual Inspector での推論（手動キャプチャ）補足：推論結果について手順１０で、緑のクリップがあった場合に失敗扱いの設定をしたため、下記図のように緑のクリップがあった場合は、失敗（写真の右下に赤の×の表示）になり、無い場合は、成功（緑のチェックマークの表示）になります。緑のクリップがあるため、失敗表示緑のクリップがないため、成功表示

Inspector の使用方法 ③ IBM Visual Inspector での推論(自動キャプチャ） MQTTを使用することにより、Visual Inspectorで撮影（カメラ）ボタンを手動で押さずに自動キャプチャが可能になります。 MQTT Broker MQTT Client Visual Inspector ①撮影命令を送信 ②撮影命令を取得 ③撮影＆推論 ③推論結果を送信 ④推論結果を取得連携イメージ MQTT Explorer Python(paho-mqtt) Eclipse Mosquitto

Inspector の使用方法 ③ IBM Visual Inspector での推論(自動キャプチャ） (1) MQTT Broker の準備 MQTT Brokerの実装はいくつかありますが、ここでは「Eclipse Mosquitto」を使用します。手順１：Ubuntu 18.04 を導入します。手順２：以下のコマンドを実行し、Mosquittoを導入します。 $ sudo apt-add-repository -y ppa:mosquitto-dev/mosquitto-ppa $ sudo apt-get update $ sudo apt-get -y install mosquitto 手順３：ユーザーを作成するため、「/etc/mosquito/mqttpw.txt」というファイルを以下の形式で作成します。 USERID：PASSWORD 手順４：以下のコマンドを実行し、パスワードを暗号化します。 $ mosquitto_passwd -U /etc/mosquitto/mqttpw.txt 手順５：「mqttpw.txt」を読み込ませるために、「/etc/mosquito/conf.d/password.conf」というファイルを以下の内容で作成します。 allow_anonymous false password_file /etc/mosquitto/mqttpw.txt

Inspector の使用方法 ③ IBM Visual Inspector での推論(自動キャプチャ） (1) MQTT Broker の準備（前頁からの続き）手順６：以下のコマンドを実行し、設定を反映させます。 $ sudo service mosquitto stop $ sudo service mosquitto start

Inspector の使用方法 ③ IBM Visual Inspector での推論(自動キャプチャ） (2) IBM Visual Inspector の準備手順１：画面左上の歯車をクリックします。

Inspector の使用方法 ③ IBM Visual Inspector での推論(自動キャプチャ） (2) IBM Visual Inspector の準備手順２：「Global Settings」の画面が出るので、「Handheld Mode」をオフにします。

Inspector の使用方法 ③ IBM Visual Inspector での推論(自動キャプチャ） (2) IBM Visual Inspector の準備手順３：「MQTT BROKER」の「Server」をクリックします。 ※MQTT BROKERの画面が出てくるまで、「Global Settings」の画面をスクロールしてください。

Inspector の使用方法 ③ IBM Visual Inspector での推論(自動キャプチャ） (2) IBM Visual Inspector の準備手順４：「Mosquitto」をクリックします。

Inspector の使用方法 ③ IBM Visual Inspector での推論(自動キャプチャ） (2) IBM Visual Inspector の準備手順５：以下の項目を入力し、「Save」をクリックします。 Host: MQTTブローカーのIPアドレス Username: MQTTブローカーのユーザー名 Password: 上記ユーザー名のパスワード

Inspector の使用方法 ③ IBM Visual Inspector での推論(自動キャプチャ） (2) IBM Visual Inspector の準備手順６：画面左上のカメラアイコンをクリックします。

Inspector の使用方法 ③ IBM Visual Inspector での推論(自動キャプチャ） (2) IBM Visual Inspector の準備手順６：画面右上の記号が接続状態になっていることを確認し、「Inspect」をクリック、「Start Auto-Capture」をクリックします。接続状態非接続状態

Inspector の使用方法 ③ IBM Visual Inspector での推論(自動キャプチャ） (2) IBM Visual Inspector の準備手順７：しばらくすると、ロック画面状態になります。

Inspector の使用方法 ③ IBM Visual Inspector での推論(自動キャプチャ） (3)MQTT Explorer を使用したテスト手順１：以下サイトから「MQTT Explorer」をダウンロードし、インストールします。 http://mqtt-explorer.com 手順２：「MQTT Explorer」を起動します。手順３：「+ Connections」をクリックします。

Inspector の使用方法 ③ IBM Visual Inspector での推論(自動キャプチャ） (3)MQTT Explorer を使用したテスト手順４：以下の項目を入力し、「SAVE」「CONNECT」の順にクリックします。 Name: 任意の名称 Host: MQTTブローカーのIPアドレス Username： MQTTブローカーのユーザー名 Password: 上記ユーザー名のパスワード

Inspector の使用方法 ③ IBM Visual Inspector での推論(自動キャプチャ） (3)MQTT Explorer を使用したテスト手順５：画面右側の中央にある「Publish」欄に以下の内容を記入し、「PUBLISH」ボタンをクリックします。 Topic: ibmvi/<location>/<device> ※<location>、<device>には、Visual Inspectorで指定したものを入力データ欄: { “date”: “<YYYYMMDDhhmmss>” “reference”: “<任意の文字列>” ”trigger": "<Trigger String>“ ※dateの値は実際の時刻とあっている必要はなし triggerの値は、Visual Inspectorで指定してものを入力

Copyright 2020 IGUAZU Corporation 2. IBM Visual IBM Visual Inspector
の使用方法 ③ IBM Visual Inspector での推論(自動キャプチャ） (3)MQTT Explorer を使用したテスト手順６：推論の結果が失敗(今回の場合は緑のクリップがあった場合）の時のみ「ibmvi/threshold/<location>/<device>」に推論結果が入ります。 ※推論の結果が成功の場合は、何も起きませんので注意ください。

Copyright 2020 IGUAZU Corporation 2. IBM Visual IBM Visual Inspector
の使用方法 ③ IBM Visual Inspector での推論(自動キャプチャ） (4)Python phao-mqttモジュールを使用したテスト手順１）以下の2ファイルを用意します。(Github https://github.com/ssisc/vi-mqtt に掲載）・vi_publish.py: パブリッシュ用、10秒に1回写真撮影の命令をパブリッシュ・vi_subscribe.py: サブスクライブ用、推論結果が戻ってきたときに表示手順２）以下のコマンドを実行し、MQTT Brokerに対し推論結果のサブスクライブします。 $ python subscribe.py 手順３）以下のコマンドを実行し、MQTT Brokerに対し写真撮影＆推論指令をパブリッシュします $ python publish.py 10秒おきに写真が撮られ、緑のクリップが検出された場合は、右図のように画面表示されます。

IBM Visual Insights & IBM Visual Inspector を利用し...

IBM Visual Insights & IBM Visual Inspector を利用した物体検出 / IBM Visual Inspector - How to detect object -

Other Decks in Technology

Featured

Transcript