Share
Embed
IBM Watson Visual Recognition で画像認識アプリを作ろう! / Watson Visual Recognition with Node-RED 2019
2019/11/16(土) 13:00 〜 16:30 「使おうWatson at 香川県」
「IBM Watson Visual Recognition で画像認識アプリを作ろう︕」
の資料です。
Kyoko Nishito
November 16, 2019
Transcript
95 slides
-
6 • 画像認識「⼀般種別」(General Tagging): • 事前学習済みの分類器の出⼒を返します • 画像認識「カスタム」: • 識別を⾏いたいクラスのイメージを事前学習させ、その分類器
の出⼒を返します。 Visual Recognition API ビジュアル リコグニションAPI (画像認識API) -
必要なもの 8 • IBM CloudのID • 取得はこちら: https://ibm.biz/BdzLJK • 認識させたいもの2種類以上
• ⾃分の顔、ボールペン、ケーブル等のその場で写真を撮って画像認識させられるものを推奨します。 • カメラ付きのスマートフォン • (必要な場合)スマートフォンからPCへ写真をコピーするための ケーブル[ない場合はお貸しします] -
開発⼿順 9 1. Node-REDサービス作成 2. スマートフォンで写真撮影、 PCへ写真をコピー、ZIPファイル作成 3. Visual Recognitionサービス作成
4. Node-RED Visual Recognitionサービス接続 5. Watson Studioサービス・プロジェクト作成 6. Watson StudioのProjectとVisual Recognitionサービスの関連付け 7. Visual Recognitionでカスタム画像のトレーニング 8. Node-REDでアプリケーション作成 -
開発⼿順 10 1. Node-REDサービス作成 2. スマートフォンで写真撮影、 PCへ写真をコピー、ZIPファイル作成 3. Visual Recognitionサービス作成
4. Node-RED Visual Recognitionサービス接続 5. Watson Studioサービス・プロジェクト作成 6. Watson StudioのProjectとVisual Recognitionサービスの関連付け 7. Visual Recognitionでカスタム画像のトレーニング 8. Node-REDでアプリケーション作成 -
1.1. IBM Cloudにログイン 11 まずは https://ibm.biz/BdzLJq にアクセスして 右上の「ログイン」から ログインしてください ハンズオン以外では
https://cloud.ibm.com/login からログイン可能です -
1.4. Cloud Foundry アプリの作成 15 アプリ名: ドメインでユニークになるよう、半⾓ 英数字で⽂字列を⼊れます。⾃分のIDや名前を⼊ れると他の⼈と重なる可能性が少ないです。⾃分 の⼊れた⽂字列がユニークでない場合は、エラー
メーッセージが表⽰されますので、修正します。 また記号はハイフン-しか使えませんので注意。 ホスト名: アプリ名と同じものが⾃動で⼊ります。 ドメイン︓ ここではデフォルトのドメインus- south.cf.appdomain.cloudをそのまま使ってみ ます。 組織の選択: デフォルトのままでよいです。 スペースの選択: デフォルトのままでよいです。 選択済みプラン: 無料のプランを使いたい場合は、 それぞれライト、Liteが選択されていることを確 認してください。 全て記⼊・確認が終わったら「作成」ボタンをクリック してください。 -
1.4. Cloud Foundry アプリの作成 16 右のようなエラーが出た場合: ライトプランではCloud Foundryアプリが1つまで しか動作できません。以前作成したことがある場合 は
ダッシュボードから停⽌しておきましょう。 Cloud Foundryアプリは停⽌しているのにこのエ ラーが出てしまう場合、Cloudantサービスを以前 作成してないでしょうか? Cloudantサービスも ライトプランでは1つしか作成できません。残念 ながらスターターキットではCloud Foundryアプ リとCloudantサービスを両⽅作るしかありませ ん。以前のCloudantサービスは削除するか、 PAYGプランにアップグレードしてください。 -
開発⼿順 18 1. Node-REDサービス作成 2. スマートフォンで写真撮影、 PCへ写真をコピー、ZIPファイル作成 3. Visual Recognitionサービス作成
4. Node-RED Visual Recognitionサービス接続 5. Watson Studioサービス・プロジェクト作成 6. Watson StudioのProjectとVisual Recognitionサービスの関連付け 7. Visual Recognitionでカスタム画像のトレーニング 8. Node-REDでアプリケーション作成 -
2.1. スマートフォンで写真撮影 19 • Watsonに学習させる写真を撮影します。 • 学習させたいもの2種類以上の写真を1種類につき最低10枚とってください 。 • iphoneの場合、横向き右側に丸ボタンの位置で写真をとると、PC移⾏後写真が横
になりませんので、⼈の顔の場合はこの⽅向を推奨します。 • 写真がPCに転送できない⽅は https://ibm.box.com/v/kagawa20191116にある • 10_YEN.zip • 100_YEN.zip の2つのファイルをダウンロードお願いします。 -
2.2. PCに写真をコピー 20 • iPhone → Macの場合はAirDropでコピーが便利です。 • Android・iPhone→Windowsの場合はusbケーブル接続でコピーでき ます。ケーブルがない場合は担当者に借りてください。
それ以外の場合: • Bluetooth転送 • メールで送付 • DropBox, Googleドライブなどネットワークストレージを利⽤する -
2.3. ZIPファイル作成 21 • 撮影した物ごとにZIPファイルを作ります。 • ZIPファイルの名前が写真を認識した時、表⽰される名前になります ので、英数字でわかりやすい名前にします。 • ¥
| * { } [ ] $ - / ' ` ". の⽂字は使⽤しないでください。 例 • ⾃分の写真︓ ⾃分の名前を英語にした名前 Taro.zip • ボールペン: Ballpen.zip • USBケーブル: USBCable.zip -
開発⼿順 22 1. Node-REDサービス作成 2. スマートフォンで写真撮影、 PCへ写真をコピー、ZIPファイル作成 3. Visual Recognitionサービス作成
4. Node-RED Visual Recognitionサービス接続 5. Watson Studioサービス・プロジェクト作成 6. Watson StudioのProjectとVisual Recognitionサービスの関連付け 7. Visual Recognitionでカスタム画像のトレーニング 8. Node-REDでアプリケーション作成 -
開発⼿順 27 1. Node-REDサービス作成 2. スマートフォンで写真撮影、 PCへ写真をコピー、ZIPファイル作成 3. Visual Recognitionサービス作成
4. Node-RED Visual Recognitionサービス接続 5. Watson Studioサービス・プロジェクト作成 6. Watson StudioのProjectとVisual Recognitionサービスの関連付け 7. Visual Recognitionでカスタム画像のトレーニング 8. Node-REDでアプリケーション作成 -
開発⼿順 31 1. Node-REDサービス作成 2. スマートフォンで写真撮影、 PCへ写真をコピー、ZIPファイル作成 3. Visual Recognitionサービス作成
4. Node-RED Visual Recognitionサービス接続 5. Watson Studioサービス・プロジェクト作成 6. Watson StudioのProjectとVisual Recognitionサービスの関連付け 7. Visual Recognitionでカスタム画像のトレーニング 8. Node-REDでアプリケーション作成 -
5.6 Projectの作成 37 1 「Create a Project」をクリックします。 2 「Create an
empty project」をクリックします。 -
5.6 Projectの作成 39 A Object Storage未作成の場合: 5A-1. Define Storage の①Select
storage serviceから「Add」をクリックします。 -
5.6 Projectの作成 40 5A-2. Cloud Object Storageの画⾯が表⽰されるので下にスクロールします。 5A-3. Liteが選択されていることを確認して「Create」をクリックします。 5A-4.
Confirm Creationのダイアログはそのまま「Confirm」をクリックします。 -
5.6 Projectの作成 41 5A-2. Cloud Object Storageの画⾯が表⽰されるので下にスクロールします。 5A-3. Liteが選択されていることを確認して「Create」をクリックします。 5A-4.
Confirm Creationのダイアログはそのまま「Confirm」をクリックします。 -
5.6 Projectの作成 42 5A-5. New Projectの画⾯になるので、Define Storage の②Refreshをクリッ クします。 5A-6.
Storageが表⽰された後、[Create]をクリックします。 -
5.6 Projectの作成 43 B. Object Storage作成済の場合 5B-1. [Create]をクリック ただしObject Storageを複数作成している場合は、使⽤したいObject
Storageを選択後に [Create]をクリック -
開発⼿順 45 1. Node-REDサービス作成 2. スマートフォンで写真撮影、 PCへ写真をコピー、ZIPファイル作成 3. Visual Recognitionサービス作成
4. Node-RED Visual Recognitionサービス接続 5. Watson Studioサービス・プロジェクト作成 6. Watson StudioのProjectとVisual Recognitionサービスの関連付け 7. Visual Recognitionでカスタム画像のトレーニング 8. Node-REDでアプリケーション作成 -
49 6.4. 「Existing Service Instance」の「Select sevice from the list」をクリックすると、作成したVisual Recognitionの
サービス名が表⽰されるので、クリックします。 作成したVisual Recognitionのサービス名がセットされたら、 「Select」をクリックします。 -
開発⼿順 51 1. Node-REDサービス作成 2. スマートフォンで写真撮影、 PCへ写真をコピー、ZIPファイル作成 3. Visual Recognitionサービス作成
4. Node-RED Visual Recognitionサービス接続 5. Watson Studioサービス・プロジェクト作成 6. Watson StudioのProjectとVisual Recognitionサービスの関連付け 7. Visual Recognitionでカスタム画像のトレーニング 8. Node-REDでアプリケーション作成 -
58 7.10. 学習⽤写真をモデルに追加 アップロードが完了すると⾃動で左側のエリアにZIPファイル名をクラス名としてイメージが追 加されます。 もし⾃動で追加さ れなかった場合 は、チェックボッ クスをクリックし てチェックしてく
ださい。 その後「Add to model」クリック してください。 -
59 7.11. トレーニング開始 以下のイメージのように - アップロードしたファイルの名前になっている - 「Train Model」ボタンが⻘⾊でクリックできる状態になっている の2点を確認したら、「Train
Model」をクリック。 尚、「Train Model」ボ タンが⻘⾊でクリックで きる状態 になっていな い場合は、写真の枚数が ⾜りない、写真の分類が 1種類しかない等が考え られますので、確認して みてください。 -
開発⼿順 61 1. Node-REDサービス作成 2. スマートフォンで写真撮影、 PCへ写真をコピー、ZIPファイル作成 3. Visual Recognitionサービス作成
4. Node-RED Visual Recognitionサービス接続 5. Watson Studioサービス・プロジェクト作成 6. Watson StudioのProjectとVisual Recognitionサービスの関連付け 7. Visual Recognitionでカスタム画像のトレーニング 8. Node-REDでアプリケーション作成 -
8.4 Node RED flow editorを開く 65 1.「Go to your Node
RED flow editor」をクリック 2.先ほど設定したユーザー名/パスワードを⼊⼒して「ログイン」をクリック -
8.6. Node-REDでアプリ作成: 画⾯表⽰の部分の作成 72 1.パレットをスクロールして、「機能」か らtemplateノードをワークスペースにド ラッグ&ドロップします。 2. 先ほど作成した/watsonvr ノードと接
続します。/watsonvrノードの右の点をド ラッグして、templateノードの左の点を クリックしてください。 -
8.6. Node-REDでアプリ作成: 画⾯表⽰の部分の作成 73 1.ワークスペースに置いたtemplateノー ドをダブルクリックして編集画⾯を開き ます。 2. 名前にトップページと⼊⼒します。 3.
http://ibm.biz/DevRdWatson から toppage.htmlを表⽰します。中⾝を全部 選択しクリップボードにコピーします(次 ページ参考)。 4. テンプレートの中⾝を削除し、3でコ ピーした内容を貼り付け後、完了をク リック -
8.6. Node-REDでアプリ作成: 画⾯表⽰の部分の作成 参考: http://ibm.biz/DevRdWatson GitHubからのコピペ⽅法 74 1. 指定のファイル名をク リック
2. [Raw] ボタンをクリック 3.表⽰された⽂字列を 全選択(CTRL+A or ⌘+A) →コピー(CTRL+C or ⌘+C) -
8.6. Node-REDでアプリ作成: 画⾯表⽰の部分の作成 75 1.パレットを上にスクロールして、「ネッ トワーク」からhttp responseノードを ワークスペースにドラッグ&ドロップしま す。 2.
先ほど作成したトップページノードと 接続します。トップページノードの右の 点をドラッグして、 http responseノー ドの左の点をクリックしてください。 -
8.6. Node-REDでアプリ作成: 画⾯表⽰の部分の作成 76 1.ワークスペースに置いたhttp response ノードをダブルクリックして編集画⾯を 開きます。 2. 名前に
http response と⼊⼒し、完了をクリックします。 これで画⾯表⽰部分の完成です︕ -
8.6. Node-REDでアプリ作成: 画⾯表⽰の部分の作成 78 では早速Webブラウザーで表⽰させて⾒ましょう︕ https://[Node-REDアプリ名].us-south.cf.appdomain.cloud/watsonvr にWebブラウ ザーでアクセスします。[Node-REDアプリ名]は15ページで設定しています。 または今開いているNode-REDエディターのURLの先頭部分の⽂字列です。 例:
https://nishito-kagawa-vr.us-south.cf.appdomain.cloud/watsonvr ⾚⽂字部分が[Node-REDアプリ名]です。⾃分のものを⼊れてください。 -
8.6. Node-REDでアプリ作成: 画⾯表⽰の部分の作成 79 表⽰は右のようになります。 スマホでも表⽰して⾒ましょう。 PCのブラウザに表⽰されたQRコードを読 み取り、スマホのブラウザーでも表⽰させ ましょう︕ 画像認識⽤の写真はスマホのカメラを使⽤
します。 ⻘いボタンはまだ動作しません。 次にボタンの中⾝であるWatsonの画像認 識部分のフローを作成します。 -
8.7. Node-REDでアプリ作成: Watsonの画像認識部分の作成 81 このフローは時間の関係で、あらかじめできたも のをコピーでして作成します。 1. http://ibm.biz/DevRdWatsonから watsonflow.jsonを表⽰します。中⾝を全部選択 しクリップボードにコピーします(コピー⽅法は
次⾴参照)。 2. Node-REDメニューから「読み込み」→「ク リップボード」をクリック 3. 「JSON形式のデータを貼り付けてください」 とかいてある枠に、3でコピーした内容を貼り付 けし、「読み込み」をクリックする -
8.7. Node-REDでアプリ作成: Watsonの画像認識部分の作成 参考: http://ibm.biz/DevRdWatson GitHubからのコピペ⽅法 82 1. 指定のファイル名をクリッ ク
2. [Raw] ボタンをクリック 3.表⽰された⽂字列を 全選択(CTRL+A or ⌘+A) →コピー(CTRL+C or ⌘+C) -
8.7. Node-REDでアプリ作成: Watsonの画像認識部分の作成 コード内 // XXにカスタムモデルのIDをセットします。 msg.params.classifier_ids = "food"; のfood部分を
コピーしたclassifier IDで置き換えます。 置き換え例︓ msg.params.classifier_ids = " DefaultCustomModel_1812345678 "; その後「完了」をクリックします。 -
8.8. Node-REDでアプリ作成: 完成!!! 89 これで⻘いボタンも機能するようになりま した。 早速動作の確認をしましょう。 1. スマホで表⽰させた画⾯をリロードしま す(iphoneならURLの右のようなマーク
をクリック)。 2. ファイルを選択をクリックします。 3.「写真を撮る」などカメラを使うメ ニューがでてきますので、それを選択し、 ⾃分の写真を撮影します。 -
6. Node-REDでアプリ作成: 応⽤編 時間が余った時、帰宅後にお試しください 92 Foodという⾷べ物の画像の事前学習済みモデルがありますので、 ぜひ試してみてください。 「8.7. Node-REDでアプリ作成: Watsonの画像認識部分の作
成」の⼿順で、foodから⾃分のclassifier IDに置き換えていま す。 これをまたfoodに戻し、デプロイしてみます。 -
補⾜: 94 ・ライトプランでアプリ作成された場合の注意点 以下の制限がありますので、ご注意ください。 - 10⽇間 開発なしでアプリを⾃動停⽌ - 30⽇間 活動なしでサービスの⾃動削除
• 本資料は2019年11⽉現在に作成された内容となります。 実際の画⾯が予告なく変更される場合がございますが、ご了承ください。