IoT×人工知能による画像認識技術勉強会

Slide 1

Slide 1 text

No content

Slide 2

Slide 2 text

https://bit.ly/2NjVgTi 本日の資料

Slide 3

Slide 3 text

自己紹介日本総合ビジネス専門学校 NIHON-CHUO Institution 2017.4- 合同会社4D Pocket 4D Pocket LLC. 2017.4- 石郷祐介 ISHIGO Yusuke Programmer

Slide 4

Slide 4 text

周辺の障害物を計測する装置靴についたセンサで周辺障害物を認識する装置（株式会社アップアローズ）

Slide 5

Slide 5 text

周辺の障害物を計測する装置靴についたセンサで周辺障害物を認識する装置（株式会社アップアローズ）

Slide 6

Slide 6 text

周辺の障害物を計測する装置靴についたセンサで周辺障害物を認識する装置（株式会社アップアローズ）

Slide 7

Slide 7 text

GPSで現在位置を取得し、指定した位置まで自動的に戻ってくる浮き輪 MADE IN FICTION

Slide 8

Slide 8 text

自己紹介ロボットアームのケーブル状態を監視するシステム（岐阜車体工業株式会社）温湿度センササーモカメラマイコン確認用ディスプレイカラーカメラ

Slide 9

Slide 9 text

本日の流れ１. 画像認識について２. 人工知能API「IBM Watson」で画像認識する　・写真に写っている物体を認識する　・独自画像を学習させて、写真に写っている物体を判別する３.ワンボードマイコン（ESP32）のカメラを使って画像認識する　・ESP32について　・ESP32の環境構築　・ESP32をネットワークに接続する　・「IBM Watson」に接続する

Slide 10

Slide 10 text

画像認識について画像データ（ピクセルの並び）の特徴点と、事前に用意したサンプル画像データの特徴点とを比較する技術（「意味」を読み取っているわけではない）元画像特徴点画像に写っている物体が何であるかを判別する技術＝

Slide 11

Slide 11 text

応用例①（自動判別装置）きゅうりの等級を自動判別する装置 https://geek-out.jp/column/entry/2017/11/23/110000

Slide 12

Slide 12 text

応用例②（ARアプリ）特定の画像を起点にして、任意の画像やアニメーションを再生する

Slide 13

Slide 13 text

画像認識を実現するための手段１．「OpenCV」等の画像処理ライブラリを使用する２．「TensorFlow」「scikit-learn」等の機械学習系ライブラリを使用する３．「IBM Watson」等の人工知能プラットフォームを使う

Slide 14

Slide 14 text

１．画像処理ライブラリを使用する・2値化、反転等の画像処理・文字認識（OCR）や物体検出　（独自画像を読み込ませることで、顔以外の検出も可能） OpenCV

Slide 15

Slide 15 text

２．機械学習ライブラリを使用する scikit-learn Pythonの機械学習のアルゴリズムをまとめたパッケージ（SVM、ランダムフォレスト、k近傍法、ロジスティクス回帰等） TensorFlow Googleが開発しているオープンソースの機械学習ライブラリディープラーニングに対応している Keras Pythonのニューラルネットワークライブラリ TensorFlowをバックエンドとして、同様の機能を完結な書き方で実現できる

Slide 16

Slide 16 text

２．機械学習ライブラリを使用する Movidius Neural Compute Stick ディープラーニングに特化した外部演算装置。クラウドに頼らず、ローカル環境で高度な画像認識等が可能。 https://www.switch-science.com/catalog/3501/

Slide 17

Slide 17 text

３．人工知能プラットフォームを活用する IBM Cloud Watson

Slide 18

Slide 18 text

写真に写っている物体を認識する ① https://myibm.ibm.com/dashboard/ IBMダッシュボード

Slide 19

Slide 19 text

写真に写っている物体を認識する ②

Slide 20

Slide 20 text

写真に写っている物体を認識する ③

Slide 21

Slide 21 text

写真に写っている物体を認識する ④

Slide 22

Slide 22 text

写真に写っている物体を認識する ⑤

Slide 23

Slide 23 text

写真に写っている物体を認識する ⑥

Slide 24

Slide 24 text

あい旅っと写真の風景に近い国内の風景を探し出し、マップを表示するアプリ

Slide 25

Slide 25 text

独自画像から画像判別する ①

Slide 26

Slide 26 text

独自画像から画像判別する ②

Slide 27

Slide 27 text

独自画像から画像判別する ③

Slide 28

Slide 28 text

独自画像から画像判別する ④

Slide 29

Slide 29 text

独自画像から画像判別する ⑤

Slide 30

Slide 30 text

独自画像から画像判別する ⑥

Slide 31

Slide 31 text

独自画像から画像判別する ⑦

Slide 32

Slide 32 text

独自画像から画像判別する ⑧

Slide 33

Slide 33 text

独自画像から画像判別する ⑨

Slide 34

Slide 34 text

独自画像から画像判別する ⑩ https://bit.ly/2wzeRYL 教師データ（犬の画像）ハスキー https://bit.ly/2PatMQB ゴールデンレトリバー

Slide 35

Slide 35 text

独自画像から画像判別する ⑪

Slide 36

Slide 36 text

独自画像から画像判別する ⑫

Slide 37

Slide 37 text

独自画像から画像判別する ⑬

Slide 38

Slide 38 text

Watsonに渡す教師データの注意点・ひとつの.zipファイルは、最大10,000個のイメージまたは100MB以内とする・ひとつの.zipファイルにつき、最小10個のイメージが必要　・処理時間と正確度のバランスとしては、150〜200個のイメージが最良　・イメージを増やすメリットは、5,000個前後で頭打ちとなる・撮影に使用しているカメラ等は、なるべく合わせたほうがいい　（スマホと一眼レフの写真を混ぜると、うまく学習できない）・対象物は、イメージの1/3以上写っているようにする・否定的、肯定的なイメージは、同じ分量用意したほうがいい

Slide 39

Slide 39 text

よくない学習の例 Watsonが同一のモノと認識できない・りんごが単体ではない  ・りんご全体が写ってない

Slide 40

Slide 40 text

IoT×画像認識デバイスボタンを押すとカメラ撮影して、Watsonに画像をアップロードして、写っているものをディスプレイに表示する

Slide 41

Slide 41 text

ESP32 独自プログラムをインストールできる汎用マイコン（コンピュータ） Arduino互換プロトタイピングによく使用される Arduino（オープンソースの汎用マイコン）と同じ環境で開発できる。ネット上の資料が流用可能。高スペック CPUがデュアルコア、メモリが520KB （Arduino UNOは2KB）。 BluetoothとWiﬁが標準で搭載されている。低価格 1,500円程度で購入できる。 http://akizukidenshi.com/catalog/g/gM-11819/

Slide 42

Slide 42 text

Raspberry Piとの比較リアルタイム画像認識の場合は、Raspberry Piを使う動画の容量だとESP32のメモリ上に展開できない ESP32は、Raspberry Piの約1/4の価格 ESP32は、ブレッドボード等を含めると2,500円程度。 Raspberry Pi3は、ケース、アダプタ等を含めると10,000円程度。

Slide 43

Slide 43 text

ESP32の環境構築（Mac）１．ターミナルを起動する２．下記のリンク先にあるコマンドを実行する　　　https://goo.gl/S7qRhD ３．ドライバをインストールする　　https://goo.gl/jiEM3q

Slide 44

Slide 44 text

Arduino IDE（開発環境）の使い方 ① ① 「ESP32 Dev Module」に設定する ② 適切なものに設定する ① ②

Slide 45

Slide 45 text

Arduino IDE（開発環境）の使い方 ② ③ マイコンにプログラムを書き込む

Slide 46

Slide 46 text

パーツリスト ESP32 http://akizukidenshi.com/catalog/g/gM-11819/ Grove - シリアルカメラキット http://akizukidenshi.com/catalog/g/gM-09161/ シリアルOLED液晶ディスプレイモジュール 128×32 https://www.amazon.co.jp/dp/B01M8JV310 USBケーブル Aオス - マイクロBオス http://akizukidenshi.com/catalog/g/gC-07607/ タクトスイッチ 12mm http://akizukidenshi.com/catalog/g/gP-09827/ ブレッドボード https://www.switch-science.com/catalog/313/ ジャンパワイヤ（オス〜オス） https://www.switch-science.com/catalog/57/

Slide 47

Slide 47 text

Microsoft Azure Computer Vision その他の人工知能プラットフォーム ① https://azure.microsoft.com/ja-jp/services/cognitive-services/computer-vision/

Slide 48

Slide 48 text

その他の人工知能プラットフォーム ② Amazon Rekognition https://aws.amazon.com/jp/rekognition/

Slide 49

Slide 49 text

その他の人工知能プラットフォーム ③ Google Cloud Vision https://cloud.google.com/vision/?hl=ja

Slide 50

Slide 50 text

No content