IoT×人工知能による画像認識技術勉強会

追加資料
https://github.com/Yusk1450/WatsonStudyGroup

Transcript

2. https://bit.ly/2NjVgTi 本日の資料
3. 自己紹介 日本総合ビジネス専門学校 NIHON-CHUO Institution 2017.4- 合同会社4D Pocket 4D Pocket LLC. 2017.4- 石郷 祐介 ISHIGO Yusuke Programmer
4. 周辺の障害物を計測する装置 靴についたセンサで周辺障害物を認識する装置（株式会社アップアローズ）
5. 周辺の障害物を計測する装置 靴についたセンサで周辺障害物を認識する装置（株式会社アップアローズ）
6. 周辺の障害物を計測する装置 靴についたセンサで周辺障害物を認識する装置（株式会社アップアローズ）
7. GPSで現在位置を取得し、指定した位置まで自動的に戻ってくる浮き輪 MADE IN FICTION
8. 自己紹介 ロボットアームのケーブル状態を監視するシステム（岐阜車体工業株式会社） 温湿度センサ サーモカメラ マイコン 確認用ディスプレイ カラーカメラ
9. 本日の流れ １. 画像認識について ２. 人工知能API「IBM Watson」で画像認識する 　・写真に写っている物体を認識する 　・独自画像を学習させて、写真に写っている物体を判別する ３.ワンボードマイコン（ESP32）のカメラを使って画像認識する 　・ESP32について 　・ESP32の環境構築 　・ESP32をネットワークに接続する 　・「IBM Watson」に接続する
10. 画像認識について 画像データ（ピクセルの並び）の特徴点と、事前に用意したサンプル画像 データの特徴点とを比較する技術（「意味」を読み取っているわけではない） 元画像 特徴点 画像に写っている物体が何であるかを判別する技術 ＝
11. 応用例①（自動判別装置） きゅうりの等級を自動判別する装置 https://geek-out.jp/column/entry/2017/11/23/110000
12. 応用例②（ARアプリ） 特定の画像を起点にして、任意の画像やアニメーションを再生する
13. 画像認識を実現するための手段 １．「OpenCV」等の画像処理ライブラリを使用する ２．「TensorFlow」「scikit-learn」等の機械学習系ライブラリを使用する ３．「IBM Watson」等の人工知能プラットフォームを使う
14. １．画像処理ライブラリを使用する ・2値化、反転等の画像処理 ・文字認識（OCR）や物体検出 　（独自画像を読み込ませることで、顔以外の検出も可能） OpenCV
15. ２．機械学習ライブラリを使用する scikit-learn Pythonの機械学習のアルゴリズムをまとめたパッケージ （SVM、ランダムフォレスト、k近傍法、ロジスティクス回帰等） TensorFlow Googleが開発しているオープンソースの機械学習ライブラリ ディープラーニングに対応している Keras Pythonのニューラルネットワークライブラリ TensorFlowをバックエンドとして、同様の機能を完結な書き方で実現できる
16. ２．機械学習ライブラリを使用する Movidius Neural Compute Stick ディープラーニングに特化した外部演算装置。クラウドに頼らず、ローカル 環境で高度な画像認識等が可能。 https://www.switch-science.com/catalog/3501/
17. ３．人工知能プラットフォームを活用する IBM Cloud Watson
18. 写真に写っている物体を認識する ① https://myibm.ibm.com/dashboard/ IBMダッシュボード
19. 写真に写っている物体を認識する ②
20. 写真に写っている物体を認識する ③
21. 写真に写っている物体を認識する ④
22. 写真に写っている物体を認識する ⑤
23. 写真に写っている物体を認識する ⑥
24. あい旅っと 写真の風景に近い国内の風景を探し出し、マップを表示するアプリ
25. 独自画像から画像判別する ①
26. 独自画像から画像判別する ②
27. 独自画像から画像判別する ③
28. 独自画像から画像判別する ④
29. 独自画像から画像判別する ⑤
30. 独自画像から画像判別する ⑥
31. 独自画像から画像判別する ⑦
32. 独自画像から画像判別する ⑧
33. 独自画像から画像判別する ⑨
34. 独自画像から画像判別する ⑩ https://bit.ly/2wzeRYL 教師データ（犬の画像） ハスキー https://bit.ly/2PatMQB ゴールデンレトリバー
35. 独自画像から画像判別する ⑪
36. 独自画像から画像判別する ⑫
37. 独自画像から画像判別する ⑬
38. Watsonに渡す教師データの注意点 ・ひとつの.zipファイルは、最大10,000個のイメージまたは100MB以内とする ・ひとつの.zipファイルにつき、最小10個のイメージが必要 　・処理時間と正確度のバランスとしては、150〜200個のイメージが最良 　・イメージを増やすメリットは、5,000個前後で頭打ちとなる ・撮影に使用しているカメラ等は、なるべく合わせたほうがいい 　（スマホと一眼レフの写真を混ぜると、うまく学習できない） ・対象物は、イメージの1/3以上写っているようにする ・否定的、肯定的なイメージは、同じ分量用意したほうがいい
39. よくない学習の例 Watsonが同一のモノと認識できない ・りんごが単体ではない
 ・りんご全体が写ってない
40. IoT×画像認識デバイス ボタンを押すとカメラ撮影して、Watsonに画像をアップロードして、 写っているものをディスプレイに表示する
41. ESP32 独自プログラムをインストールできる汎用マイコン（コンピュータ） Arduino互換 プロトタイピングによく使用される Arduino（オープンソースの汎用マイコン）と 同じ環境で開発できる。 ネット上の資料が流用可能。 高スペック CPUがデュアルコア、メモリが520KB （Arduino UNOは2KB）。 BluetoothとWifiが標準で搭載されている。 低価格 1,500円程度で購入できる。 http://akizukidenshi.com/catalog/g/gM-11819/
42. Raspberry Piとの比較 リアルタイム画像認識の場合は、Raspberry Piを使う 動画の容量だとESP32のメモリ上に展開できない ESP32は、Raspberry Piの約1/4の価格 ESP32は、ブレッドボード等を含めると2,500円程度。 Raspberry Pi3は、ケース、アダプタ等を含めると10,000円程度。
43. ESP32の環境構築（Mac） １．ターミナルを起動する ２．下記のリンク先にあるコマンドを実行する 　　　https://goo.gl/S7qRhD ３．ドライバをインストールする 　　https://goo.gl/jiEM3q
44. Arduino IDE（開発環境）の使い方 ① ① 「ESP32 Dev Module」に設定する ② 適切なものに設定する ① ②
45. Arduino IDE（開発環境）の使い方 ② ③ マイコンにプログラムを書き込む
46. パーツリスト ESP32 http://akizukidenshi.com/catalog/g/gM-11819/ Grove - シリアルカメラキット http://akizukidenshi.com/catalog/g/gM-09161/ シリアルOLED液晶ディスプレイモジュール 128×32 https://www.amazon.co.jp/dp/B01M8JV310 USBケーブル Aオス - マイクロBオス http://akizukidenshi.com/catalog/g/gC-07607/ タクトスイッチ 12mm http://akizukidenshi.com/catalog/g/gP-09827/ ブレッドボード https://www.switch-science.com/catalog/313/ ジャンパワイヤ（オス〜オス） https://www.switch-science.com/catalog/57/
47. Microsoft Azure Computer Vision その他の人工知能プラットフォーム ① https://azure.microsoft.com/ja-jp/services/cognitive-services/computer-vision/
48. その他の人工知能プラットフォーム ② Amazon Rekognition https://aws.amazon.com/jp/rekognition/
49. その他の人工知能プラットフォーム ③ Google Cloud Vision https://cloud.google.com/vision/?hl=ja