Slide 1
Slide 1 text
AI x IoT縛りの勉強会! AIoTLT
Azureの画像認識とIoTでつなげてみる
ワンフットシーバス 田中正吾
Slide 2
Slide 2 text
私の話はスライドを後ほど共有します。
話す内容に注力いただいて大丈夫です！
Slide 3
Slide 3 text
田中正吾（たなかせいご）
屋号：ワンフットシーバス
2004年よりフリーランス。以後、FLASH制作を
中心にインタラクティブコンテンツを主に行い
現在に至る。
最近ではWEBフロントエンドをベースにしなが
らも、情報とインターフェースが合わさるアプ
ローチという視点でIoTやMixed Realityといっ
た技術も取り入れながら活動しています。
あとウォンバットが好き。
Slide 4
Slide 4 text
ウォンバットが好きなんです
これは五月山動物園のフク（♂）
Slide 5
Slide 5 text
どれくらい好きかというと、いろいろあるが
tumblrで2011/7くらいから毎日収集してる
http://wombat10.tumblr.com
Slide 6
Slide 6 text
ということで悩みを聞いてほしい
Slide 7
Slide 7 text
世の画像認識技術でウォンバット認識しない問題
たとえばAzure Computer Vison。ほかのメジャー動物の精度はいいのに。
Slide 8
Slide 8 text
ほら bear 熊 とか出てしまう
"text": "a large brown bear standing in a cage"
Slide 9
Slide 9 text
わかります、しょうがないところもある
データはメジャーな動物から集めてるはず
Slide 10
Slide 10 text
ならば自分でつくろう
Slide 11
Slide 11 text
Azure Cusom Visionは自分で画像認識が作れる
https://azure.microsoft.com/ja-jp/services/cognitive-services/custom-vision-service/
Slide 12
Slide 12 text
プロジェクト作成
Slide 13
Slide 13 text
画像登録をしてタグ付けをして行く仕組み
今回は100枚で頑張りました
さっきのtumblrだったり、自前のウォンバット写真だったり、間違えやすい他の動物も数種類5枚ずつ
Slide 14
Slide 14 text
さっきの五月山動物園のフク♂は
こんな感じでタグ付けしました
Slide 15
Slide 15 text
トレーニングボタンを押すだけで
簡単に学習が作れる
Slide 16
Slide 16 text
タグの前半は英語でかっこよくつけてた
Slide 17
Slide 17 text
100枚タグ付けで途中から辛くなって
後半は日本語も使ってみたら使えた！
小熊など間違えやすい動物やウォンバットの細かな分類も。しいていえばヒメウォンバットが好き。
Slide 18
Slide 18 text
外部画像を予測する Prediction API もある
外部画像URLと画像ファイルストリームでの予測ができる
Slide 19
Slide 19 text
Node-REDでAPIつないで画像判定させます
さくらのクラウドに設置したNode-REDで連携させてます
Slide 20
Slide 20 text
前半は画像URLを与えてAPIに伺いに行きます
あとはAPI用のURL先と、Predictio-Keyは先ほどのAPI情報にあるキーを指定
Slide 21
Slide 21 text
画像URL、例えばwombat01はウォンバット（私が撮影）
other01は小熊の画像（ネットの画像）
Slide 22
Slide 22 text
判定後、タグ wombat の一致度をとってくる
0.6(60%)以上はウォンバットで判定できる
Slide 23
Slide 23 text
最後にウォンバットOK/NGで
M5Stackに状況を伝達するIoTします
Slide 24
Slide 24 text
デモしてみます！
OKなら背景具ブルーで、NGならレッドに変化。あと、ウォンバットレベル（WLv）が出ます。
Slide 25
Slide 25 text
ちゃんとウォンバット画像を学習させれば
しっかり判定できることがわかった
うまく使えば日々のウォンバット画像探しに田中ウォンバットEyeに＋αして手伝いできるかも
Slide 26
Slide 26 text
Azure Custom Visionはとても使いやすく
学習の設計に注力できて楽しい！
Slide 27
Slide 27 text
今回はIoTに結果を反応させた出力だが
IoTの入力の判定にも使えそう
Slide 28
Slide 28 text
実際、Raspberry PiのNode-REDで
カメラの入力を指定したら繋げられそう
いずれチャレンジしてみたい！
Slide 29
Slide 29 text
カメラ入力にカスタム画像予測を加えると
いずれウォンバット画像カメラができそうな未来
カメラ自体にはそのような機能はないのにAIによってカメラの持つ機能が変えられるスゴさ！
Slide 30
Slide 30 text
AIとIoTで現実を認識＆センシングする方法を
いろいろと試していきたい！
Slide 31
Slide 31 text
ご清聴いただきまして
ありがとうございました！