Tweet
Tweet

Slide 1

Slide 1 text

2023/03/09

Slide 2

Slide 2 text

要件 • connpassお題： 「グルメな食べ物を何らかの画像処理していればクリアなので」 • iPhoneで写真とったら食べ物/料理が含まれてるか認識 • 認識結果をしゃべる（大阪弁）（前日に古城さんにむちゃぶりされた） • 大喜利なのでNode-REDで開発（重要）

Slide 3

Slide 3 text

道具 • Node-RED • node-red-dashboard： iPhoneでアクセスしてアプリっぽく • ui-audioノードで音ならせる • node-red-node-ui-webcam: ダッシュボードからWebCam使う • Google Cloud • Vision API: トレーニング済みMLで画像を分類 • Text to Speech API: しゃべる

Slide 4

Slide 4 text

仕様（後付け） • 写真とる • ダッシュボードにアクセス • 「写真撮ってや～」としゃべる • WebCamで写真とる • 認識 • jpeg→base64 • パラメータ作成してPOST（識別データを最大10個） • 識別データを配列に（英単語で返す） • しゃべる • Cuisine/Foodが含まれてたら「料理ちゃうん」なかったら「ふくまれてへん」 • パラメータ作成して（あらかじめWebで試せる）POST • 結果を鳴らす(base64→Bufferしてui-audioで）

Slide 5

Slide 5 text

Google Cloud APIｓはUIでパラメータをためせる ここで聞いてパラメータ変更 JSONをコピペしてmustacheで文字列入れる

Slide 6

Slide 6 text

フロー全体