Node-RED Flow 大喜利 in Osaka

2023/3/9実施の「Node-RED Flow 大喜利 in Osaka」お題資料

Transcript

1. 2023/03/09
2. 要件 • connpassお題： 「グルメな食べ物を何らかの画像処理していればクリアなので」 • iPhoneで写真とったら食べ物/料理が含まれてるか認識 • 認識結果をしゃべる（大阪弁）（前日に古城さんにむちゃぶりされた） • 大喜利なのでNode-REDで開発（重要）
3. 道具 • Node-RED • node-red-dashboard： iPhoneでアクセスしてアプリっぽく • ui-audioノードで音ならせる • node-red-node-ui-webcam: ダッシュボードからWebCam使う • Google Cloud • Vision API: トレーニング済みMLで画像を分類 • Text to Speech API: しゃべる
4. 仕様（後付け） • 写真とる • ダッシュボードにアクセス • 「写真撮ってや～」としゃべる • WebCamで写真とる • 認識 • jpeg→base64 • パラメータ作成してPOST（識別データを最大10個） • 識別データを配列に（英単語で返す） • しゃべる • Cuisine/Foodが含まれてたら「料理ちゃうん」なかったら「ふくまれてへん」 • パラメータ作成して（あらかじめWebで試せる）POST • 結果を鳴らす(base64→Bufferしてui-audioで）
5. Google Cloud APIｓはUIでパラメータをためせる ここで聞いてパラメータ変更 JSONをコピペしてmustacheで文字列入れる
6. フロー全体