Scratchで音声でのロボットカー操作や 機械学習などをやってみる（仮） 2020年2月18日 (火) ビジュアルプログラミングIoTLT vol1 　　豊田 陽介 ( @youtoy )

豊田陽介（@youtoy） 自己紹介 ● 職場： 某通信会社の研究所 ● プライベートでの活動： IT系イベント主催・登壇・運営、多数参加 子ども向けの活動いろいろ（IT系以外も） ● その他： ガジェット好き ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原

コミュニティ活動関連など（2019年） ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 ▼ イベント主催・運営： 36回 　（月3回ペース） 　　主催 18回、運営 18回 ▼ 登壇・講師等： 31回（月2.5回ペース） 　　講師・ロングセッション等 16回、 LT 13回 ▼ Qiita・ブログ等の記事： 58記事（月5記事のペース） 　　Qiita 25、note 25、ブログ 8 ▼ 子ども向け活動： 51回（月4回ペース） ▼ イベント参加総数：（省略： たくさん） ▼ ガジェット購入数：（省略： たくさん） 【主催コミュニティ】 ・ビジュアルプログラミング交流会 ・ゆるめかトロ ・toio™で作ってみた！友の会（非公式） ・New ビジュアルプログラミングIoTLT 半分ほど（30記事）は 12月に書いた ※ アドベントカレンダー用

ビジュアルプログラミングなコミュニティ ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 ビジュアルプログラミング交流会 ＠Facebook、connpass： 　https://www.facebook.com/groups/visualprogramming.jp/ 　https://visualprogramming.connpass.com/ ハッシュタグ： #ビジュアルプログラミング交流会

ガジェット好き ↑とある主催イベントの風景 　（持っているもののごく一部） 話題のものがだいたい自宅にある 3Dプリンタ＠自宅 ラズパイ4 ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 国内向け販売開始 の初日にポチった ￥ 37,000

今日の本題 ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 ・ビジュアルプログラミングを Scratchで 音声でロボット カー操作 機械学習

　デモ動画1： 音声でロボットカー操作 ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 https://www.youtube.com/watch?v=8GkO5CQeDLI

音声でのロボットカー操作の仕組み ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 ・詳細はQiitaに（ https://qiita.com/youtoy/items/ce2efadf1228241ee3e3 ）

独自拡張機能が組み込まれた Scratch ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 ・公式の Scratch の拡張機能は独自のものは 　追加できない （一方、micro:bit の開発で使われる 　MakeCode は独自拡張機能を利用可能） ・Scratch はオープンソース ・GitHub からダウンロードしたソースから構築 　した環境には、独自の仕組みを組み込み可能

Scratch をベースにした事例（一例） ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 ・ロボットトイ toio のビジュアルプログラミング 　環境は Scratchベース （独自の拡張機能として toio 用ブロックが追加 　されており、公式の Scratch の機能も利用可能）

　画像を対象とした機械学習 ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 ●【Scratch 2019】 画像認識・デバイス連携・関連の独自拡 張（2019/12/7）｜note 　https://note.com/youtoy/n/n8cae77447867

ふと気がついた・・・

ふと気がついた・・・ 登壇希望を出した 少し後に気がついていた・・・

「I（Internet）」の要素は どこ？？？

「問題ない（by のびすけさん）」 とは言われたけれど・・・

ちょっと足してみようとした 後付けで、

インターネット経由のやりとり ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 ・Scratch は自由に HTTP通信を行えない ・micro:bit はインターネット接続が直接は 　行えない

インターネット経由のやりとり ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 ・micro:bit の入出力と何かをつなぐ ・ビジュアルプログラミングで実現する

インターネット経由のやりとり ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 ・micro:bit の入出力と何かをつなぐ ・ビジュアルプログラミングで実現する M5Stack でシリアル 通信と HTTP通信 （送信のみ） Node-RED でシリアル 通信と HTTP通信 （送受信）

動作確認ができたこと ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 ・micro:bit のシリアル通信での出力をPC上の 　Node-RED で定期的に受信 ・Node-RED から Slack へ Webhook を使って 　メッセージ送信 （間をつなげれば micro:bit上のイベントを トリガーにインターネット経由の処理が可能）

動作確認ができてないこと ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 ・Node-RED で HTTP通信の受信をしてシリアル 　通信を経由して micro:bit を動かす ・M5Stack の UIflow を使ってシリアル通信経由 　のデータ受信をトリガーに HTTP通信（送信） （obniz のブロックプログラミングが対応して 　くれれば・・・）

いろいろ実装が 間に合わなかった・・・

余談： 音声の機械学習で面白そうなもの ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 ビジュアルプログラミングではないけど・・・ https://www.youtube.com/watch?v=-qb0G9G9oEk

余談で紹介した内容の関連記事 ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 ●Teachable Machine を使った音声からの任意のキーワードの検 出（ブラウザ上で機械学習） - Qiita 　https://qiita.com/youtoy/items/9096836e5d77274500ea ●toio を音で制御してみた（Audio用の Teachable Machine でベ ルやタンバリンの音を機械学習） - Qiita 　https://qiita.com/youtoy/items/37f70bb4ce630e6cbd92

終わり！