Scratchで音声でのロボットカー操作や機械学習などをやってみる（仮）/ Visual Programming IoTLT vol1

2020/2/18（火）に開催された「ビジュアルプログラミングIoTLT vol1」での発表資料です。
　https://iotlt.connpass.com/event/163945/

Transcript

1. Scratchで音声でのロボットカー操作や 機械学習などをやってみる（仮） 2020年2月18日 (火) ビジュアルプログラミングIoTLT vol1 　　豊田 陽介 ( @youtoy )
2. 豊田陽介（@youtoy） 自己紹介 • 職場： 某通信会社の研究所 • プライベートでの活動： IT系イベント主催・登壇・運営、多数参加 子ども向けの活動いろいろ（IT系以外も） • その他： ガジェット好き ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原
3. コミュニティ活動関連など（2019年） ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 ▼ イベント主催・運営： 36回 　（月3回ペース） 　　主催 18回、運営 18回 ▼ 登壇・講師等： 31回（月2.5回ペース） 　　講師・ロングセッション等 16回、 LT 13回 ▼ Qiita・ブログ等の記事： 58記事（月5記事のペース） 　　Qiita 25、note 25、ブログ 8 ▼ 子ども向け活動： 51回（月4回ペース） ▼ イベント参加総数：（省略： たくさん） ▼ ガジェット購入数：（省略： たくさん） 【主催コミュニティ】 ・ビジュアルプログラミング交流会 ・ゆるめかトロ ・toio™で作ってみた！友の会（非公式） ・New ビジュアルプログラミングIoTLT 半分ほど（30記事）は 12月に書いた ※ アドベントカレンダー用
4. ビジュアルプログラミングなコミュニティ ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 ビジュアルプログラミング交流会 ＠Facebook、connpass： 　https://www.facebook.com/groups/visualprogramming.jp/ 　https://visualprogramming.connpass.com/ ハッシュタグ： #ビジュアルプログラミング交流会
5. ガジェット好き ↑とある主催イベントの風景 　（持っているもののごく一部） 話題のものがだいたい自宅にある 3Dプリンタ＠自宅 ラズパイ4 ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 国内向け販売開始 の初日にポチった ￥ 37,000
6. 今日の本題 ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 ・ビジュアルプログラミングを Scratchで 音声でロボット カー操作 機械学習
7. 　デモ動画1： 音声でロボットカー操作 ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 https://www.youtube.com/watch?v=8GkO5CQeDLI
8. 音声でのロボットカー操作の仕組み ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 ・詳細はQiitaに（ https://qiita.com/youtoy/items/ce2efadf1228241ee3e3 ）
9. 独自拡張機能が組み込まれた Scratch ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 ・公式の Scratch の拡張機能は独自のものは 　追加できない （一方、micro:bit の開発で使われる 　MakeCode は独自拡張機能を利用可能） ・Scratch はオープンソース ・GitHub からダウンロードしたソースから構築 　した環境には、独自の仕組みを組み込み可能
10. Scratch をベースにした事例（一例） ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 ・ロボットトイ toio のビジュアルプログラミング 　環境は Scratchベース （独自の拡張機能として toio 用ブロックが追加 　されており、公式の Scratch の機能も利用可能）
11. 　画像を対象とした機械学習 ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 •【Scratch 2019】 画像認識・デバイス連携・関連の独自拡 張（2019/12/7）｜note 　https://note.com/youtoy/n/n8cae77447867
12. ふと気がついた・・・
13. ふと気がついた・・・ 登壇希望を出した 少し後に気がついていた・・・
14. 「I（Internet）」の要素は どこ？？？
15. 「問題ない（by のびすけさん）」 とは言われたけれど・・・
16. ちょっと足してみようとした 後付けで、
17. インターネット経由のやりとり ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 ・Scratch は自由に HTTP通信を行えない ・micro:bit はインターネット接続が直接は 　行えない
18. インターネット経由のやりとり ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 ・micro:bit の入出力と何かをつなぐ ・ビジュアルプログラミングで実現する
19. インターネット経由のやりとり ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 ・micro:bit の入出力と何かをつなぐ ・ビジュアルプログラミングで実現する M5Stack でシリアル 通信と HTTP通信 （送信のみ） Node-RED でシリアル 通信と HTTP通信 （送受信）
20. 動作確認ができたこと ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 ・micro:bit のシリアル通信での出力をPC上の 　Node-RED で定期的に受信 ・Node-RED から Slack へ Webhook を使って 　メッセージ送信 （間をつなげれば micro:bit上のイベントを トリガーにインターネット経由の処理が可能）
21. 動作確認ができてないこと ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 ・Node-RED で HTTP通信の受信をしてシリアル 　通信を経由して micro:bit を動かす ・M5Stack の UIflow を使ってシリアル通信経由 　のデータ受信をトリガーに HTTP通信（送信） （obniz のブロックプログラミングが対応して 　くれれば・・・）
22. いろいろ実装が 間に合わなかった・・・
23. 余談： 音声の機械学習で面白そうなもの ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 ビジュアルプログラミングではないけど・・・ https://www.youtube.com/watch?v=-qb0G9G9oEk
24. 余談で紹介した内容の関連記事 ビジュアルプログラミングIoTLT vol1＠アトリエ秋葉原 •Teachable Machine を使った音声からの任意のキーワードの検 出（ブラウザ上で機械学習） - Qiita 　https://qiita.com/youtoy/items/9096836e5d77274500ea •toio を音で制御してみた（Audio用の Teachable Machine でベ ルやタンバリンの音を機械学習） - Qiita 　https://qiita.com/youtoy/items/37f70bb4ce630e6cbd92
25. 終わり！