Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Scratchで音声でのロボットカー操作や機械学習などをやってみる(仮)/ Visual Programming IoTLT vol1

Cd931bc05e7cee46b9a950a63e47ba4c?s=47 yo-to
February 18, 2020

Scratchで音声でのロボットカー操作や機械学習などをやってみる(仮)/ Visual Programming IoTLT vol1

2020/2/18(火)に開催された「ビジュアルプログラミングIoTLT vol1」での発表資料です。
 https://iotlt.connpass.com/event/163945/

Cd931bc05e7cee46b9a950a63e47ba4c?s=128

yo-to

February 18, 2020
Tweet

Transcript

  1. Scratchで音声でのロボットカー操作や 機械学習などをやってみる(仮) 2020年2月18日 (火) ビジュアルプログラミングIoTLT vol1   豊田 陽介 ( @youtoy

    )
  2. 豊田陽介(@youtoy) 自己紹介 • 職場: 某通信会社の研究所 • プライベートでの活動: IT系イベント主催・登壇・運営、多数参加 子ども向けの活動いろいろ(IT系以外も) •

    その他: ガジェット好き ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原
  3. コミュニティ活動関連など(2019年) ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ▼ イベント主催・運営: 36回  (月3回ペース)   主催 18回、運営 18回

    ▼ 登壇・講師等: 31回(月2.5回ペース)   講師・ロングセッション等 16回、 LT 13回 ▼ Qiita・ブログ等の記事: 58記事(月5記事のペース)   Qiita 25、note 25、ブログ 8 ▼ 子ども向け活動: 51回(月4回ペース) ▼ イベント参加総数:(省略: たくさん) ▼ ガジェット購入数:(省略: たくさん) 【主催コミュニティ】 ・ビジュアルプログラミング交流会 ・ゆるめかトロ ・toio™で作ってみた!友の会(非公式) ・New ビジュアルプログラミングIoTLT 半分ほど(30記事)は 12月に書いた ※ アドベントカレンダー用
  4. ビジュアルプログラミングなコミュニティ ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ビジュアルプログラミング交流会 @Facebook、connpass:  https://www.facebook.com/groups/visualprogramming.jp/  https://visualprogramming.connpass.com/ ハッシュタグ: #ビジュアルプログラミング交流会

  5. ガジェット好き ↑とある主催イベントの風景  (持っているもののごく一部) 話題のものがだいたい自宅にある 3Dプリンタ@自宅 ラズパイ4 ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 国内向け販売開始 の初日にポチった

    ¥ 37,000
  6. 今日の本題 ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・ビジュアルプログラミングを Scratchで 音声でロボット カー操作 機械学習

  7.  デモ動画1: 音声でロボットカー操作 ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 https://www.youtube.com/watch?v=8GkO5CQeDLI

  8. 音声でのロボットカー操作の仕組み ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・詳細はQiitaに( https://qiita.com/youtoy/items/ce2efadf1228241ee3e3 )

  9. 独自拡張機能が組み込まれた Scratch ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・公式の Scratch の拡張機能は独自のものは  追加できない (一方、micro:bit の開発で使われる

     MakeCode は独自拡張機能を利用可能) ・Scratch はオープンソース ・GitHub からダウンロードしたソースから構築  した環境には、独自の仕組みを組み込み可能
  10. Scratch をベースにした事例(一例) ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・ロボットトイ toio のビジュアルプログラミング  環境は Scratchベース (独自の拡張機能として

    toio 用ブロックが追加  されており、公式の Scratch の機能も利用可能)
  11.  画像を対象とした機械学習 ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 •【Scratch 2019】 画像認識・デバイス連携・関連の独自拡 張(2019/12/7)|note  https://note.com/youtoy/n/n8cae77447867

  12. ふと気がついた・・・

  13. ふと気がついた・・・ 登壇希望を出した 少し後に気がついていた・・・

  14. 「I(Internet)」の要素は どこ???

  15. 「問題ない(by のびすけさん)」 とは言われたけれど・・・

  16. ちょっと足してみようとした 後付けで、

  17. インターネット経由のやりとり ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・Scratch は自由に HTTP通信を行えない ・micro:bit はインターネット接続が直接は  行えない

  18. インターネット経由のやりとり ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・micro:bit の入出力と何かをつなぐ ・ビジュアルプログラミングで実現する

  19. インターネット経由のやりとり ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・micro:bit の入出力と何かをつなぐ ・ビジュアルプログラミングで実現する M5Stack でシリアル 通信と HTTP通信

    (送信のみ) Node-RED でシリアル 通信と HTTP通信 (送受信)
  20. 動作確認ができたこと ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・micro:bit のシリアル通信での出力をPC上の  Node-RED で定期的に受信 ・Node-RED から Slack

    へ Webhook を使って  メッセージ送信 (間をつなげれば micro:bit上のイベントを トリガーにインターネット経由の処理が可能)
  21. 動作確認ができてないこと ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・Node-RED で HTTP通信の受信をしてシリアル  通信を経由して micro:bit を動かす ・M5Stack

    の UIflow を使ってシリアル通信経由  のデータ受信をトリガーに HTTP通信(送信) (obniz のブロックプログラミングが対応して  くれれば・・・)
  22. いろいろ実装が 間に合わなかった・・・

  23. 余談: 音声の機械学習で面白そうなもの ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ビジュアルプログラミングではないけど・・・ https://www.youtube.com/watch?v=-qb0G9G9oEk

  24. 余談で紹介した内容の関連記事 ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 •Teachable Machine を使った音声からの任意のキーワードの検 出(ブラウザ上で機械学習) - Qiita  https://qiita.com/youtoy/items/9096836e5d77274500ea

    •toio を音で制御してみた(Audio用の Teachable Machine でベ ルやタンバリンの音を機械学習) - Qiita  https://qiita.com/youtoy/items/37f70bb4ce630e6cbd92
  25. 終わり!