Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Scratchで音声でのロボットカー操作や機械学習などをやってみる(仮)/ Visual Pr...
Search
you(@youtoy)
PRO
February 18, 2020
Technology
0
490
Scratchで音声でのロボットカー操作や機械学習などをやってみる(仮)/ Visual Programming IoTLT vol1
2020/2/18(火)に開催された「ビジュアルプログラミングIoTLT vol1」での発表資料です。
https://iotlt.connpass.com/event/163945/
you(@youtoy)
PRO
February 18, 2020
Tweet
Share
More Decks by you(@youtoy)
See All by you(@youtoy)
Node-REDのFunctionノードでMCPサーバーの実装を試してみた / Node-RED × MCP 勉強会 vol.1
you
PRO
0
130
総額200円の入力インターフェースで年齢問わず楽しめる体験型展示 / エンジニアの自由研究発表会vol.10
you
PRO
0
59
Node−RED で Ollama を使ったローカルLLM(node-red-contrib-ollamaを利用) / ビジュアルプログラミングIoTLT vol.20
you
PRO
0
180
AIエージェント開発や最新の生成AIのAPI利用などJavaScriptで色々やってみる / IoTLT vol.123
you
PRO
0
110
ChatGPT からモックサーバー宛(Beeceptor宛)の HTTPリクエストを試す / IoTLT 202504
you
PRO
0
100
デモをまじえつつの生成AIの話題 / 横須賀プログラミング“夢”アカデミー発表会(2025年3月)
you
PRO
0
53
もくはりでのモノ作りと自身のモノ作り活動 / もくはり文化祭2024 オープン記念イベント
you
PRO
0
57
"かわいい" がテーマのハッカソンでWebの技術を使って魔法の世界を作った話など / HTML5 10th Anniversary
you
PRO
0
110
ブラウザで AI・機械学習が扱える TensorFlow.js が使われているライブラリなどの話 / #さくらのAI Meetup vol.4「ブラウザ」
you
PRO
0
240
Other Decks in Technology
See All in Technology
FOSS4G 2025 KANSAI QGISで点群データをいろいろしてみた
kou_kita
0
400
american aa airlines®️ USA Contact Numbers: Complete 2025 Support Guide
aaguide
0
290
【LT会登壇資料】TROCCO新コネクタ「スマレジ」を活用した直営店データの分析
kazari0425
1
100
マネジメントって難しい、けどおもしろい / Management is tough, but fun! #em_findy
ar_tama
7
1.1k
2025-07-06 QGIS初級ハンズオン「はじめてのQGIS」
kou_kita
0
170
面倒な作業はAIにおまかせ。Flutter開発をスマートに効率化
ruideengineer
0
260
高速なプロダクト開発を実現、創業期から掲げるエンタープライズアーキテクチャ
kawauso
3
9.6k
LangChain Interrupt & LangChain Ambassadors meetingレポート
os1ma
2
320
Glacierだからってコストあきらめてない? / JAWS Meet Glacier Cost
taishin
1
170
ネットワーク保護はどう変わるのか?re:Inforce 2025最新アップデート解説
tokushun
0
210
整頓のジレンマとの戦い〜Tidy First?で振り返る事業とキャリアの歩み〜/Fighting the tidiness dilemma〜Business and Career Milestones Reflected on in Tidy First?〜
bitkey
3
17k
Lazy application authentication with Tailscale
bluehatbrit
0
220
Featured
See All Featured
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
181
54k
Build The Right Thing And Hit Your Dates
maggiecrowley
36
2.8k
4 Signs Your Business is Dying
shpigford
184
22k
Optimising Largest Contentful Paint
csswizardry
37
3.3k
Facilitating Awesome Meetings
lara
54
6.4k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
970
Large-scale JavaScript Application Architecture
addyosmani
512
110k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
A designer walks into a library…
pauljervisheath
207
24k
Building Applications with DynamoDB
mza
95
6.5k
Statistics for Hackers
jakevdp
799
220k
Transcript
Scratchで音声でのロボットカー操作や 機械学習などをやってみる(仮) 2020年2月18日 (火) ビジュアルプログラミングIoTLT vol1 豊田 陽介 ( @youtoy
)
豊田陽介(@youtoy) 自己紹介 • 職場: 某通信会社の研究所 • プライベートでの活動: IT系イベント主催・登壇・運営、多数参加 子ども向けの活動いろいろ(IT系以外も) •
その他: ガジェット好き ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原
コミュニティ活動関連など(2019年) ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ▼ イベント主催・運営: 36回 (月3回ペース) 主催 18回、運営 18回
▼ 登壇・講師等: 31回(月2.5回ペース) 講師・ロングセッション等 16回、 LT 13回 ▼ Qiita・ブログ等の記事: 58記事(月5記事のペース) Qiita 25、note 25、ブログ 8 ▼ 子ども向け活動: 51回(月4回ペース) ▼ イベント参加総数:(省略: たくさん) ▼ ガジェット購入数:(省略: たくさん) 【主催コミュニティ】 ・ビジュアルプログラミング交流会 ・ゆるめかトロ ・toio™で作ってみた!友の会(非公式) ・New ビジュアルプログラミングIoTLT 半分ほど(30記事)は 12月に書いた ※ アドベントカレンダー用
ビジュアルプログラミングなコミュニティ ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ビジュアルプログラミング交流会 @Facebook、connpass: https://www.facebook.com/groups/visualprogramming.jp/ https://visualprogramming.connpass.com/ ハッシュタグ: #ビジュアルプログラミング交流会
ガジェット好き ↑とある主催イベントの風景 (持っているもののごく一部) 話題のものがだいたい自宅にある 3Dプリンタ@自宅 ラズパイ4 ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 国内向け販売開始 の初日にポチった
¥ 37,000
今日の本題 ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・ビジュアルプログラミングを Scratchで 音声でロボット カー操作 機械学習
デモ動画1: 音声でロボットカー操作 ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 https://www.youtube.com/watch?v=8GkO5CQeDLI
音声でのロボットカー操作の仕組み ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・詳細はQiitaに( https://qiita.com/youtoy/items/ce2efadf1228241ee3e3 )
独自拡張機能が組み込まれた Scratch ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・公式の Scratch の拡張機能は独自のものは 追加できない (一方、micro:bit の開発で使われる
MakeCode は独自拡張機能を利用可能) ・Scratch はオープンソース ・GitHub からダウンロードしたソースから構築 した環境には、独自の仕組みを組み込み可能
Scratch をベースにした事例(一例) ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・ロボットトイ toio のビジュアルプログラミング 環境は Scratchベース (独自の拡張機能として
toio 用ブロックが追加 されており、公式の Scratch の機能も利用可能)
画像を対象とした機械学習 ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 •【Scratch 2019】 画像認識・デバイス連携・関連の独自拡 張(2019/12/7)|note https://note.com/youtoy/n/n8cae77447867
ふと気がついた・・・
ふと気がついた・・・ 登壇希望を出した 少し後に気がついていた・・・
「I(Internet)」の要素は どこ???
「問題ない(by のびすけさん)」 とは言われたけれど・・・
ちょっと足してみようとした 後付けで、
インターネット経由のやりとり ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・Scratch は自由に HTTP通信を行えない ・micro:bit はインターネット接続が直接は 行えない
インターネット経由のやりとり ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・micro:bit の入出力と何かをつなぐ ・ビジュアルプログラミングで実現する
インターネット経由のやりとり ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・micro:bit の入出力と何かをつなぐ ・ビジュアルプログラミングで実現する M5Stack でシリアル 通信と HTTP通信
(送信のみ) Node-RED でシリアル 通信と HTTP通信 (送受信)
動作確認ができたこと ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・micro:bit のシリアル通信での出力をPC上の Node-RED で定期的に受信 ・Node-RED から Slack
へ Webhook を使って メッセージ送信 (間をつなげれば micro:bit上のイベントを トリガーにインターネット経由の処理が可能)
動作確認ができてないこと ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・Node-RED で HTTP通信の受信をしてシリアル 通信を経由して micro:bit を動かす ・M5Stack
の UIflow を使ってシリアル通信経由 のデータ受信をトリガーに HTTP通信(送信) (obniz のブロックプログラミングが対応して くれれば・・・)
いろいろ実装が 間に合わなかった・・・
余談: 音声の機械学習で面白そうなもの ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ビジュアルプログラミングではないけど・・・ https://www.youtube.com/watch?v=-qb0G9G9oEk
余談で紹介した内容の関連記事 ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 •Teachable Machine を使った音声からの任意のキーワードの検 出(ブラウザ上で機械学習) - Qiita https://qiita.com/youtoy/items/9096836e5d77274500ea
•toio を音で制御してみた(Audio用の Teachable Machine でベ ルやタンバリンの音を機械学習) - Qiita https://qiita.com/youtoy/items/37f70bb4ce630e6cbd92
終わり!