Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Scratchで音声でのロボットカー操作や機械学習などをやってみる(仮)/ Visual Pr...
Search
you(@youtoy)
PRO
February 18, 2020
Technology
0
490
Scratchで音声でのロボットカー操作や機械学習などをやってみる(仮)/ Visual Programming IoTLT vol1
2020/2/18(火)に開催された「ビジュアルプログラミングIoTLT vol1」での発表資料です。
https://iotlt.connpass.com/event/163945/
you(@youtoy)
PRO
February 18, 2020
Tweet
Share
More Decks by you(@youtoy)
See All by you(@youtoy)
Node-REDのFunctionノードでMCPサーバーの実装を試してみた / Node-RED × MCP 勉強会 vol.1
you
PRO
0
130
総額200円の入力インターフェースで年齢問わず楽しめる体験型展示 / エンジニアの自由研究発表会vol.10
you
PRO
0
57
Node−RED で Ollama を使ったローカルLLM(node-red-contrib-ollamaを利用) / ビジュアルプログラミングIoTLT vol.20
you
PRO
0
180
AIエージェント開発や最新の生成AIのAPI利用などJavaScriptで色々やってみる / IoTLT vol.123
you
PRO
0
110
ChatGPT からモックサーバー宛(Beeceptor宛)の HTTPリクエストを試す / IoTLT 202504
you
PRO
0
100
デモをまじえつつの生成AIの話題 / 横須賀プログラミング“夢”アカデミー発表会(2025年3月)
you
PRO
0
52
もくはりでのモノ作りと自身のモノ作り活動 / もくはり文化祭2024 オープン記念イベント
you
PRO
0
57
"かわいい" がテーマのハッカソンでWebの技術を使って魔法の世界を作った話など / HTML5 10th Anniversary
you
PRO
0
110
ブラウザで AI・機械学習が扱える TensorFlow.js が使われているライブラリなどの話 / #さくらのAI Meetup vol.4「ブラウザ」
you
PRO
0
240
Other Decks in Technology
See All in Technology
20250707-AI活用の個人差を埋めるチームづくり
shnjtk
4
3.4k
作曲家がボカロを使うようにPdMはAIを使え
itotaxi
0
430
マネジメントって難しい、けどおもしろい / Management is tough, but fun! #em_findy
ar_tama
7
780
「良さそう」と「とても良い」の間には 「良さそうだがホンマか」がたくさんある / 2025.07.01 LLM品質Night
smiyawaki0820
1
500
Should Our Project Join the CNCF? (Japanese Recap)
whywaita
PRO
0
330
AI導入の理想と現実~コストと浸透〜
oprstchn
0
190
タイミーのデータモデリング事例と今後のチャレンジ
ttccddtoki
6
2.3k
赤煉瓦倉庫勉強会「Databricksを選んだ理由と、絶賛真っ只中のデータ基盤移行体験記」
ivry_presentationmaterials
2
310
2025-06-26_Lightning_Talk_for_Lightning_Talks
_hashimo2
2
120
Delegating the chores of authenticating users to Keycloak
ahus1
0
140
ビズリーチが挑む メトリクスを活用した技術的負債の解消 / dev-productivity-con2025
visional_engineering_and_design
3
6.3k
整頓のジレンマとの戦い〜Tidy First?で振り返る事業とキャリアの歩み〜/Fighting the tidiness dilemma〜Business and Career Milestones Reflected on in Tidy First?〜
bitkey
2
14k
Featured
See All Featured
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
22k
Typedesign – Prime Four
hannesfritz
42
2.7k
BBQ
matthewcrist
89
9.7k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
Producing Creativity
orderedlist
PRO
346
40k
4 Signs Your Business is Dying
shpigford
184
22k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Designing for humans not robots
tammielis
253
25k
The Straight Up "How To Draw Better" Workshop
denniskardys
234
140k
The Invisible Side of Design
smashingmag
301
51k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
107
19k
Why You Should Never Use an ORM
jnunemaker
PRO
58
9.4k
Transcript
Scratchで音声でのロボットカー操作や 機械学習などをやってみる(仮) 2020年2月18日 (火) ビジュアルプログラミングIoTLT vol1 豊田 陽介 ( @youtoy
)
豊田陽介(@youtoy) 自己紹介 • 職場: 某通信会社の研究所 • プライベートでの活動: IT系イベント主催・登壇・運営、多数参加 子ども向けの活動いろいろ(IT系以外も) •
その他: ガジェット好き ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原
コミュニティ活動関連など(2019年) ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ▼ イベント主催・運営: 36回 (月3回ペース) 主催 18回、運営 18回
▼ 登壇・講師等: 31回(月2.5回ペース) 講師・ロングセッション等 16回、 LT 13回 ▼ Qiita・ブログ等の記事: 58記事(月5記事のペース) Qiita 25、note 25、ブログ 8 ▼ 子ども向け活動: 51回(月4回ペース) ▼ イベント参加総数:(省略: たくさん) ▼ ガジェット購入数:(省略: たくさん) 【主催コミュニティ】 ・ビジュアルプログラミング交流会 ・ゆるめかトロ ・toio™で作ってみた!友の会(非公式) ・New ビジュアルプログラミングIoTLT 半分ほど(30記事)は 12月に書いた ※ アドベントカレンダー用
ビジュアルプログラミングなコミュニティ ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ビジュアルプログラミング交流会 @Facebook、connpass: https://www.facebook.com/groups/visualprogramming.jp/ https://visualprogramming.connpass.com/ ハッシュタグ: #ビジュアルプログラミング交流会
ガジェット好き ↑とある主催イベントの風景 (持っているもののごく一部) 話題のものがだいたい自宅にある 3Dプリンタ@自宅 ラズパイ4 ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 国内向け販売開始 の初日にポチった
¥ 37,000
今日の本題 ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・ビジュアルプログラミングを Scratchで 音声でロボット カー操作 機械学習
デモ動画1: 音声でロボットカー操作 ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 https://www.youtube.com/watch?v=8GkO5CQeDLI
音声でのロボットカー操作の仕組み ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・詳細はQiitaに( https://qiita.com/youtoy/items/ce2efadf1228241ee3e3 )
独自拡張機能が組み込まれた Scratch ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・公式の Scratch の拡張機能は独自のものは 追加できない (一方、micro:bit の開発で使われる
MakeCode は独自拡張機能を利用可能) ・Scratch はオープンソース ・GitHub からダウンロードしたソースから構築 した環境には、独自の仕組みを組み込み可能
Scratch をベースにした事例(一例) ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・ロボットトイ toio のビジュアルプログラミング 環境は Scratchベース (独自の拡張機能として
toio 用ブロックが追加 されており、公式の Scratch の機能も利用可能)
画像を対象とした機械学習 ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 •【Scratch 2019】 画像認識・デバイス連携・関連の独自拡 張(2019/12/7)|note https://note.com/youtoy/n/n8cae77447867
ふと気がついた・・・
ふと気がついた・・・ 登壇希望を出した 少し後に気がついていた・・・
「I(Internet)」の要素は どこ???
「問題ない(by のびすけさん)」 とは言われたけれど・・・
ちょっと足してみようとした 後付けで、
インターネット経由のやりとり ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・Scratch は自由に HTTP通信を行えない ・micro:bit はインターネット接続が直接は 行えない
インターネット経由のやりとり ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・micro:bit の入出力と何かをつなぐ ・ビジュアルプログラミングで実現する
インターネット経由のやりとり ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・micro:bit の入出力と何かをつなぐ ・ビジュアルプログラミングで実現する M5Stack でシリアル 通信と HTTP通信
(送信のみ) Node-RED でシリアル 通信と HTTP通信 (送受信)
動作確認ができたこと ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・micro:bit のシリアル通信での出力をPC上の Node-RED で定期的に受信 ・Node-RED から Slack
へ Webhook を使って メッセージ送信 (間をつなげれば micro:bit上のイベントを トリガーにインターネット経由の処理が可能)
動作確認ができてないこと ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・Node-RED で HTTP通信の受信をしてシリアル 通信を経由して micro:bit を動かす ・M5Stack
の UIflow を使ってシリアル通信経由 のデータ受信をトリガーに HTTP通信(送信) (obniz のブロックプログラミングが対応して くれれば・・・)
いろいろ実装が 間に合わなかった・・・
余談: 音声の機械学習で面白そうなもの ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ビジュアルプログラミングではないけど・・・ https://www.youtube.com/watch?v=-qb0G9G9oEk
余談で紹介した内容の関連記事 ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 •Teachable Machine を使った音声からの任意のキーワードの検 出(ブラウザ上で機械学習) - Qiita https://qiita.com/youtoy/items/9096836e5d77274500ea
•toio を音で制御してみた(Audio用の Teachable Machine でベ ルやタンバリンの音を機械学習) - Qiita https://qiita.com/youtoy/items/37f70bb4ce630e6cbd92
終わり!