Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Scratchで音声でのロボットカー操作や機械学習などをやってみる(仮)/ Visual Pr...
Search
you(@youtoy)
PRO
February 18, 2020
Technology
0
490
Scratchで音声でのロボットカー操作や機械学習などをやってみる(仮)/ Visual Programming IoTLT vol1
2020/2/18(火)に開催された「ビジュアルプログラミングIoTLT vol1」での発表資料です。
https://iotlt.connpass.com/event/163945/
you(@youtoy)
PRO
February 18, 2020
Tweet
Share
More Decks by you(@youtoy)
See All by you(@youtoy)
Node-REDのFunctionノードでMCPサーバーの実装を試してみた / Node-RED × MCP 勉強会 vol.1
you
PRO
0
130
総額200円の入力インターフェースで年齢問わず楽しめる体験型展示 / エンジニアの自由研究発表会vol.10
you
PRO
0
59
Node−RED で Ollama を使ったローカルLLM(node-red-contrib-ollamaを利用) / ビジュアルプログラミングIoTLT vol.20
you
PRO
0
180
AIエージェント開発や最新の生成AIのAPI利用などJavaScriptで色々やってみる / IoTLT vol.123
you
PRO
0
110
ChatGPT からモックサーバー宛(Beeceptor宛)の HTTPリクエストを試す / IoTLT 202504
you
PRO
0
100
デモをまじえつつの生成AIの話題 / 横須賀プログラミング“夢”アカデミー発表会(2025年3月)
you
PRO
0
53
もくはりでのモノ作りと自身のモノ作り活動 / もくはり文化祭2024 オープン記念イベント
you
PRO
0
57
"かわいい" がテーマのハッカソンでWebの技術を使って魔法の世界を作った話など / HTML5 10th Anniversary
you
PRO
0
110
ブラウザで AI・機械学習が扱える TensorFlow.js が使われているライブラリなどの話 / #さくらのAI Meetup vol.4「ブラウザ」
you
PRO
0
240
Other Decks in Technology
See All in Technology
関数型プログラミングで 「脳がバグる」を乗り越える
manabeai
1
190
さくらのIaaS基盤のモニタリングとOpenTelemetry/OSC Hokkaido 2025
fujiwara3
3
440
SEQUENCE object comparison - db tech showcase 2025 LT2
nori_shinoda
0
130
DBのスキルで生き残る技術 - AI時代におけるテーブル設計の勘所
soudai
PRO
47
19k
Delegating the chores of authenticating users to Keycloak
ahus1
0
140
第4回Snowflake 金融ユーザー会 Snowflake summit recap
tamaoki
1
280
Claude Code に プロジェクト管理やらせたみた
unson
6
3.9k
スタートアップに選択肢を 〜生成AIを活用したセカンダリー事業への挑戦〜
nstock
0
170
ビギナーであり続ける/beginning
ikuodanaka
3
750
MobileActOsaka_250704.pdf
akaitadaaki
0
120
Lazy application authentication with Tailscale
bluehatbrit
0
210
CDKTFについてざっくり理解する!!~CloudFormationからCDKTFへ変換するツールも作ってみた~
masakiokuda
1
130
Featured
See All Featured
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Building Applications with DynamoDB
mza
95
6.5k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Art, The Web, and Tiny UX
lynnandtonic
299
21k
Code Review Best Practice
trishagee
69
18k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
950
Writing Fast Ruby
sferik
628
62k
Transcript
Scratchで音声でのロボットカー操作や 機械学習などをやってみる(仮) 2020年2月18日 (火) ビジュアルプログラミングIoTLT vol1 豊田 陽介 ( @youtoy
)
豊田陽介(@youtoy) 自己紹介 • 職場: 某通信会社の研究所 • プライベートでの活動: IT系イベント主催・登壇・運営、多数参加 子ども向けの活動いろいろ(IT系以外も) •
その他: ガジェット好き ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原
コミュニティ活動関連など(2019年) ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ▼ イベント主催・運営: 36回 (月3回ペース) 主催 18回、運営 18回
▼ 登壇・講師等: 31回(月2.5回ペース) 講師・ロングセッション等 16回、 LT 13回 ▼ Qiita・ブログ等の記事: 58記事(月5記事のペース) Qiita 25、note 25、ブログ 8 ▼ 子ども向け活動: 51回(月4回ペース) ▼ イベント参加総数:(省略: たくさん) ▼ ガジェット購入数:(省略: たくさん) 【主催コミュニティ】 ・ビジュアルプログラミング交流会 ・ゆるめかトロ ・toio™で作ってみた!友の会(非公式) ・New ビジュアルプログラミングIoTLT 半分ほど(30記事)は 12月に書いた ※ アドベントカレンダー用
ビジュアルプログラミングなコミュニティ ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ビジュアルプログラミング交流会 @Facebook、connpass: https://www.facebook.com/groups/visualprogramming.jp/ https://visualprogramming.connpass.com/ ハッシュタグ: #ビジュアルプログラミング交流会
ガジェット好き ↑とある主催イベントの風景 (持っているもののごく一部) 話題のものがだいたい自宅にある 3Dプリンタ@自宅 ラズパイ4 ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 国内向け販売開始 の初日にポチった
¥ 37,000
今日の本題 ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・ビジュアルプログラミングを Scratchで 音声でロボット カー操作 機械学習
デモ動画1: 音声でロボットカー操作 ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 https://www.youtube.com/watch?v=8GkO5CQeDLI
音声でのロボットカー操作の仕組み ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・詳細はQiitaに( https://qiita.com/youtoy/items/ce2efadf1228241ee3e3 )
独自拡張機能が組み込まれた Scratch ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・公式の Scratch の拡張機能は独自のものは 追加できない (一方、micro:bit の開発で使われる
MakeCode は独自拡張機能を利用可能) ・Scratch はオープンソース ・GitHub からダウンロードしたソースから構築 した環境には、独自の仕組みを組み込み可能
Scratch をベースにした事例(一例) ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・ロボットトイ toio のビジュアルプログラミング 環境は Scratchベース (独自の拡張機能として
toio 用ブロックが追加 されており、公式の Scratch の機能も利用可能)
画像を対象とした機械学習 ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 •【Scratch 2019】 画像認識・デバイス連携・関連の独自拡 張(2019/12/7)|note https://note.com/youtoy/n/n8cae77447867
ふと気がついた・・・
ふと気がついた・・・ 登壇希望を出した 少し後に気がついていた・・・
「I(Internet)」の要素は どこ???
「問題ない(by のびすけさん)」 とは言われたけれど・・・
ちょっと足してみようとした 後付けで、
インターネット経由のやりとり ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・Scratch は自由に HTTP通信を行えない ・micro:bit はインターネット接続が直接は 行えない
インターネット経由のやりとり ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・micro:bit の入出力と何かをつなぐ ・ビジュアルプログラミングで実現する
インターネット経由のやりとり ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・micro:bit の入出力と何かをつなぐ ・ビジュアルプログラミングで実現する M5Stack でシリアル 通信と HTTP通信
(送信のみ) Node-RED でシリアル 通信と HTTP通信 (送受信)
動作確認ができたこと ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・micro:bit のシリアル通信での出力をPC上の Node-RED で定期的に受信 ・Node-RED から Slack
へ Webhook を使って メッセージ送信 (間をつなげれば micro:bit上のイベントを トリガーにインターネット経由の処理が可能)
動作確認ができてないこと ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ・Node-RED で HTTP通信の受信をしてシリアル 通信を経由して micro:bit を動かす ・M5Stack
の UIflow を使ってシリアル通信経由 のデータ受信をトリガーに HTTP通信(送信) (obniz のブロックプログラミングが対応して くれれば・・・)
いろいろ実装が 間に合わなかった・・・
余談: 音声の機械学習で面白そうなもの ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 ビジュアルプログラミングではないけど・・・ https://www.youtube.com/watch?v=-qb0G9G9oEk
余談で紹介した内容の関連記事 ビジュアルプログラミングIoTLT vol1@アトリエ秋葉原 •Teachable Machine を使った音声からの任意のキーワードの検 出(ブラウザ上で機械学習) - Qiita https://qiita.com/youtoy/items/9096836e5d77274500ea
•toio を音で制御してみた(Audio用の Teachable Machine でベ ルやタンバリンの音を機械学習) - Qiita https://qiita.com/youtoy/items/37f70bb4ce630e6cbd92
終わり!