Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
公式版Scratchやtoio DoでIoT(ブラウザ上でのJavaScript実行で) / ビジュアルプログラミングIoTLT vol.11
Search
you(@youtoy)
PRO
June 15, 2022
Technology
0
1.4k
公式版Scratchやtoio DoでIoT(ブラウザ上でのJavaScript実行で) / ビジュアルプログラミングIoTLT vol.11
you(@youtoy)
PRO
June 15, 2022
Tweet
Share
More Decks by you(@youtoy)
See All by you(@youtoy)
WebHID API で Joy-Con・DUALSHOCK 4 のセンサーをブラウザから利用する / IoTLT vol.109
you
PRO
0
110
UIFlow 2.0 で MQTT をやってみた! / IoTLT vol.108
you
PRO
0
1.6k
UIFlow 2.0 と ATOMS3 の組み合わせで LINE通知を試す / ビジュアルプログラミングIoTLT vol.16
you
PRO
0
160
技術コミュニティの中での生成AI(自身の観測範囲での事例について) / 23 Xmas Talk / 20231209
you
PRO
0
1.4k
AI・機械学習ライブラリを使ったWebアプリでワクワク体験! / Qiita Night~AI、機械学習 / 20231201
you
PRO
2
2.1k
p5.js・p5playを使った体験イベントに参加した子達が手を動かすこと・考えることを楽しんでくれた話 / p5.js勉強会(第九回) / 20231126
you
PRO
0
53
LINEでのコミュニケーションにマスコットキーホルダーを使ってみる / LINEを使ったLT大会 #5
you
PRO
0
2.3k
イベントで大活躍の電子ペーパー名札 〜M5PaperとUIFlow+α〜 / #ヒーローズリーグ 2023 予選 in 第二部
you
PRO
0
94
ハッカソンでWebの技術を使った作品を作ってみた 〜ブラウザで機械学習やデバイス制御など〜 / HTML5 9th Anniversary
you
PRO
0
110
Other Decks in Technology
See All in Technology
開発生産性大幅アップ!Postman VS Code拡張機能
nagix
2
350
Next'24 事例セッションの紹介とクラウド資格を活用したキャリア形成について語りMuscle
yasumuusan
1
420
MapLibreとAmazon Location Service
dayjournal
1
130
どうするコスト最適化のトレードオフ
tetsuyaooooo
1
440
Google Cloud の AI を支える裏側のインフラを垣間見る!
maroon1st
0
320
推しは推せるときに推せ! プロダクトにフィードバックしていこう
nakasho
0
240
Tableau事例紹介 / Tableau Case Study of Eureka
kazuya_araki_tokyo
1
180
サーバー間 GraphQL と webmock-graphql の話 / server-to-server graphql and webmock-graphql
qsona
2
170
WebアプリケーションにおけるPDOの使い方入門 / phpcon odawara 2024
meihei3
2
440
SREとその組織類型
tatsuo48
9
1.6k
SIEMを用いて、セキュリティログ分析の可視化と分析を実現し、PDCAサイクルを回してみた
coconala_engineer
0
270
On Your Data を超えていく!
hirotomotaguchi
2
610
Featured
See All Featured
GitHub's CSS Performance
jonrohan
1024
450k
GraphQLとの向き合い方2022年版
quramy
31
12k
Building Better People: How to give real-time feedback that sticks.
wjessup
354
18k
How GitHub Uses GitHub to Build GitHub
holman
468
290k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
13
1.5k
Designing on Purpose - Digital PM Summit 2013
jponch
110
6.4k
Code Reviewing Like a Champion
maltzj
513
39k
Teambox: Starting and Learning
jrom
128
8.4k
The Illustrated Children's Guide to Kubernetes
chrisshort
30
46k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
119
39k
The Power of CSS Pseudo Elements
geoffreycrofte
59
5k
Fontdeck: Realign not Redesign
paulrobertlloyd
76
4.9k
Transcript
公式版Scratchやtoio DoでIoT (ブラウザ上でのJavaScript実行で) 2022年6月15日 (水) ビジュアルプログラミングIoTLT vol.11 豊田陽介( ) @youtoy
自己紹介 ビジュアルプログラミングや IoT、ロボットトイ関連など 豊田陽介( ) 普段は、某通信会社勤務 @youtoy ・IT系イベント主催、登壇や運営なども ・子ども向けの活動いろいろ(IT系以外も) ・
Microsoft MVP(2021/10 から) プライベートでの活動 ・ガジェット好き ・今月開催のメーカーフェア@仙台に出展予定 その他
余談:展示に向けた試作やハマっていること 展示イベントに向けた試作 (センサー+プロジェクション) カメラ画像からの画像認識と、 パーティクルの仕組み 両方ともプログラムはブラウザ上で動作(JavaScript)
今回の話題: 公式版Scratch や toio Do で IoT (Node.js による独自拡張ではなく)
というのをやろうと いろいろ試した内容
作ったものの例(おおまかな説明) ① toio の向き (姿勢)を変える ② toio の姿勢に よって toio
Do上 の表示が変わる ③ Scratch上の表 示が toio Do上の 表示と連動
作ったものの例(おおまかな説明) ① toio の向き (姿勢)を変える ② toio の姿勢に よって toio
Do上 の表示が変わる ③ Scratch上の表 示が toio Do上の 表示と連動 ネットワーク上での 通信を介し、Scratch と toio Do が連動
デモ:公式版Scratchとtoio Doを連動させる
ネットワーク通信を用いた連動のポイント toio ブラウザで開いた toio Do(公式) BLE WebSocket 仲介 サーバー ブラウザで開いた
Scratch(公式) WebSocket
ブラウザのコンソールでのJavaScript実行 toio ブラウザで開いた toio Do(公式) BLE WebSocket 仲介 サーバー ブラウザで開いた
Scratch(公式) WebSocket HTML で表示された数値の取得 & 取得した数値の外部送信 外部から数値データを受信 & その数値に応じたキーイベント発生
なぜこのような事を?
1)公式版Scratch の作品で 物理連動などをさせてみたい (公式拡張で実現できなそうな内容の)
自分以外の人が作った Scratch作品に、外部機器・ サービス連動の追加を気軽に テストできると面白そう?
ゲーム作品でゴールしたら 複数のLEDテープが派手に 光ったりとか?
公式版での実行にこだわらなければ オープンソースの Scratch で独自拡張の開発をする形でも
公式版での実行にこだわらなければ オープンソースの Scratch で独自拡張の開発をする形でも MQTT を扱える拡張を作った話 @2年前の IoTLT
これをやった最大の理由...
2)思いついたから やってみたかった
思いつきの元になったもの Joy-Con・micro:bit をプレゼンリモコンにする話の記事 「【JavaScript】スイッチのJoy-Conをプレゼンリモコンにするワンライナー - Qiita」より
思いつきの元になったもの Joy-Con・micro:bit をプレゼンリモコンにする話の記事 「【JavaScript】スイッチのJoy-Conをプレゼンリモコンにするワンライナー - Qiita」より ブラウザの開発者ツールの コンソールでプログラム実行 というやり方の話が
・Scratch のサイトでも活用 できるだろうか? ・実行できるプログラムの 制約が何かあるか?
必要そうな最小要件などを考えてみる JavaScript で情報取得 可能な HTML の要素 がページ上にあれば JavaScript で発生さ せたキーイベントが
そのままキー入力の 代替になれば MQTT のライブラリ を読み込むか、標準 で扱える WebSocket が動けば Scratch上の情報を 読み取る Scratch上に影響を 及ぼす ネットワークを介 したやりとり
あとは試すのみ!
このあたりはサクッと ・キーイベント利用 ・通信をとりあえず WebSocket で
残るは情報取得
ブラウザの開発者ツールで探る 描画周りは Canvas要素内 とりあえず数字が出ていて 変化する部分を見てみたり
最終的には 変数の中身を描画領域に 表示させるこれが「div」! 「中を見る」・「プロジェクトページ」のどちらでも出ている
詳細はQiitaの記事に #Scratch 3.0 のキー入力イベントをブラウザのコンソール(開発者ツール)の JavaScript からランダム に繰り返し発生させてみる #Scratch 3.0(公式)などで独自拡張機能を使わない外部との通信【概要編】(ブラウザの開発者ツール のコンソール、JavaScript、WebSocket
が関連、 #toio でも利用可) Scratch 3.0(公式)などで独自拡張機能を使わない外部との通信【ソースコード編】(ブラウザの開発者 ツールのコンソール、JavaScript、WebSocket が関連)
独自拡張版のScratchでの事例 PC と有線接続して Groveモジュールなど が扱えるデバイス用の拡張に適用 ⇒ 「LINEアプリの操作」をネット経由で Scratch に受信させる流れ
活用法の模索はこれから!
【とあるイベントの話】 場所は仙台ですが...
6/25(土)@産業見本市会館 サンフェスタ toio のユーザーコミュニティで出展
終わり!