Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Javascriptで試作した様々な仕組みの話(機械学習・物理・画像や音など) / Saita...
Search
Sponsored
·
Your Podcast. Everywhere. Effortlessly.
Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
→
you(@youtoy)
PRO
October 14, 2021
Technology
1.9k
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Javascriptで試作した様々な仕組みの話(機械学習・物理・画像や音など) / Saitama.js vol.0
you(@youtoy)
PRO
October 14, 2021
Transcript
41 slides
Javascriptで試作した様々な仕組みの話 (機械学習・物理・画像や音など) 2021年10月14日 (木) Saitama.js vol.0 @オンライン 豊田 陽介 (
@youtoy )
豊田陽介(@youtoy) 自己紹介 普段は、某通信会社勤務 Microsoft MVP (2021年10月より ) ガジェット好き その他 IT系イベント主催、運営や登壇なども
子ども向けの活動いろいろ(IT系以外も) プライベートでの活動 ビジュアルプログラミング・ IoTに関するコミュニティなど
今日の話題
JavaScript を使い ブラウザ上でこれらを扱う
JavaScript 画像の機械学習 音の機械学習 VTuber的なこと 物理演算エンジン WebAR IoT系 ガジェット系
ここから、 技術の話と実例と
【技術の部分の話1】 人を対象にした画像認識系
MediaPipe ・Googleさんが提供している機械学習を使った仕組み ・Python用やスマホ用、C++用などが提供されている ・MediaPipe の JavaScript版(TensorFlow.jsベース) ・Face Mesh ・Face Detection
・Hands ・Holistic ・Pose ・Selfie Segmentation など...
認識できる対象の例(一部抜粋) Hands Face Mesh
認識できる対象の例(一部抜粋) Holistic Selfie Segmentation
【技術の部分の話2】 2D・3D描画
p5.js メディアアート系などで有名な Processing の JavaScript版 •home | p5.js https://p5js.org/
•p5.js Web Editor https://editor.p5js.org/ •OpenProcessing https://openprocessing.org/ オンラインで開発 できる環境も
MediaPipe + p5.js = ?
ブラウザ上の処理でVTuber的なこと MediaPipe Holistic(人の顔や 姿勢の認識) + p5.js(画像表示系の処理)
ブラウザ上で両手の認識と3D描画 MediaPipe Hands(両手の認識) + p5.js(WebGLベースの3D描画)
ブラウザ上での人物と背景の分離+描画 MediaPipe Selfie Segmentation (人物と背景の分離) + p5.js(2D・3D描画)
MediaPipe の 最近のアップデート
ブラウザ上で虹彩の位置まで検出できる! MediaPipe Face Mesh (人の顔の検出) + p5.js(2D描画)
【技術の部分の話3】 音の機械学習モデル作成 +推論
Teachable Machine(画像・音声・ポーズ) Googleさんがオンラインで提供している仕組み ⇒ ブラウザ上の操作で学習ができて推論のお試しも
【技術の部分の話4】 Bluetooth通信(BLE)
JavaScriptで外部デバイスとの通信 ブラウザ上で実行 Node.js ・Web Serial ・Web Bluetooth ・Fetch API ・axios等を利用
・WebSocket API ・MQTT.js等を利用 ・Node Serialport ・noble・bleno ・Fetch API ・axios等を利用 ・ws等を利用 ・MQTT.js等を利用 シリアル通信 BLE HTTPリクエスト WebSocket MQTT
JavaScriptで外部デバイスとの通信 ブラウザ上で実行 Node.js ・Web Serial ・Web Bluetooth ・Fetch API ・axios等を利用
・WebSocket API ・MQTT.js等を利用 ・Node Serialport ・noble・bleno ・Fetch API ・axios等を利用 ・ws等を利用 ・MQTT.js等を利用 シリアル通信 BLE HTTPリクエスト WebSocket MQTT
デバイス系のAPIについてはこんな話も •Appleがプライバシ上の理由から、NFC、Bluetooth、他14のWeb APIの実装を拒否 https://www.infoq.com/jp/news/2020/07/apple-fingerprinting-privacy/ •Mozilla Specification Positions https://mozilla.github.io/standards-positions/ 自分に閉じて使うパターンではない場合、特に注意! (ユーザが許可する操作なしに利用できないもの
ではあるものの...)
Teachable Machine + Web Bluetooth API = ?
ブラウザで音の認識とBluetooth通信 Teachable Machine(音を対象) + Web Bluetooth API
共同主催しているコミュニティで出展して 終了後 モノ作り系イベント(Maker Faire Tokyo 2020)で展示 体験:子どもも大人も
実例メイン
【技術の部分の話5】 リアルタイム通信(MQTT)
JavaScriptで外部デバイスとの通信 ブラウザ上で実行 Node.js ・Web Serial ・Web Bluetooth ・Fetch API ・axios等を利用
・WebSocket API ・MQTT.js等を利用 ・Node Serialport ・noble・bleno ・Fetch API ・axios等を利用 ・ws等を利用 ・MQTT.js等を利用 シリアル通信 BLE HTTPリクエスト WebSocket MQTT
MQTT + p5.js = ?
2台のスマホの描画連動
物理演算エンジン + 画像認識 + p5.js = ?
物理演算エンジンエンジン+手の認識
ARマーカー認識 + p5.js = ?
ARマーカー認識+2D描画
イベントの話 x 2 (connpass に掲載)
ビジュアルプログラミング x IoT 再来週 10/28(木)20:00 から(視聴は YouTube にて)
ビジュアルプログラミング全般 3週間後、 11/2(火)19:30 から(視聴は YouTube にて)
終わり!
More Decks by you(@youtoy)
See All by you(@youtoy)
つくって、体験してもらって、楽しんでもらう - 子どもも大人もワクワクするインタラクティブ体験を支える技術 -
you
PRO
0
73
コーディングエージェントでM5Stack系の開発を少し試した時の話 / M5 Japan Tour 2026 Autumn 東京
you
PRO
0
270
toio・myCobotでフィジカルAIっぽいことを行うための検討(とりあえず調査) / フィジカルAI LT(IoTLTによる開催)
you
PRO
0
470
Webの技術とガジェットで子どもも大人も楽しめるワクワク体験を提供する / Qiita Tech Festa Day 2026
you
PRO
1
390
ローカルLLMとLINE Botの組み合わせ その3 / LINE DC Generative AI Meetup #8
you
PRO
0
210
クラウドファンディング版StackChan 3体(4体)をインタラクティブな体験型作品にして展示もした話 / スタックチャンお誕生日会2026
you
PRO
0
380
イベントで大活躍する電子ペーパー名札 〜その3〜 / ビジュアルプログラミングIoTLT vol.23
you
PRO
0
450
AI時代だけど、わりと力業で追いかけている技術情報収集の話 / 20260518
you
PRO
0
62
最近の技術系の話題で気になったもの色々(IoT系以外も) / IoTLT 花見予定会(たぶんBBQ) @都立潮風公園バーベキュー広場
you
PRO
1
480
Other Decks in Technology
See All in Technology
市販IoT機器や自作IoT機器とHomeAssistantを駆使して家の電気代をできる限り見える化する方法の考案
harutiro
0
300
Context parameters で作る!はじめての型クラス
kworkdev
PRO
0
120
Steering と Hook (チームの決まりを守らせる) | 目指せ Kiro マスター 06
inariku
PRO
2
140
AWS基盤改善を支える 私たちの理念と行動指針
kentosuzuki
0
230
Claude Securityを使ってみた / claude-security-claude-code-meetup-nagoya
tnir
0
130
gem install とrequire のむこうがわ
ydah
0
130
MCPでネットワーク障害調査を自動化する前に直すべき3つのこと
yama3133
0
480
[関西Kaggler会 20261113] 続・コミュニティコンペのススメ
nejumi
0
110
2026-11-16 JAWS-UG コンテナ支部 #31 ゆるLT大会 ECR のライフサイクルポリシーを いい感じに設定したい / ECR Lifecycle policy
masasuzu
1
180
SSFの現在地 ― CAEP/RISCからAI Identityへ
oidfj
0
460
お風呂場をサーバルームにしよう
yusuke427
0
270
ラクスル会社紹介資料|エンジニア向け / RAKSUL Introduction for Engineers
raksulrecruiting
0
120
Featured
See All Featured
Amusing Abliteration
ianozsvald
1
390
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
21
1.7k
Building a A Zero-Code AI SEO Workflow
portentint
PRO
0
830
Statistics for Hackers
jakevdp
799
230k
Why Mistakes Are the Best Teachers: Turning Failure into a Pathway for Growth
auna
0
350
Jess Joyce - The Pitfalls of Following Frameworks
techseoconnect
PRO
1
480
Bootstrapping a Software Product
garrettdimon
PRO
306
120k
Utilizing Notion as your number one productivity tool
mfonobong
4
640
Keith and Marios Guide to Fast Websites
keithpitt
413
23k
Everyday Curiosity
cassininazir
0
400
The innovator’s Mindset - Leading Through an Era of Exponential Change - McGill University 2025
jdejongh
PRO
1
400
Organizational Design Perspectives: An Ontology of Organizational Design Elements
kimpetersen
PRO
1
880