Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
p5.jsを使ったクリエイティブコーディングに機械学習やデバイス連携などを組み合わせている話 ...
Search
you(@youtoy)
PRO
December 18, 2022
Technology
300
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
p5.jsを使ったクリエイティブコーディングに機械学習やデバイス連携などを組み合わせている話 / Creative Coding作品の周辺を語る会 03
you(@youtoy)
PRO
December 18, 2022
Transcript
36 slides
p5.jsを使ったクリエイティブコーディングに 機械学習やデバイス連携などを組み合わせている話 2022年12月18日 (日) Creative Coding作品の周辺を語る会 03 @オンライン 豊田陽介( )
@youtoy
自己紹介 豊田陽介( ) @youtoy ・IT系イベント主催、登壇や運営なども ・子ども向けの活動いろいろ ・ Microsoft MVP(2021/10 から)
プライベートでの活動 ・ガジェット大好き ・今年、本2冊出したり、メーカーフェア出展3回 好きなことなど 3月発売 (共著) 7月発売 (単著)
p5.js と組み合わせている、 p5.js以外のライブラリやモノ
「画面の中」と「画面の外」 がつながる話
自己紹介に出てきたものでも機械学習の話が 豊田陽介( ) @youtoy ・IT系イベント主催、登壇や運営なども ・子ども向けの活動いろいろ ・ Microsoft MVP(2021/10 から)
プライベートでの活動 ・ガジェット大好き ・今年、本2冊出したり、メーカーフェア出展3回 好きなことなど 3月発売 (共著) 7月発売 (単著) ブラウザ上でできる機械学習 と「p5.js」の話など ビジュアルプログラミング + IoT の作例を執筆
自己紹介に出てきたものでモノとつながる話 豊田陽介( ) @youtoy ・IT系イベント主催、登壇や運営なども ・子ども向けの活動いろいろ ・ Microsoft MVP(2021/10 から)
プライベートでの活動 ・ガジェット大好き ・今年、本2冊出したり、メーカーフェア出展3回 好きなことなど 3月発売 (共著) 7月発売 (単著) 仙台での展示(途中): センサー + ロボットトイ +α の組み合わせ 最終的には、画面描 画でなくマット上に プロジェクション
p5.jsの描画に人・ロボットトイの動きが影響 p5.js公式サンプルの 「Kaleidoscope」の 入力や描画の色などを 変更 ▪ マウス操作の軌跡 を入力にする部分 ⇒
ランダムに動く ロボットトイの軌跡に (センサーで手が近づく のを認識して、動き の規則を変えたりも)
大垣のイベント出展の際に 「透明マント・光学迷彩の人 ですよね」と言われる
画面内の描画と画面外の人の動きがつながる p5.js の描画に「MediaPipe Hands」という仕組みを組み合わせ
思いついたことを 作って試すのが好きです (そして SNS などで共有したり)
p5.js を使おうと思ったきっかけ: とある機械学習の仕組みの サンプルコードで出てきた
つくばでのイベント出展準備で触れた技術 ブラウザ上で「画像・音・ポーズ(人の姿勢)」 を対象にした機械学習モデルが作成できたりする 「Teachable Machine」 の公式実装サンプルの中で登場
描画ではない部分でp5.js(+α)が使われる形 ▪制作途中のものの動画 異なる音色・音の鳴らし方 を学習(鳴らす楽器類は ダイソーで安く仕入れた) 機械学習モデルを使い、 音によってロボットトイの 動きを変える仕組みを作成
この時も大人から子どもまでを対象に 物品選定や体験を設計、小さい子にも楽しんでもらえた!
この後も技術の話ではなく 事例集的な話が続きます
ハーフミラーを使った スマートミラー的なもの
ハーフミラーの後ろでp5.jsの描画 ハーフミラーの後ろに モバイルディスプレイなど を置いて描画を出力 黒背景の部分は鏡になって 明るい色の部分は鏡の上で 描画内容が見える
100均の透明下敷きで 擬似ホログラム
ペッパーズ・ゴーストと呼ばれるものを 透明下敷きで逆さまのピラ ミッドのようなものを作成 画面(iPad)の 4箇所に同 じ内容の方向違いの描画を 表示させて透明ピラミッド にうつす
デバイスの間をIoTの通信 でつなげてみる
2台のスマホ上のキャンバスをつなぐ 2台のスマホに別々に p5.js のキャンバスを用意 デバイス間で跳ね回る ボールの位置座標を IoT の 通信(MQTT)で共有 ※
画面のつながりを縦 or 横方向に変える仕組み も入れてみた
ブラウザでできるマーカーを 使うARとの組み合わせ
WebARのマーカー上に描画を重ねる 専用マーカーを使うARの ブラウザで動くものを利用 ボールが跳ねる描画をして いるキャンバスをARマー カーに重ねる (マーカーが回転すると 重力の方向も回転)
しゃべった内容を文字にして 画面の中で落下させてみる
しゃべった声が実体化して落下する ブラウザ内蔵の音声認識を 連続稼働させたり、文字に 対して物理演算を適用 声の大きさを文字の大きさ に反映させたりも
画面上の描画の動き・速度が LEDの点灯状態に連動
p5.jsで計算した位置・速度をLEDに反映 p5.jsで描画した動く円の 位置・速度を、USB接続し たデバイス(micro:bit) に送信 USB経由で受けとった数字 を元に LED の点灯位置を 変える
デバイス上のLEDの点灯位置と p5.jsでの図形描画位置が連動
傾きで移動するLEDの点灯位置を使った描画 micro:bit の傾き具合に よって LED の点灯位置を 変更 USB経由で受けとった点灯 位置の情報を使ってp5.js でブラウザ上の描画を実行
MIDIコントローラーでの操作を 描画に反映
スライダー・ノブの操作で色などを変える USB接続のMIDIコントロー ラーの操作結果をブラウザ で取得 取得した数値データを p5.jsの描画に反映させる
引き続き お試しを続けていきたい!
今日の話の中で使っていた技術の抜粋 ブラウザの API や JavaScriptライブラリ ・Web Serial ・Web Bluetooth ・Web
MIDI ・Teachable Machine ・MediaPipe シリアル通信 BLE MIDIデバイス 機械学習 (他にもいろいろ便利なものがあります!)
終わり!
ゲームのコントローラーや 電子工作ができるボードを 組み合わせてみる
2台のスマホ上のキャンバスをつなぐ
More Decks by you(@youtoy)
See All by you(@youtoy)
つくって、体験してもらって、楽しんでもらう - 子どもも大人もワクワクするインタラクティブ体験を支える技術 -
you
PRO
0
79
コーディングエージェントでM5Stack系の開発を少し試した時の話 / M5 Japan Tour 2026 Autumn 東京
you
PRO
0
270
toio・myCobotでフィジカルAIっぽいことを行うための検討(とりあえず調査) / フィジカルAI LT(IoTLTによる開催)
you
PRO
0
480
Webの技術とガジェットで子どもも大人も楽しめるワクワク体験を提供する / Qiita Tech Festa Day 2026
you
PRO
1
410
ローカルLLMとLINE Botの組み合わせ その3 / LINE DC Generative AI Meetup #8
you
PRO
0
210
クラウドファンディング版StackChan 3体(4体)をインタラクティブな体験型作品にして展示もした話 / スタックチャンお誕生日会2026
you
PRO
0
390
イベントで大活躍する電子ペーパー名札 〜その3〜 / ビジュアルプログラミングIoTLT vol.23
you
PRO
0
460
AI時代だけど、わりと力業で追いかけている技術情報収集の話 / 20260518
you
PRO
0
62
最近の技術系の話題で気になったもの色々(IoT系以外も) / IoTLT 花見予定会(たぶんBBQ) @都立潮風公園バーベキュー広場
you
PRO
1
480
Other Decks in Technology
See All in Technology
クラウドでも使えるNetApp -現場目線での設計とクラウドバックアップの活用
ryutakondo
1
320
落とし穴にハマってわかった 開発生産性を測るときに気をつけたいこと
munakata
3
490
Test Impact Analysis を武器に立ち向かう、AI 時代のテスト増加に対するヌーラボのアプローチ / getting-started-datadog-test-impact-analysis
k6s4i53rx
3
410
MCPでネットワーク障害調査を自動化する前に直すべき3つのこと
yama3133
1
660
AWS Client VPNの設定でハマったポイントとその過程での気づき
amarelo_n24
1
440
自動計装なしでECSサービスをApplication Signalsに載せるまで
ota1022
2
470
実測データからサービスの成長余力を測る。負荷シナリオ・テストデータ・限界値の設計
kazatohiei
0
170
New Relicのアラート対応をClaude Codeで自動修正するワークフローを作った話
manabuseki
2
560
市販IoT機器や自作IoT機器とHomeAssistantを駆使して家の電気代をできる限り見える化する方法の考案
harutiro
0
410
AWS re:Invent 2026 FSI Pre-Event Networking Night
junjikoide
0
190
その修正で本当に速くなったのか? k6とOpenTelemetryで確かめる性能改善 / Performance review with k6 and OpenTelemetry
ymotongpoo
3
440
Amazon Bedrock AgentCore の基礎とセキュリティ・ガバナンス
ren8k
0
270
Featured
See All Featured
世界の人気アプリ100個を分析して見えたペイウォール設計の心得
akihiro_kokubo
PRO
73
43k
How People are Using Generative and Agentic AI to Supercharge Their Products, Projects, Services and Value Streams Today
helenjbeal
2
400
A Modern Web Designer's Workflow
chriscoyier
699
190k
A Tale of Four Properties
chriscoyier
163
24k
Test your architecture with Archunit
thirion
2
2.5k
Google's AI Overviews - The New Search
badams
0
1.7k
Ecommerce SEO: The Keys for Success Now & Beyond - #SERPConf2024
aleyda
1
2.3k
How to Align SEO within the Product Triangle To Get Buy-In & Support - #RIMC
aleyda
2
1.9k
Build The Right Thing And Hit Your Dates
maggiecrowley
39
3.5k
WENDY [Excerpt]
tessaabrams
15
41k
Avoiding the “Bad Training, Faster” Trap in the Age of AI
tmiket
1
310
Measuring & Analyzing Core Web Vitals
bluesmoon
9
1.1k