Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
GeminiとUnityで実現するインタラクティブアート
Search
ほき
December 01, 2024
Technology
0
1.3k
GeminiとUnityで実現するインタラクティブアート
GDG DevFest Tokyo 2024 のLT枠で発表した内容です.
学園祭で展示したGDGoC TUATと東京農工大学ステージ研究会の共創プロジェクトについて発表しました.
ほき
December 01, 2024
Tweet
Share
More Decks by ほき
See All by ほき
脳波を用いた嗜好マッチングシステム
hokkey621
0
400
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
hokkey621
0
46
Learning to Model the World with Language
hokkey621
0
4
LT - Gemma Developer Time
hokkey621
0
4
wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations
hokkey621
0
4
イベントを主催してわかった運営のノウハウ
hokkey621
0
71
Google AI “Gemini”を使ったチャットBot
hokkey621
0
76
Solution Challenge 2024 で作ったもの紹介
hokkey621
0
33
不器用な人のためのfish shell/fishshell-is-good-to-bungler
hokkey621
0
54
Other Decks in Technology
See All in Technology
250627 関西Ruby会議08 前夜祭 RejectKaigi「DJ on Ruby Ver.0.1」
msykd
PRO
2
320
PostgreSQL 18 cancel request key長の変更とRailsへの関連
yahonda
0
120
セキュリティの民主化は何故必要なのか_AWS WAF 運用の 10 の苦悩から学ぶ
yoh
1
180
Agentic Workflowという選択肢を考える
tkikuchi1002
1
540
生成AIで小説を書くためにプロンプトの制約や原則について学ぶ / prompt-engineering-for-ai-fiction
nwiizo
4
2.3k
5min GuardDuty Extended Threat Detection EKS
takakuni
0
150
Amazon S3標準/ S3 Tables/S3 Express One Zoneを使ったログ分析
shigeruoda
4
550
A2Aのクライアントを自作する
rynsuke
1
190
「Chatwork」の認証基盤の移行とログ活用によるプロダクト改善
kubell_hr
1
200
プロダクトエンジニアリング組織への歩み、その現在地 / Our journey to becoming a product engineering organization
hiro_torii
0
130
AWS アーキテクチャ作図入門/aws-architecture-diagram-101
ma2shita
30
11k
Windows 11 で AWS Documentation MCP Server 接続実践/practical-aws-documentation-mcp-server-connection-on-windows-11
emiki
0
1k
Featured
See All Featured
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Being A Developer After 40
akosma
90
590k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
RailsConf 2023
tenderlove
30
1.1k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.4k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
657
60k
Facilitating Awesome Meetings
lara
54
6.4k
It's Worth the Effort
3n
185
28k
A designer walks into a library…
pauljervisheath
207
24k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Embracing the Ebb and Flow
colly
86
4.7k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Transcript
GeminiとUnityで実現する インタラクティブアート
プロダクト概要 • テーマはコミュニケーション • 感想ノートをデジタルアート化 • 来場者の入力によって表示が変化 #農工祭interactiveArt
None
システム構成図 入力 解析 生成 出力 発話 手書き タイピング LEDライト 投影機
スピーカー 照明 エフェクト 映像描画 SE 文章解析 座標化
入力 • 来場者の想いを言葉にして入力 • 幅広い年齢のユーザに対応する ために多様な入力方法を提供 ◦ キーボード ◦ 音声
◦ 手書き文字 ArUco Marker Google Document AI Google Speech to Text 文章解析 キーボード 手書き 音声
座標生成 • GoogleのEmbeddings APIを用いて文章を埋め込みベクトルに変換 • 主成分分析で4次元ベクトルに変換 Texts 756 Embedding Vector
4 Star position PCA
映像生成 • Pythonから4次元ベクトルを受信 • 時刻によって投影の視点を変化 • 遠近投影で3次元投影 Unity 4次元ベクトル 回転、投影行列
3次元ベクトル 投影 Python
中間の文章を生成 • 2つの文章をランダムで選択 • 中間的な文章生成を行わせる • JSONモードで出力 “ふたつの文章が入力されます。この 2つの文章の意味について考え、意味 の空間の中で中点に存在するであろ
う文章を生成してください。元の文 章について、その意味のみを抽出 し、出力結果にはその文字面がもれ ることのないようにしてください。 できるだけ具体的に出力してくださ い。”
206 人 2日間で が遊んでくれました
まとめ • コミュニケーションをテーマにしたインタラクティブアートを展示 • 時間を超えた人と人のつながりを表現 • プログラミングサークル以外との共創