Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
GeminiとUnityで実現するインタラクティブアート
Search
ほき
December 01, 2024
Technology
0
1.4k
GeminiとUnityで実現するインタラクティブアート
GDG DevFest Tokyo 2024 のLT枠で発表した内容です.
学園祭で展示したGDGoC TUATと東京農工大学ステージ研究会の共創プロジェクトについて発表しました.
ほき
December 01, 2024
Tweet
Share
More Decks by ほき
See All by ほき
脳波を用いた嗜好マッチングシステム
hokkey621
0
420
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
hokkey621
0
53
Learning to Model the World with Language
hokkey621
0
6
LT - Gemma Developer Time
hokkey621
0
5
wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations
hokkey621
0
5
イベントを主催してわかった運営のノウハウ
hokkey621
0
72
Google AI “Gemini”を使ったチャットBot
hokkey621
0
79
Solution Challenge 2024 で作ったもの紹介
hokkey621
0
33
不器用な人のためのfish shell/fishshell-is-good-to-bungler
hokkey621
0
55
Other Decks in Technology
See All in Technology
Datasets for Critical Operations by Dataform
kimujun
0
120
Ktor + Google Cloud Tasks/PubSub におけるOTel Messaging計装の実践
sansantech
PRO
1
330
2025/07/22_家族アルバム みてねのCRE における生成AI活用事例
masartz
2
140
Kiro Hookを Terraformで検証
ao_inoue
0
140
Microsoft Learn MCP/Fabric データエージェント/Fabric MCP/Copilot Studio-簡単・便利なAIエージェント作ってみた -"Building Simple and Powerful AI Agents with Microsoft Learn MCP, Fabric Data Agent, Fabric MCP, and Copilot Studio"-
reireireijinjin6
1
150
東京海上日動におけるセキュアな開発プロセスの取り組み
miyabit
0
200
分散トレーシングによる コネクティッドカーのデータ処理見える化の試み
thatsdone
0
270
「育てる」サーバーレス 〜チーム開発研修で学んだ、小さく始めて大きく拡張するAWS設計〜
yu_kod
1
180
PdM業務における使い分け
shinshiro
0
670
Snowflake のアーキテクチャは本当に筋がよかったのか / Data Engineering Study #30
indigo13love
0
280
CSPヘッダー導入で実現するWebサイトの多層防御:今すぐ試せる設定例と運用知見
llamakko
1
270
「AI駆動開発」のボトルネック『言語化』を効率化するには
taniiicom
1
210
Featured
See All Featured
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
Mobile First: as difficult as doing things right
swwweet
223
9.7k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
Faster Mobile Websites
deanohume
308
31k
Unsuck your backbone
ammeep
671
58k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
35
2.5k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
1k
Docker and Python
trallard
45
3.5k
Designing Experiences People Love
moore
142
24k
Six Lessons from altMBA
skipperchong
28
3.9k
Thoughts on Productivity
jonyablonski
69
4.8k
Rails Girls Zürich Keynote
gr2m
95
14k
Transcript
GeminiとUnityで実現する インタラクティブアート
プロダクト概要 • テーマはコミュニケーション • 感想ノートをデジタルアート化 • 来場者の入力によって表示が変化 #農工祭interactiveArt
None
システム構成図 入力 解析 生成 出力 発話 手書き タイピング LEDライト 投影機
スピーカー 照明 エフェクト 映像描画 SE 文章解析 座標化
入力 • 来場者の想いを言葉にして入力 • 幅広い年齢のユーザに対応する ために多様な入力方法を提供 ◦ キーボード ◦ 音声
◦ 手書き文字 ArUco Marker Google Document AI Google Speech to Text 文章解析 キーボード 手書き 音声
座標生成 • GoogleのEmbeddings APIを用いて文章を埋め込みベクトルに変換 • 主成分分析で4次元ベクトルに変換 Texts 756 Embedding Vector
4 Star position PCA
映像生成 • Pythonから4次元ベクトルを受信 • 時刻によって投影の視点を変化 • 遠近投影で3次元投影 Unity 4次元ベクトル 回転、投影行列
3次元ベクトル 投影 Python
中間の文章を生成 • 2つの文章をランダムで選択 • 中間的な文章生成を行わせる • JSONモードで出力 “ふたつの文章が入力されます。この 2つの文章の意味について考え、意味 の空間の中で中点に存在するであろ
う文章を生成してください。元の文 章について、その意味のみを抽出 し、出力結果にはその文字面がもれ ることのないようにしてください。 できるだけ具体的に出力してくださ い。”
206 人 2日間で が遊んでくれました
まとめ • コミュニケーションをテーマにしたインタラクティブアートを展示 • 時間を超えた人と人のつながりを表現 • プログラミングサークル以外との共創