Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
GeminiとUnityで実現するインタラクティブアート
Search
ほき
December 01, 2024
Technology
0
950
GeminiとUnityで実現するインタラクティブアート
GDG DevFest Tokyo 2024 のLT枠で発表した内容です.
学園祭で展示したGDGoC TUATと東京農工大学ステージ研究会の共創プロジェクトについて発表しました.
ほき
December 01, 2024
Tweet
Share
More Decks by ほき
See All by ほき
イベントを主催してわかった運営のノウハウ
hokkey621
0
52
Google AI “Gemini”を使ったチャットBot
hokkey621
0
48
Solution Challenge 2024 で作ったもの紹介
hokkey621
0
25
不器用な人のためのfish shell/fishshell-is-good-to-bungler
hokkey621
0
42
Other Decks in Technology
See All in Technology
能動的ドメイン名ライフサイクル管理のすゝめ / Practice on Active Domain Name Lifecycle Management
nttcom
0
340
Visual StudioとかIDE関連小ネタ話
kosmosebi
1
330
機械学習を「社会実装」するということ 2025年版 / Social Implementation of Machine Learning 2025 Version
moepy_stats
3
410
AI×医用画像の現状と可能性_2024年版/AI×medical_imaging_in_japan_2024
tdys13
1
1.3k
Accessibility Inspectorを活用した アプリのアクセシビリティ向上方法
hinakko
0
140
普通のエンジニアがLaravelコアチームメンバーになるまで
avosalmon
0
690
Alignment and Autonomy in Cybozu - 300人の開発組織でアラインメントと自律性を両立させるアジャイルな組織運営 / RSGT2025
ama_ch
1
2.1k
🌏丸い地球を効率的に平たくする 〜🗺️地図の幾何学とWeb地図技術〜
syotasasaki593876
0
120
プロダクト組織で取り組むアドベントカレンダー/Advent Calendar in Product Teams
mixplace
0
680
2025年の挑戦 コーポレートエンジニアの技術広報/techpr5
nishiuma
0
110
rootful・rootless・privilegedコンテナの違い/rootful_rootless_privileged_container_difference
moz_sec_
0
120
ゼロからわかる!!AWSの構成図を書いてみようワークショップ 問題&解答解説 #デッカイギ #羽田デッカイギおつ
_mossann_t
0
1.2k
Featured
See All Featured
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
8
1.2k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
120k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
3
340
The Illustrated Children's Guide to Kubernetes
chrisshort
48
49k
Git: the NoSQL Database
bkeepers
PRO
427
64k
How GitHub (no longer) Works
holman
312
140k
Into the Great Unknown - MozCon
thekraken
34
1.6k
Fontdeck: Realign not Redesign
paulrobertlloyd
82
5.3k
Fireside Chat
paigeccino
34
3.1k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
29
950
Rebuilding a faster, lazier Slack
samanthasiow
79
8.8k
Visualization
eitanlees
146
15k
Transcript
GeminiとUnityで実現する インタラクティブアート
プロダクト概要 • テーマはコミュニケーション • 感想ノートをデジタルアート化 • 来場者の入力によって表示が変化 #農工祭interactiveArt
None
システム構成図 入力 解析 生成 出力 発話 手書き タイピング LEDライト 投影機
スピーカー 照明 エフェクト 映像描画 SE 文章解析 座標化
入力 • 来場者の想いを言葉にして入力 • 幅広い年齢のユーザに対応する ために多様な入力方法を提供 ◦ キーボード ◦ 音声
◦ 手書き文字 ArUco Marker Google Document AI Google Speech to Text 文章解析 キーボード 手書き 音声
座標生成 • GoogleのEmbeddings APIを用いて文章を埋め込みベクトルに変換 • 主成分分析で4次元ベクトルに変換 Texts 756 Embedding Vector
4 Star position PCA
映像生成 • Pythonから4次元ベクトルを受信 • 時刻によって投影の視点を変化 • 遠近投影で3次元投影 Unity 4次元ベクトル 回転、投影行列
3次元ベクトル 投影 Python
中間の文章を生成 • 2つの文章をランダムで選択 • 中間的な文章生成を行わせる • JSONモードで出力 “ふたつの文章が入力されます。この 2つの文章の意味について考え、意味 の空間の中で中点に存在するであろ
う文章を生成してください。元の文 章について、その意味のみを抽出 し、出力結果にはその文字面がもれ ることのないようにしてください。 できるだけ具体的に出力してくださ い。”
206 人 2日間で が遊んでくれました
まとめ • コミュニケーションをテーマにしたインタラクティブアートを展示 • 時間を超えた人と人のつながりを表現 • プログラミングサークル以外との共創