Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
GeminiとUnityで実現する インタラクティブアート
Slide 2
Slide 2 text
プロダクト概要 ● テーマはコミュニケーション ● 感想ノートをデジタルアート化 ● 来場者の入力によって表示が変化 #農工祭interactiveArt
Slide 3
Slide 3 text
No content
Slide 4
Slide 4 text
システム構成図 入力 解析 生成 出力 発話 手書き タイピング LEDライト 投影機 スピーカー 照明 エフェクト 映像描画 SE 文章解析 座標化
Slide 5
Slide 5 text
入力 ● 来場者の想いを言葉にして入力 ● 幅広い年齢のユーザに対応する ために多様な入力方法を提供 ○ キーボード ○ 音声 ○ 手書き文字 ArUco Marker Google Document AI Google Speech to Text 文章解析 キーボード 手書き 音声
Slide 6
Slide 6 text
座標生成 ● GoogleのEmbeddings APIを用いて文章を埋め込みベクトルに変換 ● 主成分分析で4次元ベクトルに変換 Texts 756 Embedding Vector 4 Star position PCA
Slide 7
Slide 7 text
映像生成 ● Pythonから4次元ベクトルを受信 ● 時刻によって投影の視点を変化 ● 遠近投影で3次元投影 Unity 4次元ベクトル 回転、投影行列 3次元ベクトル 投影 Python
Slide 8
Slide 8 text
中間の文章を生成 ● 2つの文章をランダムで選択 ● 中間的な文章生成を行わせる ● JSONモードで出力 “ふたつの文章が入力されます。この 2つの文章の意味について考え、意味 の空間の中で中点に存在するであろ う文章を生成してください。元の文 章について、その意味のみを抽出 し、出力結果にはその文字面がもれ ることのないようにしてください。 できるだけ具体的に出力してくださ い。”
Slide 9
Slide 9 text
206 人 2日間で が遊んでくれました
Slide 10
Slide 10 text
まとめ ● コミュニケーションをテーマにしたインタラクティブアートを展示 ● 時間を超えた人と人のつながりを表現 ● プログラミングサークル以外との共創