Slide 1

Slide 1 text

GeminiとUnityで実現する インタラクティブアート

Slide 2

Slide 2 text

プロダクト概要 ● テーマはコミュニケーション ● 感想ノートをデジタルアート化 ● 来場者の入力によって表示が変化 #農工祭interactiveArt

Slide 3

Slide 3 text

No content

Slide 4

Slide 4 text

システム構成図 入力 解析 生成 出力 発話 手書き タイピング LEDライト 投影機 スピーカー 照明 エフェクト 映像描画 SE 文章解析 座標化

Slide 5

Slide 5 text

入力 ● 来場者の想いを言葉にして入力 ● 幅広い年齢のユーザに対応する ために多様な入力方法を提供 ○ キーボード ○ 音声 ○ 手書き文字 ArUco Marker Google Document AI Google Speech to Text 文章解析 キーボード 手書き 音声

Slide 6

Slide 6 text

座標生成 ● GoogleのEmbeddings APIを用いて文章を埋め込みベクトルに変換 ● 主成分分析で4次元ベクトルに変換 Texts 756 Embedding Vector 4 Star position PCA

Slide 7

Slide 7 text

映像生成 ● Pythonから4次元ベクトルを受信 ● 時刻によって投影の視点を変化 ● 遠近投影で3次元投影 Unity 4次元ベクトル 回転、投影行列 3次元ベクトル 投影 Python

Slide 8

Slide 8 text

中間の文章を生成 ● 2つの文章をランダムで選択 ● 中間的な文章生成を行わせる ● JSONモードで出力 “ふたつの文章が入力されます。この 2つの文章の意味について考え、意味 の空間の中で中点に存在するであろ う文章を生成してください。元の文 章について、その意味のみを抽出 し、出力結果にはその文字面がもれ ることのないようにしてください。 できるだけ具体的に出力してくださ い。”

Slide 9

Slide 9 text

206 人 2日間で が遊んでくれました

Slide 10

Slide 10 text

まとめ ● コミュニケーションをテーマにしたインタラクティブアートを展示 ● 時間を超えた人と人のつながりを表現 ● プログラミングサークル以外との共創