GeminiとUnityで実現する インタラクティブアート

プロダクト概要 ● テーマはコミュニケーション ● 感想ノートをデジタルアート化 ● 来場者の入力によって表示が変化 #農工祭interactiveArt

No content

システム構成図 入力 解析 生成 出力 発話 手書き タイピング LEDライト 投影機 スピーカー 照明 エフェクト 映像描画 SE 文章解析 座標化

入力 ● 来場者の想いを言葉にして入力 ● 幅広い年齢のユーザに対応する ために多様な入力方法を提供 ○ キーボード ○ 音声 ○ 手書き文字 ArUco Marker Google Document AI Google Speech to Text 文章解析 キーボード 手書き 音声

座標生成 ● GoogleのEmbeddings APIを用いて文章を埋め込みベクトルに変換 ● 主成分分析で4次元ベクトルに変換 Texts 756 Embedding Vector 4 Star position PCA

映像生成 ● Pythonから4次元ベクトルを受信 ● 時刻によって投影の視点を変化 ● 遠近投影で3次元投影 Unity 4次元ベクトル 回転、投影行列 3次元ベクトル 投影 Python

中間の文章を生成 ● 2つの文章をランダムで選択 ● 中間的な文章生成を行わせる ● JSONモードで出力 “ふたつの文章が入力されます。この 2つの文章の意味について考え、意味 の空間の中で中点に存在するであろ う文章を生成してください。元の文 章について、その意味のみを抽出 し、出力結果にはその文字面がもれ ることのないようにしてください。 できるだけ具体的に出力してくださ い。”

206 人 2日間で が遊んでくれました

まとめ ● コミュニケーションをテーマにしたインタラクティブアートを展示 ● 時間を超えた人と人のつながりを表現 ● プログラミングサークル以外との共創