Share
Embed
ノア:メタバース空間で対話相手に向かって自律移動するAIアバターの開発と評価 / ec79-oyamada
北海道情報大学 湯村研究室 PRO
March 10, 2026
Transcript
19 slides
-
背景 | VRChatとは? • VRChat Inc.が運営しているソーシャルVRプラッ トフォーム。 • アバターでワールド内の移動や会話が出来る •
アバターやワールドの制作も可能で自由度が高い 3 -
目的 • 現在は対話と移動の2つの要素が分断されている • 会話が成立しても、アバターの接近やユーザーへの視線移動 といった反応を示さない • 相互行為としての自然さが損なわれる • 移動と対話を統合したインタラクション設計が、メタバース
空間における人とAIの関係性をより自然にする • よって会話と移動の両方が可能なAIアバターを開発すること を目的とする • メタバースにおける人間とAIの関係性をより自然にし、同じ場を 共有している感覚を深める 4 -
先行研究 クレイマン(2024), VRChatアバターを生物のように操作する人工知能の作成 • 人工知能を制作し、人 間に近い動きをするア バターの研究 • 本研究のAIアバターは 会話機能も有する
バーチャル学会 ポスター発表 | A3 https://vconf.org/2024/poster/a3/index.html 5 -
先行研究 Zhengら (2025), Customizing Emotional Support: How Do Individuals Construct
and Interact With LLM-Powered Chatbots • ユーザーが音声や外観を自由にカスタマイズできるLLM チャットボットシステム「ChatLab」を提案。 • 22名の調査から、ユーザーは感情的支援を求めてAIと 継続的に対話し、オープンで正直な信頼関係を築くことを 明らかにした。 • 本研究では、対話に加え、呼びかけに応じた 「物理的な接近」という身体的動作を統合し、空間的な共在 感を追求 6 -
設計 | 1.会話プログラム ユーザの 発話 AIアバターの 発話 マイク入力 OpenAI Realtime
API リアルタイム 応答生成 結果受信関数 ユーザー 音声合成関数 音声合成結果 リアルタイム音声合成API Aivis Cloud API スピーカー再生 音声再生関数 7 -
設計 | 3.記憶機能 • 対話内容を簡潔にまとめ、次回以降の対話に反映させる • ユーザーごとの特徴や会話の文脈を保持し、継続的な関係性を 構築する • 対話終了時に
ChatGPT API(gpt-4o-mini)を用いて会話内容 を一文に集約する • 集約された情報をユーザー名のテキストファイルに保存する • 次回の対話開始時に会話時に相手がファイル名と同じ名前で あれば読み込み、プロンプトに組み込むことで記憶を再現する 10 -
アンケート | 概要 • 対象:研究室内の大学生/大学院生 計9人 • 実際に移動および、自由に会話を体験してもらいアンケートに回答。Q5~Q16は7段階リッカート尺度。 番号 質問
選択肢 Q1 どのような端末でワールドにアクセスしましたか? PCのみ/PC+HMD/その他 Q2 年齢をお答えください。 ~19歳/20~29歳/30~39歳/40~49 歳/50歳~ Q3 性別をお答えください。 男性/女性/その他/回答しない Q4 どのぐらいVRChatにアクセスしていますか? ほとんどない/たまに/月1回以上/週1 回以上 Q5 ノアとの会話のやり取りはスムーズでしたか? 1:全くそう思わない~7:非常にそう思う Q6 ノアとの会話や動作に煩わしさを感じましたか? 1:全くそう思わない~7:非常にそう思う Q7 ノアの動作や反応が予測しづらいと感じましたか? 1:全くそう思わない~7:非常にそう思う Q8 ノアと会話するための操作は複雑だと感じましたか? 1:全くそう思わない~7:非常にそう思う Q9 ノアはあなたの発話内容を正しく理解していると感じましたか? 1:全くそう思わない~7:非常にそう思う Q10 ノアの行動に不自然さや違和感を感じましたか? 1:全くそう思わない~7:非常にそう思う Q11 ノアに、そこに“いる”という存在感を感じられましたか? 1:全くそう思わない~7:非常にそう思う Q12 ノアを今後も使ってみたいと思いましたか? 1:全くそう思わない~7:非常にそう思う Q13 ノアに独自の個性を感じましたか? 1:全くそう思わない~7:非常にそう思う Q14 ノアを呼びかけてから移動を開始するまでの時間はどう感じましたか? 1:非常に遅い~7:非常に速い Q15 ノアの移動速度はどう感じましたか? 1:非常に遅い~7:非常に速い Q16 会話中のノアの返事が返ってくるまでの時間はどう感じましたか? 1:非常に遅い~7:非常に速い Q17 ノアの特によかった点を教えて下さい(任意回答) 自由記述 Q18 ノアに改善してほしい点があれば教えてください(任意回答) 自由記述 Q19 ノアの動きや反応で印象に残った場面があれば教えてください(任意回答) 自由記述 12 -
アンケート | 使いやすさ・操作性(Q5-Q8) • Q5~Q8は使いやすさ及び操作性に関する項目 • Q5では平均5.4点と良好な評価、Q8も1.2点と低い値 • 一方、Q7は平均4.3点とやや高い Positive
非常にそう思う 使いやすさ・操作性(Q5-Q8) Negative Negative Negative :平均値 :中央値 7 評価値(1 - 7) 6 5 4 3 2 全くそう思わない 1 Positive Positive Positive Q5 Q6 Q7 Q8 ノアとの会話のやり取りは スムーズでしたか? ノアとの会話や動作に 煩わしさを感じましたか? ノアの動作や反応が予測 しづらいと感じましたか? ノアと会話するための操作 は複雑だと感じましたか? Negative 13 -
アンケート | システムの理解度・存在感(Q9-Q11) • Q9~Q11はシステムの理解度及び存在感に関する項目 • Q9は平均5.4点、Q11は平均5.8点と肯定的な評価 • Q10も平均2.6点と低水準 非常にそう思う
:中央値 :平均値 システムの理解度・存在感(Q9-Q11) Positive Negative Positive Negative Positive Negative Q9 Q10 Q11 7 評価値(1 - 7) 6 5 4 3 2 全くそう思わない 1 ノアはあなたの発話内容を 正しく理解していると 感じましたか? ノアの行動に不自然さや 違和感を感じましたか? ノアに、そこに“いる”という 存在感を感じられましたか? 14 -
アンケート | 継続利用傾向・個性(Q12-Q13) • Q12、Q13は継続して利用したいかの傾向とAIの個性に関する項目 • 特にQ12は平均5.1点、Q13は平均6.0点と非常に高い評価 • キャラクター性や独自の返答内容が、ユーザーの継続的な関心を惹く要 継続利用傾向・個性(Q12-Q13)
因となっている可能性が高い 非常にそう思う Positive Positive Negative Negative 7 :中央値 :平均値 評価値(1 - 7) 6 5 4 3 2 全くそう思わない 1 Q12 ノアを今後も使ってみたいと思いましたか? Q13 ノアに独自の個性を感じましたか? 15 -
アンケート | 応答時間の評価(Q14-Q16) • Q14~Q16は応答時間と移動速度に関する項目 • いずれも中間値である4点付近に集中 • 体験向上のためには改善の余地がある 応答時間の評価(Q14-Q16)
:中央値 :平均値 非常に速い 7 評価値(1 - 7) 6 5 4 3 2 非常に遅い 1 Q14 Q15 Q16 ノアを呼びかけてから移動 を開始するまでの時間は どう感じましたか? ノアの移動速度は どう感じましたか? 会話中のノアの返事が 返ってくるまでの時間は どう感じましたか? 16 -
アンケート | 自由回答 概要(Q17-Q19) 肯定的意見 • AIと話して見るのではなく、本当に人間と話している近い感覚でした (Q17) • 話題を振ってくれる(Q17)
課題意見 • 喋りの際のモーションが多いともっと身近に感じられそうだなと 感じました。(Q18) • ずっと質問で返してくるので、会話というより問答に答えているだけ と感じました。(Q19) 筆者の意見 • AIアバターとのやり取りの内容やユーザーの会話によって変わると 思われるが、改善の余地があるのが実情 17 -
今後の課題 • 評価実験より、比較的高い評価が得られたものの、会話内容の単調さや 応答の安定性については課題が残る • 対話生成プロンプトの見直しや応答遅延の軽減といった物を考える必要 があったと思う • アバターのモーションを拡充することで、より豊かなコミュニケーショ ン体験が可能になると考える。
• 最終的には配布を目指すが、そのためにもシステム面を見直す必要が ある。 • 一般的に利用されているAPI(GPT-5系)とVOICEVOXを代わりに利用可能に • 音声認識ライブラリを利用可能にする • ユーザーが使いやすいようにGUIを改良する 18 -
まとめ • 本研究では、移動と会話が可能なAIアバターの開発を行った • 音声対話およびユーザーへの移動、振る舞いによって、 ユーザーに対して存在感を与えるシステムの構築を行った。 • 特に、リアルタイム音声対話とアバターの身体動作を組み合わせることで、単なる音 声アシスタントとは異なる体験を目指した。 •
声を発したユーザー相手に能動的に関わろうとする挙動は、高い存在感とインタラク ティブ性をもたらすことが示唆された。 19