メタバース空間で対話相手に向かって 自律移動するAIアバター『ノア』の開発 北海道情報大学 小山田 悠人 , 湯村 翼 ユースケース • イベントの案内用アバター • バーチャルショップの店員 • 実践的なロールプレイ • 語学学習パートナー • 個人の会話相手 などが挙げられる 今後の予定 • 現在状況の表示機能 • モーション追加 • 対話ユーザーの記憶 • ユーザーの常時追従 • GUI設定機能 • BOOTHでの一般配布 概要 • VRChat上で動作するAIアバターを開発中 • 音声会話機能、ユーザー近傍への自律移動機能を持つ 課題・目的 • メタバース空間で会話可能なAI アバターの開発が進むが、アバターの動作を交えたインタラクションは困難 • ユーザーとの会話に加え、呼びかけに応じて自律移動を行うAIアバターを開発する VRChatについて • VRChat Inc.が運営しているソーシャルVRプラットフォーム • アバターでワールド内の移動や会話が可能 • アバターやワールドの制作も可能で自由度が高い 会話プログラム • 音声は文字起こしエンジン「Faster Whisper」によってテキストに変換 • テキストを対話生成モデル「ChatGPT」に送信し自然な返答文を生成 • 返答文を音声合成エンジン「VOICEVOX」によりAIアバターの音声として再生 • この一連の流れにより、人間とAIアバターとのスムーズな会話を実現 移動プログラム • ユーザーの音声を感知し、方向を推測 • その方向に居るユーザーへ回転。ユーザーの座標とAIアバターの方向は OCRで取得 • 再度そのユーザーの音声が認識された場合接近し、会話プログラムを作動させる • 終了後、元位置へ戻り再度待機 ユーザー 文字起こしライブラリ faster_whisper 音声合成関数 ユーザの 発話 AIアバターの 発話 マイク入力 音声合成関数 ChatGPT 音声合成エンジン VOICEVOX 文字起こし結果 会話返答内容 対話生成関数 スピーカー再生 ユーザー側画面 ユーザー ユーザーの発話を感知 発話したユーザーを 特定、その方向へ 回転する 発話したユーザーへ 移動、接近後 会話プログラムを作動 1 2 3 AIアバター AIアバターの方向 各ユーザーの座標