Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
メタバース空間で対話相⼿に向かって⾃律移動するAIアバター『ノア』の開発 / EC2025-O...
Search
yumulab
August 26, 2025
Research
0
21
メタバース空間で対話相⼿に向かって⾃律移動するAIアバター『ノア』の開発 / EC2025-Oyamada
2025年8月26日(火)の情報処理学会エンタテインメントコンピューティング(EC2025)シンポジウム発表ポスター
yumulab
August 26, 2025
Tweet
Share
More Decks by yumulab
See All by yumulab
研究室から社会へ 〜 情報科学でつなぐ科学技術コミュニケーション実践 / #CoSTEP20th
yumulab
0
47
A Proposal of an Information Delivery Method using Human Movement as a Communication Medium for Electronic Paper Signage / ICEC2025
yumulab
0
7
足位置の視覚的提示による電子オルガンのペダル鍵盤演奏学習支援システムの提案 / EC2025-Hokin
yumulab
0
20
電子ペーパーサイネージにおける人の移動を通信媒介とした情報配送手法の提案 / EC2025-Akiba
yumulab
0
13
フィジカルコンピューティングでアイデアをカタチに! / hiu-physcom
yumulab
0
36
大学内にファブスペースをつくってみた #sapporo3dp / Making HIU Fab
yumulab
1
61
感圧導電シートを用いた床面圧力センサによる人物同定手法の開発 / HCI213
yumulab
0
11
ASSADS:ASMR動画に合わせて撫でられる感覚を提示するシステムの開発と評価 / ec75-shimizu
yumulab
1
540
ウッドスタックチャン:木材を用いた小型エージェントロボットの開発と印象評価 / ec75-sato
yumulab
1
550
Other Decks in Research
See All in Research
最適決定木を用いた処方的価格最適化
mickey_kubo
4
1.9k
能動適応的実験計画
masakat0
2
830
Vision and LanguageからのEmbodied AIとAI for Science
yushiku
PRO
1
550
単施設でできる臨床研究の考え方
shuntaros
0
3k
[RSJ25] Enhancing VLA Performance in Understanding and Executing Free-form Instructions via Visual Prompt-based Paraphrasing
keio_smilab
PRO
0
140
Learning to (Learn at Test Time): RNNs with Expressive Hidden States
kurita
1
250
心理言語学の視点から再考する言語モデルの学習過程
chemical_tree
2
610
Nullspace MPC
mizuhoaoki
1
140
問いを起点に、社会と共鳴する知を育む場へ
matsumoto_r
PRO
0
640
国際論文を出そう!ICRA / IROS / RA-L への論文投稿の心構えとノウハウ / RSJ2025 Luncheon Seminar
koide3
9
5.3k
とあるSREの博士「過程」 / A Certain SRE’s Ph.D. Journey
yuukit
11
4.3k
近似動的計画入門
mickey_kubo
4
1k
Featured
See All Featured
Visualization
eitanlees
148
16k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
358
30k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
140
34k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.9k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.5k
How GitHub (no longer) Works
holman
315
140k
Scaling GitHub
holman
463
140k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.7k
YesSQL, Process and Tooling at Scale
rocio
173
14k
Facilitating Awesome Meetings
lara
56
6.6k
Designing for humans not robots
tammielis
254
25k
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.7k
Transcript
メタバース空間で対話相手に向かって 自律移動するAIアバター『ノア』の開発 北海道情報大学 小山田 悠人 , 湯村 翼 ユースケース •
イベントの案内用アバター • バーチャルショップの店員 • 実践的なロールプレイ • 語学学習パートナー • 個人の会話相手 などが挙げられる 今後の予定 • 現在状況の表示機能 • モーション追加 • 対話ユーザーの記憶 • ユーザーの常時追従 • GUI設定機能 • BOOTHでの一般配布 概要 • VRChat上で動作するAIアバターを開発中 • 音声会話機能、ユーザー近傍への自律移動機能を持つ 課題・目的 • メタバース空間で会話可能なAI アバターの開発が進むが、アバターの動作を交えたインタラクションは困難 • ユーザーとの会話に加え、呼びかけに応じて自律移動を行うAIアバターを開発する VRChatについて • VRChat Inc.が運営しているソーシャルVRプラットフォーム • アバターでワールド内の移動や会話が可能 • アバターやワールドの制作も可能で自由度が高い 会話プログラム • 音声は文字起こしエンジン「Faster Whisper」によってテキストに変換 • テキストを対話生成モデル「ChatGPT」に送信し自然な返答文を生成 • 返答文を音声合成エンジン「VOICEVOX」によりAIアバターの音声として再生 • この一連の流れにより、人間とAIアバターとのスムーズな会話を実現 移動プログラム • ユーザーの音声を感知し、方向を推測 • その方向に居るユーザーへ回転。ユーザーの座標とAIアバターの方向は OCRで取得 • 再度そのユーザーの音声が認識された場合接近し、会話プログラムを作動させる • 終了後、元位置へ戻り再度待機 ユーザー 文字起こしライブラリ faster_whisper 音声合成関数 ユーザの 発話 AIアバターの 発話 マイク入力 音声合成関数 ChatGPT 音声合成エンジン VOICEVOX 文字起こし結果 会話返答内容 対話生成関数 スピーカー再生 ユーザー側画面 ユーザー ユーザーの発話を感知 発話したユーザーを 特定、その方向へ 回転する 発話したユーザーへ 移動、接近後 会話プログラムを作動 1 2 3 AIアバター AIアバターの方向 各ユーザーの座標