Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
メタバース空間で対話相⼿に向かって⾃律移動するAIアバター『ノア』の開発 / EC2025-O...
Search
yumulab
August 26, 2025
Research
0
25
メタバース空間で対話相⼿に向かって⾃律移動するAIアバター『ノア』の開発 / EC2025-Oyamada
2025年8月26日(火)の情報処理学会エンタテインメントコンピューティング(EC2025)シンポジウム発表ポスター
yumulab
August 26, 2025
Tweet
Share
More Decks by yumulab
See All by yumulab
研究室から社会へ 〜 情報科学でつなぐ科学技術コミュニケーション実践 / #CoSTEP20th
yumulab
0
54
A Proposal of an Information Delivery Method using Human Movement as a Communication Medium for Electronic Paper Signage / ICEC2025
yumulab
0
13
足位置の視覚的提示による電子オルガンのペダル鍵盤演奏学習支援システムの提案 / EC2025-Hokin
yumulab
0
23
電子ペーパーサイネージにおける人の移動を通信媒介とした情報配送手法の提案 / EC2025-Akiba
yumulab
0
16
フィジカルコンピューティングでアイデアをカタチに! / hiu-physcom
yumulab
0
38
大学内にファブスペースをつくってみた #sapporo3dp / Making HIU Fab
yumulab
1
70
感圧導電シートを用いた床面圧力センサによる人物同定手法の開発 / HCI213
yumulab
0
15
ASSADS:ASMR動画に合わせて撫でられる感覚を提示するシステムの開発と評価 / ec75-shimizu
yumulab
1
620
ウッドスタックチャン:木材を用いた小型エージェントロボットの開発と印象評価 / ec75-sato
yumulab
1
570
Other Decks in Research
See All in Research
Mamba-in-Mamba: Centralized Mamba-Cross-Scan in Tokenized Mamba Model for Hyperspectral Image Classification
satai
3
130
EarthDial: Turning Multi-sensory Earth Observations to Interactive Dialogues
satai
3
260
Combining Deep Learning and Street View Imagery to Map Smallholder Crop Types
satai
3
120
AIスパコン「さくらONE」の オブザーバビリティ / Observability for AI Supercomputer SAKURAONE
yuukit
1
390
Towards a More Efficient Reasoning LLM: AIMO2 Solution Summary and Introduction to Fast-Math Models
analokmaus
2
950
問いを起点に、社会と共鳴する知を育む場へ
matsumoto_r
PRO
0
670
SegEarth-OV: Towards Training-Free Open-Vocabulary Segmentation for Remote Sensing Images
satai
3
340
[輪講] SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features
nk35jk
3
1.3k
Combinatorial Search with Generators
kei18
0
1k
20250725-bet-ai-day
cipepser
2
490
Mechanistic Interpretability:解釈可能性研究の新たな潮流
koshiro_aoki
1
490
論文読み会 SNLP2025 Learning Dynamics of LLM Finetuning. In: ICLR 2025
s_mizuki_nlp
0
290
Featured
See All Featured
Being A Developer After 40
akosma
91
590k
Building Adaptive Systems
keathley
44
2.8k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3.1k
Fireside Chat
paigeccino
41
3.7k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
10
620
The Language of Interfaces
destraynor
162
25k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
127
54k
Git: the NoSQL Database
bkeepers
PRO
431
66k
Principles of Awesome APIs and How to Build Them.
keavy
127
17k
Documentation Writing (for coders)
carmenintech
75
5.1k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
36
6.1k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
253
22k
Transcript
メタバース空間で対話相手に向かって 自律移動するAIアバター『ノア』の開発 北海道情報大学 小山田 悠人 , 湯村 翼 ユースケース •
イベントの案内用アバター • バーチャルショップの店員 • 実践的なロールプレイ • 語学学習パートナー • 個人の会話相手 などが挙げられる 今後の予定 • 現在状況の表示機能 • モーション追加 • 対話ユーザーの記憶 • ユーザーの常時追従 • GUI設定機能 • BOOTHでの一般配布 概要 • VRChat上で動作するAIアバターを開発中 • 音声会話機能、ユーザー近傍への自律移動機能を持つ 課題・目的 • メタバース空間で会話可能なAI アバターの開発が進むが、アバターの動作を交えたインタラクションは困難 • ユーザーとの会話に加え、呼びかけに応じて自律移動を行うAIアバターを開発する VRChatについて • VRChat Inc.が運営しているソーシャルVRプラットフォーム • アバターでワールド内の移動や会話が可能 • アバターやワールドの制作も可能で自由度が高い 会話プログラム • 音声は文字起こしエンジン「Faster Whisper」によってテキストに変換 • テキストを対話生成モデル「ChatGPT」に送信し自然な返答文を生成 • 返答文を音声合成エンジン「VOICEVOX」によりAIアバターの音声として再生 • この一連の流れにより、人間とAIアバターとのスムーズな会話を実現 移動プログラム • ユーザーの音声を感知し、方向を推測 • その方向に居るユーザーへ回転。ユーザーの座標とAIアバターの方向は OCRで取得 • 再度そのユーザーの音声が認識された場合接近し、会話プログラムを作動させる • 終了後、元位置へ戻り再度待機 ユーザー 文字起こしライブラリ faster_whisper 音声合成関数 ユーザの 発話 AIアバターの 発話 マイク入力 音声合成関数 ChatGPT 音声合成エンジン VOICEVOX 文字起こし結果 会話返答内容 対話生成関数 スピーカー再生 ユーザー側画面 ユーザー ユーザーの発話を感知 発話したユーザーを 特定、その方向へ 回転する 発話したユーザーへ 移動、接近後 会話プログラムを作動 1 2 3 AIアバター AIアバターの方向 各ユーザーの座標