会話AIロボットRomiにおける自然な会話のためのアーキテクチャ設計

━━━━━━━━━━━━━━━━━━━━━━━━━━━━
　　MIXI MEETUP！AI DAY 2026 - SESSION ARCHIVE
━━━━━━━━━━━━━━━━━━━━━━━━━━━━

会話AIロボットRomiにおける自然な会話のためのアーキテクチャ設計

会話AIロボットRomiは、AIと物理的な身体性を融合することで、統合的な会話体験を実現しています。近年、OpenAI社が提供する gpt-realtime をはじめとしたリアルタイム会話モデルの登場により、ロボットとの対話は大きく進化しています。本講演では、音声や視覚といった各種モダリティに加え、外部情報や長期記憶を統合し、自然な会話を実現するためのソフトウェアアーキテクチャについて紹介します。

Vantageスタジオ/Romi事業部/AIロボット/開発グループ
髙田 信一

────────────────────────────
□セッション情報
https://mixi.connpass.com/event/380889/
□イベントハッシュタグ
#miximeetup2026
━━━━━━━━━━━━━━━━━━━━━━━━━━━━

◇◆◇ Information ◇◆◇
◎ エンジニアSNS/メディア
X
https://x.com/mixi_engineers
MIXI Developers Blog (medium)
https://mixi-developers.mixi.co.jp/
Slide (SpeakerDeck)
https://speakerdeck.com/mixi_engineers/

◎デザイン職メディア
MIXI DESIGN note
https://note.com/mixi_design/
MIXI DESIGN Cocoda
https://cocoda.design/teams/mixi-design
Slide (SpeakerDeck)
https://speakerdeck.com/mixi_design/

◎採用情報
https://mixigroup-recruit.mixi.co.jp/

HP
https://mixi.co.jp/
X
https://x.com/mixi_PR
connpass
https://mixi.connpass.com/

Transcript

1. ©MIXI 会話AIロボットRomiにおける 自然な会話のためのアーキテクチャ設計 髙田 信一 Vantageスタジオ Romi事業部 AIロボット開発グループ
2. ©MIXI 自己紹介 髙田 信一 Vantageスタジオ Romi事業部 AIロボット開発グループ Mgr 会話AIロボット「Romi」のAIからHWまでの技術開発全体を統括 Romi立ち上げ初期よりハードウェア開発をリードし、 ハードウェア開発組織の構築から設計・製造まで一貫して推進 2013年、電機メーカーに新卒入社 カメラの電気回路設計および画像処理技術の研究開発に従事 2018年、創業者である笠原健治氏のAIロボット構想に共感し、 株式会社ミクシィ（現 MIXI）へ参画
3. ©MIXI What is Romi? コミュニケーションサービス へのこだわり 新しい技術を利用した 新しいユーザー体験へのこだわり Romi（Robot of mixi） DEEP LEARNING
4. ©MIXI What is Romi? ペットのように癒やし、家族のように自分を理解してくれる存在 実体があることで、よりその存在を感じられる
5. ©MIXI Hardware Component IPS Display Multiple microphones Speaker Camera Pan & tilt silent servo motors Illuminance sensor Battery Touch sensors Acceleration and gyro sensor
6. ©MIXI Designed by MIXI in Shibuya, assembled in Japan Romi Lacatan Partner EMS PoC EVT DVT PVT MP Make the service sustainable and achieve flexible, high-quality hardware. PoC EVT DVT PVT MP Romi Original Model Partner EMS MIXI MIXI
7. ©MIXI System Stack Diagram SoC LCD ISP Camera Control Microphones Speaker BLE/WiFi Module & Antena MCUs Motors Control Sensors Control Power Control … ROS2 MQTT Linux gRPC HLS User Application BLE/ WiFi ALSA AFE Face Detection /Recogntion Speech- to-text Text-to -Speech Voiceprint Recogntion … HW Component SW Component
8. ©MIXI Romiのこれまで 2017年 会話AIロボット開発開始 Romi 初代モデル 先行販売 2020年6月 2021年4 Romi Lacatan 発表 2024年10月 Romi Lacatan 発売 2025年7月 2025年12月 ChatRomi2.0 配信開始 Romi 初代モデル 一般販売
9. ©MIXI ChatRomi2.0 • 「はやい」「かしこい」「かわいい」Romiの追求 • はやさのポイント ◦ リアルタイム系の会話API & RomiCoreの協調動作 • かしこさとかいわさのポイント ◦ 長期記憶（発話内容、ユーザーの関係性など） ◦ 性格カスタマイズ ◦ 複数モダリティ ◦ 環境コンテキスト
10. ©MIXI ChatRomi2.0 紹介
11. ©MIXI Example Interaction with ChatRomi 2.0 Cloud System おはよう、今日の天気は？ とても... 良い天気、 逐次的にテキストが 送られてくる 暑いから... おはよう、今日の天気は？ とても良い天気、 暑いから水分補給を忘 れないで この服どうかな？ {ユーザー名}の服は今日だと ちょっと暑いかも ユーザー
12. ©MIXI ChatRomi2.0 の会話のシステム Cloud Side ユーザー発話 （音データ） ロボット発話 （テキスト） アクションコンテンツ ユーザー発話 Device Side Array Mics Camera 顔検知/認識 アクション生成 (音声合成, etc.) アニメーション制御 モーター制御 サウンド制御 画像データ ユーザー情報や 環境コンテキスト Romi サーバー （長期記憶、ユーザー情報 etc.） リアルタイム対話 サーバー Romiのふるまい ユーザー
13. ©MIXI ChatRomi2.0 の会話のシステム Cloud Side ユーザー発話 （音データ） ロボット発話 （テキスト） アクションコンテンツ ユーザー発話 Device Side Array Mics Camera 顔検知/認識 アクション生成 (音声合成, etc.) アニメーション制御 モーター制御 サウンド制御 画像データ ユーザー情報や 環境コンテキスト Romi サーバー （長期記憶、ユーザー情報 etc.） リアルタイム対話 サーバー Romiのふるまい ユーザー 環境コンテキスト（今目の前に誰がいるかなど） Romiの情報（Romiの名前、性格など） ユーザーの情報 （ユーザー・家族の名前、長期記憶など） Function Callの設定
14. ©MIXI RomiCore Architecture Core Worker Woker Woker Job Queue JobWoker Behavior Controller Logical State (Observerbable) Listener Vision Sensor Events Events Queue Skill Worker Permenent Worker Woker Permenent Worker Job Description RomiCore Architecture
15. ©MIXI RomiCore Architecture Logical State (Observerbable) UI/Views (I/O) Workers Event Dispatcher Controller Dispatch Event Produce Worker Via Job Queue Dispatch Event Dispatch Event Notify Change Update State Dispatch Command View(t+1) = R(Events(t), LogicalState(t), HardwareState(t))
16. ©MIXI Future Work: RomiCore SDK RomiCore RomiCoreSDK より多くの環境コンテキストの取得、 Action Capabilityの拡張を目指す
17. ©MIXI Future Work: RomiCore SDK お腹すいたなぁ 冷蔵庫に何もないけど、 デリバリー頼む？ ユーザー Zzz... オーナーもう寝たかな？ 電気消そうか？ （消しちゃおう） ユーザー
18. ©MIXI Thank you for listening.
19. ©MIXI