Stack-chanで始めるROS音声対話ロボット

第24回ロボティクス勉強会で発表した資料です．
https://robosemi.connpass.com/event/231861/

デモ動画↓
https://twitter.com/yoshipon0520/status/1527542110550773760

突貫で作ったので，そのうち清書します．

Transcript

1. St a c k -c h a n で 始 め る R O S 音 声 対 話 ロ ボ ッ ト 坂 東 宜 昭 今 日 は 趣 味 プ ロ を 個 人 と し て 発 表 し ま す htt p s:// y b a n d o.j p/
2. モ チ ベ ー シ ョ ン ｜ 対 話 ロ ボ ッ ト 作 り た く な い で す か ？ ロ ボ ッ ト と は 「 実 世 界 と の 知 的 な 相 互 作 用 」  “ 対 話 ” は そ の 最 た る 例 • G o o gl e H o m e や A p pl e Siri な ど ， 商 用 レ ベ ル の タ ス ク 型 の 対 話 シ ス テ ム が 普 及 • 2 0 2 1 年 に は mi xi R o mi な ど ， 非 タ ス ク 指 向 型 の 音 声 対 話 “ ロ ボ ッ ト ” が 発 売 自 分 で 対 話 シ ス テ ム を 構 築 す れ ば ， 原 理 や 特 性 が 理 解 で き る の で は ？ St a c k -c h a n R O S で 始 め る 音 声 対 話 ロ ボ ッ ト 今 日 の 天 気 は ？ 今 日 は 晴 れ で す タ ス ク 指 向 型 対 話 今 日 は X X が あ っ て さ ～ そ れ は 大 変 で し た ね 非 タ ス ク 指 向 型 対 話
3. St a c k -c h a n と の 出 会 い ｜ か わ い い ！ ！ ！ し し か わ 氏 ( @ m e g a n et a a n) が 開 発 す る オ ー プ ン ソ ー ス ハ ー ド ウ ェ ア • 1 万 円 強 程 度 で 制 作 可 能 / E S P 3 2 ( M 5 St a c k) で 制 御 / 本 家 は J a v a S cri pt で 動 作 破 壊 的 な 可 愛 さ ！ こ れ で 対 話 ロ ボ 作 る 以 外 の 選 択 肢 が 考 え ら れ な い ！ St a c k -c h a n R O S で 始 め る 音 声 対 話 ロ ボ ッ ト htt p s:// git h u b. c o m/ m e g a n et a a a n/ st a c k -c h a n/
4. デ モ ｜ 実 時 間 音 声 対 話 シ ス テ ム St a c k -c h a n R O S で 始 め る 音 声 対 話 ロ ボ ッ ト 大 規 模 言 語 モ デ ル を 活 用 し て タ ス ク 指 向 ・ 雑 談 対 話 を 自 然 に ス イ ッ チ 天 気 ・ ニ ュ ー ス
5. 目 標 ｜ 一 般 (逸 般 ) の ご 家 庭 に あ る 計 算 資 源 で 完 結 す る こ と St a c k -c h a n R O S で 始 め る 音 声 対 話 ロ ボ ッ ト 外 部 の サ ー バ と 通 信 せ ず ロ ー カ ル で 完 結 す る シ ス テ ム を 構 築 す る • 参 入 障 壁 の 低 い ロ ボ ッ ト 対 話 シ ス テ ム の 基 盤 フ レ ー ム ワ ー ク を 構 築 し た い 普 通 の W e b カ メ ラ 制 作 費 1 万 強 A M D 5 9 5 0 x ← 多 分 i 7で O K D D R 4 3 2 G B N VI DI A 3 0 6 0 1 2 G B ※ 写 真 は 1 6 G B & 1 6 6 0 Ti
6. シ ス テ ム ・ ア ー キ テ ク チ ャ 一 般 的 な 音 声 対 話 シ ス テ ム の 構 成 を 踏 襲 ・ 積 極 的 に R O S 基 盤 を 活 用 • 出 来 る だ け 今 風 の 技 術 ( E S P n et 2, G P T等 の 学 習 済 み 深 層 モ デ ル ) を 活 用 し て 構 築 St a c k -c h a n R O S で 始 め る 音 声 対 話 ロ ボ ッ ト E 2 E 音 声 認 識 音 声 合 成 首 振 り 雑 談 対 話 ノ ー ド r o s s eri al-ar d ui n o @ E S P 3 2 A q u e s T al k E S P 3 2 S er v o E a si n g p y -tr e e s-r o s E S P n et 2 Sil er o V A D O p e n C V ル ー ル ベ ー ス ル ー ル ベ ー ス 日 本 語 G P T 音 声 区 間 検 出 顔 検 出 対 話 制 御 ニ ュ ー ス ノ ー ド 天 気 ノ ー ド C P U G P U E S P 3 2
7. G P T ベ ー ス の 対 話 エ ン ジ ン 大 規 模 言 語 モ デ ル G P T の 学 習 済 み モ デ ル を 活 用 し た 応 答 文 生 成 • 対 話 履 歴 と 直 前 の ユ ー ザ 発 話 を 脚 本 調 で 入 力 す る と ， そ れ っ ぽ い 続 き が 生 成 • ル ー ル ベ ー ス の 応 答 文 (青 ) も 一 緒 に 突 っ 込 ん で お け ば ， い い 感 じ に 繋 げ て く れ る 感 想 ｜ 対 話 が 破 綻 す る こ と も 多 い が ， 大 規 模 言 語 モ デ ル 凄 い ・ 楽 し い St a c k -c h a n R O S で 始 め る 音 声 対 話 ロ ボ ッ ト htt p s:// h u g gi n gf a c e. c o/ri n n a/j a p a n e s e -g pt -1 b 入 力 あ な た 「 こ ん に ち は 」 わ た し 「 始 め ま し て 。 よ ろ し く お 願 い し ま す 」 あ な た 「 今 日 の 天 気 を 教 え て 」 わ た し 「 今 日 の 天 気 は 晴 れ で す 」 あ な た 「 ど こ か 遊 び に 行 き た い ね 」 わ た し 「 出 力 ど こ か 遠 く に 行 き た い で す ね 」
8. B e h a vi or Tr e e ベ ー ス の 対 話 制 御 ゲ ー ム の N P C や ロ ボ ッ ト 制 御 で 活 用 さ れ て い る B T を 対 話 制 御 に 応 用 • 複 雑 に な り が ち な 入 力 制 御 ・ 対 話 エ ン ジ ン 制 御 を 視 覚 的 に も 簡 素 に 表 現 St a c k -c h a n R O S で 始 め る 音 声 対 話 ロ ボ ッ ト 待 機 状 態 観 測 収 集 発 話 検 出 ・ 認 識 待 機 応 答 制 御 対 話 エ ン ジ ン 選 択 ・ 応 答 生 成
9. 所 感 ・ ま と め 大 規 模 言 語 モ デ ル を 活 用 し た 音 声 対 話 ロ ボ ッ ト を 作 っ て み た • ハ ー ド ・ ソ フ ト 両 面 で O S S を 最 大 限 活 用  R O S ベ ー ス の 対 話 基 盤 を 構 築 で き た • そ れ っ ぽ い デ モ 動 画 は 撮 る こ と が で き た 気 が す る • 実 際 は 結 構 破 綻 し て お り 実 用 に は 程 遠 い レ ベ ル  や っ ぱ り 製 品 は 凄 い 今 後 の 展 開 • と り あ え ず O S S と し て 公 開 し た い  非 営 利 ・ 研 究 目 的 な の で G P L を 予 定 • G P T を 転 移 学 習 し て 性 能 向 上 / フ ロ ン ト エ ン ド の 強 化 St a c k -c h a n R O S で 始 め る 音 声 対 話 ロ ボ ッ ト