Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
NLP2016 発表スライド
Search
Yuta
March 22, 2016
Education
0
220
NLP2016 発表スライド
Yuta
March 22, 2016
Tweet
Share
More Decks by Yuta
See All by Yuta
20160422 文献紹介
sudo
0
170
NLP2016 報告
sudo
0
190
20160218 文献紹介
sudo
0
260
20150909 発表資料
sudo
0
140
20150820 文献紹介
sudo
0
190
20150708 文献紹介
sudo
0
160
20150610 文献紹介
sudo
0
190
20150512 文献紹介
sudo
0
180
20150415 文献紹介
sudo
1
230
Other Decks in Education
See All in Education
推しのコミュニティはなんぼあってもいい / Let's join a lot of communities.
kaga
2
1.8k
Tangible, Embedded and Embodied Interaction - Lecture 7 - Next Generation User Interfaces (4018166FNR)
signer
PRO
0
1.7k
(キラキラ)人事教育担当のつらみ~教育担当として知っておくポイント~
masakiokuda
0
110
Pythonパッケージ管理 [uv] 完全入門
mickey_kubo
20
15k
教員向け生成AI基礎講座(2025年3月28日 東京大学メタバース工学部 ジュニア講座)
luiyoshida
1
580
計算情報学研究室 (数理情報学第7研究室)紹介スライド (2025)
tomonatu8
0
540
『会社を知ってもらう』から『安心して活躍してもらう』までの プロセスとフロー
sasakendayo
0
240
SkimaTalk Introduction for Students
skimatalk
0
390
OJTに夢を見すぎていませんか? ロールプレイ研修の試行錯誤/tryanderror-in-roleplaying-training
takipone
1
160
IMU-00 Pi
kanaya
0
370
アントレプレナーシップ教育 ~ 自分で自分の幸せを決めるために ~
yoshizaki
0
120
ARアプリを活用した防災まち歩きデータ作成ハンズオン
nro2daisuke
0
110
Featured
See All Featured
Measuring & Analyzing Core Web Vitals
bluesmoon
7
510
Speed Design
sergeychernyshev
32
1k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
281
13k
Statistics for Hackers
jakevdp
799
220k
Into the Great Unknown - MozCon
thekraken
40
1.9k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.4k
Code Review Best Practice
trishagee
69
19k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
20k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Music & Morning Musume
bryan
46
6.6k
Transcript
“個性に着目した対話システム”の 自然性の評価実験 須戸 悠太†,高椋 琴美† †,谷田 泰郎† †,山本 和英† ††シナジーマーケティング株式会社
†長岡技術科学大学 1
背景 (1/2) • シナジーマーケティング社では、Societas※という価 値観モデルによって個人の個性を規定し,個性の違 いによる人の行動・興味・人間関係の持ち方などの モデル化を目指している. • 特定の人の発話を学習して発話を生成する“個性” を持たせたロボットと人が雑談することによって得ら
れる対話データを収集したい. 2 ※アンケートや行動などから性格診断ができるようなもの
背景 (2/2) • 先行研究で対話システムの「個性性」と「自然性」に ついての評価を行ってきたが,自然性が担保されて いないと個性性の評価が難しい. • 対話の自然性を上げるには学習データの数を増や すことが一番取り組みやすい. –
個性性を確保しながらデータ数を増やす必要がある. • 本研究では,どれくらいのデータ数があれば自然性 を担保できるのかの評価実験を行った. 3
対話システムについて • 学習データは{“相手の発話”,“(相手に対する)ロ ボットの発話”}の2文で構成されている. – 入力された文に対して,類似度の高い“相手の発話”を選 択し,それに対応する“ロボットの発話”を出力として返す. 4 相手の発話 (相手に対する)ロボットの発話
Data_1 「食べ物だったら何が好き?」 「ラーメン」 Data_2 「体動かすのは気持ちいいよ」 「散歩しかしてないや」 ⋮ ⋮ ⋮ Data_n 「~~」 「~~」
評価実験の流れ 5 No.1 評価者 No.2 No.3 No.4 3体のロボット と会話 アンケートに記入
休憩 前半 3体のロボット と会話 アンケートに記入 後半 最終アンケート グループインタビュー チャット形式で会話 人 興味ある? あるけどあんまり好き じゃない ロボ 人 なんだそれ そうそう、だから「リボン の騎士」は宝塚風 ロボ 人 リボンの騎士も手塚治 虫だね うん、手塚治虫は偉い な ロボ 人 手塚治虫リスペクトしま くりだね 福山ファンに怒られるぞ ロボ
学習データの数の設定 • 学習データのデータ数 を3段階に設定した. – A : 14,000対 – B
: Aからランダムに10,000対 – C : Bからランダムに5,000対 6 1A:14,000対 1B:10,000対 1C:5,000対 2A:14,000対 2B:10,000対 2C:5,000対 A B C 作成者1 作成者2 6種類の ロボット
自然性評価の質問項目 • 各質問項目にそれぞれ10 点満点で評価してもらう. • 評価基準等はこちらからは 指定せず,被験者に判断を 任せた. 7 1.
会話がつながる 2. あなたの発言の意味を理解している 3. 受け答えが自然である 4. 突拍子もない発言が少ない 5. 会話が一方的にならない 6.表現が多様である 7.言い回しに違和感がない 8.話題が豊富である 9. 会話が楽しかった 10. また話したいと思う
アンケート結果の標準化 • 以下の理由から各被験者,前半後半で分けて標準 化を行った. – 各被験者の評価に対する考え方の違い – 前半・後半での実験への慣れなどの環境の変化 – 前半・後半で会話の形式を変えたことで評価が変わった
人もいた • 以下の式で標準化を行い,その合計スコアを求めた. 1. = 1 − 2 =1 2. = − 8 :標準偏差 :評価点 :平均値 :データ数 :標準化された値
結果 9 -8 -6 -4 -2 0 2 4 6
8 10 12 合計スコア 学習データ数 type-1 type-2 5,000 10,000 14,000 考察 (2/2) 考察 (1/2)
考察 (1/2) • 学習データ数5,000から10,000ではマイナス評価の 数が減っている. • 一方で、10,000から14,000ではほとんど差はない. • 作成コスト等を考慮すると,今回使用した対話シス テムでは学習データの数は10,000あれば十分では
ないか. 10
考察 (2/2) • データ数10,000で極端に高評価な箇所について. – データ数10,000のロボットと話した時に出てきた話題が面 白かった. – 会話が成り立ちにくかったロボットとの会話の後に、相性 のいいロボットと話し高評価であった.
• 会話によって引き出される話題やロボットとの相性 も評価に影響されていると考えられる. 11
おわりに • 個性性評価のためには自然性をある程度担保する 必要がある. • 自然性担保に必要なデータ数の評価実験を行った. • 今回使用した対話システムでは,学習データの数は 10,000あれば十分ではという結論が得られた. 12
対話システムを体験することができますので, Synergy Marketingのスポンサーブースにも ぜひ足を運んでみてください!
(補足1) 学習データの作成 ① “ロボットの発話”にあたる,1,500種類の発話文を 作成する. ② クラウドソーシングを利用して“ロボットの発話”に 対応する“相手の発話”を収集した. – 「?」の部分を想像して入れてもらう
13 相手の発話 (相手に対する)ロボットの発話 Data_1 「?」 「サッカー」 Data_2 「?」 「最近面白いと思う番組少ない」 ⋮ ⋮ ⋮ Data_n 「?」 「~~」