Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
NLP2016 発表スライド
Search
Yuta
March 22, 2016
Education
0
220
NLP2016 発表スライド
Yuta
March 22, 2016
Tweet
Share
More Decks by Yuta
See All by Yuta
20160422 文献紹介
sudo
0
170
NLP2016 報告
sudo
0
190
20160218 文献紹介
sudo
0
260
20150909 発表資料
sudo
0
140
20150820 文献紹介
sudo
0
190
20150708 文献紹介
sudo
0
160
20150610 文献紹介
sudo
0
190
20150512 文献紹介
sudo
0
180
20150415 文献紹介
sudo
1
230
Other Decks in Education
See All in Education
Avoin jakaminen ja Creative Commons -lisenssit
matleenalaakso
0
1.9k
AIC 103 - Applications of Property Valuation: Essential Slides
rmccaic
0
230
生成AIとの上手な付き合い方【公開版】/ How to Get Along Well with Generative AI (Public Version)
handlename
0
490
著作権と授業に関する出前講習会/dme-2025-05-01
gnutar
0
200
子どものためのプログラミング道場『CoderDojo』〜法人提携例〜 / Partnership with CoderDojo Japan
coderdojojapan
4
16k
自己紹介 / who-am-i
yasulab
PRO
3
5.2k
Case Studies and Course Review - Lecture 12 - Information Visualisation (4019538FNR)
signer
PRO
1
2k
新卒交流ワークショップ
pokotyamu
0
440
技術勉強会 〜 OAuth & OIDC 入門編 / 20250528 OAuth and OIDC
oidfj
5
1.3k
Implicit and Cross-Device Interaction - Lecture 10 - Next Generation User Interfaces (4018166FNR)
signer
PRO
2
1.7k
Common STIs in London: Symptoms, Risks & Prevention
medicaldental
0
130
バックオフィス組織にも「チームトポロジー」の考えが使えるかもしれない!!
masakiokuda
0
110
Featured
See All Featured
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
The Straight Up "How To Draw Better" Workshop
denniskardys
234
140k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2.1k
Done Done
chrislema
184
16k
Optimizing for Happiness
mojombo
379
70k
Automating Front-end Workflow
addyosmani
1370
200k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
Designing Experiences People Love
moore
142
24k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
960
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.3k
For a Future-Friendly Web
brad_frost
179
9.8k
Agile that works and the tools we love
rasmusluckow
329
21k
Transcript
“個性に着目した対話システム”の 自然性の評価実験 須戸 悠太†,高椋 琴美† †,谷田 泰郎† †,山本 和英† ††シナジーマーケティング株式会社
†長岡技術科学大学 1
背景 (1/2) • シナジーマーケティング社では、Societas※という価 値観モデルによって個人の個性を規定し,個性の違 いによる人の行動・興味・人間関係の持ち方などの モデル化を目指している. • 特定の人の発話を学習して発話を生成する“個性” を持たせたロボットと人が雑談することによって得ら
れる対話データを収集したい. 2 ※アンケートや行動などから性格診断ができるようなもの
背景 (2/2) • 先行研究で対話システムの「個性性」と「自然性」に ついての評価を行ってきたが,自然性が担保されて いないと個性性の評価が難しい. • 対話の自然性を上げるには学習データの数を増や すことが一番取り組みやすい. –
個性性を確保しながらデータ数を増やす必要がある. • 本研究では,どれくらいのデータ数があれば自然性 を担保できるのかの評価実験を行った. 3
対話システムについて • 学習データは{“相手の発話”,“(相手に対する)ロ ボットの発話”}の2文で構成されている. – 入力された文に対して,類似度の高い“相手の発話”を選 択し,それに対応する“ロボットの発話”を出力として返す. 4 相手の発話 (相手に対する)ロボットの発話
Data_1 「食べ物だったら何が好き?」 「ラーメン」 Data_2 「体動かすのは気持ちいいよ」 「散歩しかしてないや」 ⋮ ⋮ ⋮ Data_n 「~~」 「~~」
評価実験の流れ 5 No.1 評価者 No.2 No.3 No.4 3体のロボット と会話 アンケートに記入
休憩 前半 3体のロボット と会話 アンケートに記入 後半 最終アンケート グループインタビュー チャット形式で会話 人 興味ある? あるけどあんまり好き じゃない ロボ 人 なんだそれ そうそう、だから「リボン の騎士」は宝塚風 ロボ 人 リボンの騎士も手塚治 虫だね うん、手塚治虫は偉い な ロボ 人 手塚治虫リスペクトしま くりだね 福山ファンに怒られるぞ ロボ
学習データの数の設定 • 学習データのデータ数 を3段階に設定した. – A : 14,000対 – B
: Aからランダムに10,000対 – C : Bからランダムに5,000対 6 1A:14,000対 1B:10,000対 1C:5,000対 2A:14,000対 2B:10,000対 2C:5,000対 A B C 作成者1 作成者2 6種類の ロボット
自然性評価の質問項目 • 各質問項目にそれぞれ10 点満点で評価してもらう. • 評価基準等はこちらからは 指定せず,被験者に判断を 任せた. 7 1.
会話がつながる 2. あなたの発言の意味を理解している 3. 受け答えが自然である 4. 突拍子もない発言が少ない 5. 会話が一方的にならない 6.表現が多様である 7.言い回しに違和感がない 8.話題が豊富である 9. 会話が楽しかった 10. また話したいと思う
アンケート結果の標準化 • 以下の理由から各被験者,前半後半で分けて標準 化を行った. – 各被験者の評価に対する考え方の違い – 前半・後半での実験への慣れなどの環境の変化 – 前半・後半で会話の形式を変えたことで評価が変わった
人もいた • 以下の式で標準化を行い,その合計スコアを求めた. 1. = 1 − 2 =1 2. = − 8 :標準偏差 :評価点 :平均値 :データ数 :標準化された値
結果 9 -8 -6 -4 -2 0 2 4 6
8 10 12 合計スコア 学習データ数 type-1 type-2 5,000 10,000 14,000 考察 (2/2) 考察 (1/2)
考察 (1/2) • 学習データ数5,000から10,000ではマイナス評価の 数が減っている. • 一方で、10,000から14,000ではほとんど差はない. • 作成コスト等を考慮すると,今回使用した対話シス テムでは学習データの数は10,000あれば十分では
ないか. 10
考察 (2/2) • データ数10,000で極端に高評価な箇所について. – データ数10,000のロボットと話した時に出てきた話題が面 白かった. – 会話が成り立ちにくかったロボットとの会話の後に、相性 のいいロボットと話し高評価であった.
• 会話によって引き出される話題やロボットとの相性 も評価に影響されていると考えられる. 11
おわりに • 個性性評価のためには自然性をある程度担保する 必要がある. • 自然性担保に必要なデータ数の評価実験を行った. • 今回使用した対話システムでは,学習データの数は 10,000あれば十分ではという結論が得られた. 12
対話システムを体験することができますので, Synergy Marketingのスポンサーブースにも ぜひ足を運んでみてください!
(補足1) 学習データの作成 ① “ロボットの発話”にあたる,1,500種類の発話文を 作成する. ② クラウドソーシングを利用して“ロボットの発話”に 対応する“相手の発話”を収集した. – 「?」の部分を想像して入れてもらう
13 相手の発話 (相手に対する)ロボットの発話 Data_1 「?」 「サッカー」 Data_2 「?」 「最近面白いと思う番組少ない」 ⋮ ⋮ ⋮ Data_n 「?」 「~~」