Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ミクシィ/AI・ロボット事業部の取り組み
Search
cfiken
July 03, 2019
Technology
2
900
ミクシィ/AI・ロボット事業部の取り組み
2019/07/03 第1回 NLP/CV最先端勉強会
cfiken
July 03, 2019
Tweet
Share
More Decks by cfiken
See All by cfiken
[2023/11/18] Knowledge-Augmented Language Model Verification @LLM x 検索論文読み会
cfiken
1
400
ACL2020 対話システムの評価指標 [nlpaper.challenge 2020/10/18]
cfiken
1
1.8k
[2020/05/15] nlpaper.challenge BERT応用勉強会 テキスト生成の評価 × BERT
cfiken
3
8.2k
[ACL2019網羅的サーベイ報告会資料] Do Neural Dialog Systems Use the Conversation History Effectively? An Empirical Study
cfiken
1
1.4k
Class Imbalanced に対するアプローチ Striking the Right Balance with Uncertainty @CVPR2019網羅的サーベイ報告会
cfiken
1
820
nlpaper.challenge 外部知識に基づく応答生成サーベイ
cfiken
6
1.5k
Other Decks in Technology
See All in Technology
日経電子版におけるリアルタイムレコメンドシステム開発の事例紹介/nikkei-realtime-recommender-system
yng87
1
480
コンテンツを支える 若手ゲームクリエイターの アートディレクションの事例紹介 / cagamefi-game
cyberagentdevelopers
PRO
1
120
Java x Spring Boot Warm up
kazu_kichi_67
2
490
LeSSに潜む「隠れWF病」とその処方箋
lycorptech_jp
PRO
2
120
とあるユーザー企業におけるリスクベースで考えるセキュリティ業務のお話し
4su_para
3
320
AWS re:Inventを徹底的に楽しむためのTips / Tips for thoroughly enjoying AWS re:Invent
yuj1osm
1
540
新卒1年目が向き合う生成AI事業の開発を加速させる技術選定 / ai-web-launcher
cyberagentdevelopers
PRO
7
1.5k
現地でMeet Upをやる場合の注意点〜反省点を添えて〜
shotashiratori
0
500
CyberAgent 生成AI Deep Dive with Amazon Web Services / genai-aws
cyberagentdevelopers
PRO
1
480
チームを主語にしてみる / Making "Team" the Subject
ar_tama
4
300
Nix入門パラダイム編
asa1984
2
200
オーティファイ会社紹介資料 / Autify Company Deck
autifyhq
9
120k
Featured
See All Featured
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
231
17k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
Speed Design
sergeychernyshev
24
570
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
42
9.2k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
7
150
Put a Button on it: Removing Barriers to Going Fast.
kastner
59
3.5k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
27
1.9k
Learning to Love Humans: Emotional Interface Design
aarron
272
40k
Bash Introduction
62gerente
608
210k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
126
18k
Designing on Purpose - Digital PM Summit 2013
jponch
115
6.9k
Git: the NoSQL Database
bkeepers
PRO
425
64k
Transcript
ミクシィでの取り組み紹介 2019/07/03 株式会社ミクシィ AI・ロボット事業部 Kentaro Nakanishi
自己紹介 Kentaro Nakanishi @cfiken ミクシィ: AI・ロボット事業部 昨年4月まで iOS エンジニア (マッチングアプリ
Poiboy) 今は AI 関連新規事業 最近は nlpaper と Kaggle と ゲームを両立させたい
ミクシィグループ • XFLAG ◦ モンスト ◦ ファイトリーグ • みてね •
SNS mixi • minimo • スマートヘルス • ...
ミクシィグループでの機械学習に関する取り組み • XFLAG での ゲームAI (強化学習など) ◦ https://speakerdeck.com/mixi_engineers/machine-learning-in-fight-league • みてねでの画像/動画処理
◦ https://mixi.connpass.com/event/115664/ • mixi での不適切コンテンツ検出 ◦ https://medium.com/mixi-developers/mixi-20190110-d1cde81cf37c • その他いろいろ
AI・ロボット事業部??
AI・ロボット事業部での取り組み • 雑談対話ロボットの制作 • 特に対話部分にフォーカス • ハードも作ります • 新規事業としてやっているのでプロダクトについてはあ んまり話せません
AI・ロボット事業部での取り組み • PO 合わせて 12人のチームで開発 • エンジニア: 7人 ◦ 1人はまだ
Deep ヒヨコ (私) ◦ 1人は Deep 系スーパーマン (私目線) • 日本語対話データも自社で収集 ◦ 100万オーダーのターン
We are hiring!!!!!!!!
AI・ロボット事業部での取り組み • 対話モデル変遷の紹介 • 今後の課題 10分しかないのでサササッと
対話モデル変遷の紹介
対話モデル変遷 • Seq2Seq + Attention • HRED / VHRED •
Transformer • Alphabot • Policy Network (Transformer) on BERT • Policy Network XL • ???
Seq2Seq + Attention 割愛
HRED / VHRED • 対話として一問一答では成立しないため、過去の N回の 対話履歴を元に返答を行いたい • HRED (Hierarchical
Recurrent Encoder Decoder) ◦ A. Sordoni et al., 2015 • 長いコンテキストを入力可能に
HRED / VHRED • 学習が難しい: 過学習しがち, 学習時間がかなりかかる • VHRED は誰も学習が成功しなかった...
Transformer • RNN は学習に時間がかかる/難しい • Attention is All You Need
◦ A. Vaswani et al., 2017 • 実用レベルだったので RNN から乗り換え • RNN と比べて圧倒的に学習が早い ◦ PDCA 高速化 / GPUコスト減 • 会話精度も体感的には向上
Transformer (Hierarchical) • 対話モデルでは HRED のように Hierarchical に設計
Alphabot • もっと先を見据えて良い方向へ持っていく対話をしたい • AlphaGo の枠組みをヒントに設計 ◦ N ターン先まで見て良さそうな返答を選ぶ •
Policy, Reward, Alpha の3つのネットワークからなる ◦ Policy: 返答を生成 ◦ Reward: 返答を評価 ◦ Alpha: どの発言が将来的に良い報酬となるかを近似
Alphabot Policy と Reward をトレー ニングデータから学習 Policy: 発話を生成 Reward: 発話を評価
bot 同士で対話させ、 MCTS で対話を探索/評価
Alphabot MCTS の探索は時間がかか るので推論時は厳しい Alpha で MCTS の結果を近 似するようなモデルを学習 推論的には
Policy + Alpha で出力を生成 & 決める
Policy Network (Transformer) on BERT • Alphabot の枠組みは良いが、まだまだ Policy が弱い
• データ数が多くないため名詞などの知識理解が弱点 • BERT を用いることで改善
Policy Network XL • モデルが過去 N 発話分しか見ることができない ◦ コンテキスト理解に限界 ◦
内容のない対話が続くと何の話か分からなくなる • Transformer の Encoder への入力の一部を Memory Module として、対話の中で更新・保存する • Transformer-XL から着想
Policy Network XL • N (=3) 発話以前の文脈も取得可能に • Hierarchical 構造がなくなりシンプルに
• 何を記憶するかも一緒に学習
その他: with Condition • Condition として外部状況を取り込めるようなモデルを いろいろ実験中 ◦ どこで入れるか (decoder,
encoder, ...) ◦ どのように入れるか (binary, embedding, ...) ◦ 何を入れるか (ユーザ情報, 天気, 友人情報, ...)
??? • 他にも色々なモデルで試行錯誤 • 外部情報 (ユーザ情報, 今日の天気, 季節, ...) の活用
• GAN など生成モデルアプローチも実験 • ターン制でない対話 • Encoder-Decoder でない枠組み㊙も試し中 • 興味がある方は懇親会で
今後の課題
今後の課題 • まだ課題だらけ ◦ 返答生成のクオリティ ◦ モデルの評価 ◦ 記憶 ◦
レスポンスタイム ◦ 多様性 ◦ 企画意図の実現 • 興味がある方は(略)
ありがとうございました
None