NLP/CV SoTA Survey Challenge #3 - ミクシィ AI ロボット事業部紹介

https://nlpaper-challenge.connpass.com/event/146540/

Transcript

1. ミクシィ AI ロボット事業部紹介 Harumitsu Nobuta
2. 信田 春満 (halhorn ) • 略歴 ◦ 2010〜 京大 B/M RNN を用いた認知発達ロボティクス研究 ◦ 2013〜 mixi サーバーサイドその他諸々エンジニア ◦ 2017〜 mixi AI ロボット新規事業の最初のエンジニア ▪ 現在は開発もやるエンジニアリングマネージャ • 作って理解する Transformer / Attention • 褒める組織 • 好き ◦ ボルダリング ◦ 鳥 ◦ 写真 ◦ 心や自我、生命について考えること
3. AI ロボット事業部 しゃべる家庭用ロボットを作る新規事業
4. AI ロボット事業部 しゃべる家庭用ロボットを作る新規事業 雑談対話 to C 音声対話 ハード ≠ 研究 Only 製品出します
5. AI ロボット事業部 しゃべる家庭用ロボットを作る新規事業 雑談対話 雑談対話 音声対話 ハード ≠ 研究 Only 製品出します 不確定な市場 進化し続ける 技術領域 広範な 技術領域 アジャイルな開発・研究 Demo or Die
6. Demo or die
7. sandbox server (python) bot API client selector Selector Transformer Cooper New E2E Model Reinforcement Learning module QuestionDetector Knowledge E2E Engine Transformer + RL Rule-base Engine RDS DynamoDB S3 Hubot Slack Raspberrypi which_local which_local Specific Engine EmotionDetector 量産 試作機 Weather etc...
8. これまでの機械学習系事例
9. Seq2Seq 2015/06 - Seq2Seq + 会 話 2017/01 プロジェクト始動 2017/04 2017/10 2017/07 2018/01 2018/04 2018/10 - BERT 2018/07 HRED 2016/06 - HRED 2017/06 - Transformer Alphabot Transformer + 強化学習 BERT E2E エンジンが会話の主軸へ End to End 対話システム 2019/01 Transformer XL 2019/04 2019/07 Cooper Transformer ベースの オリジナルネットワーク 2019/06 -XLNet 2019/10
10. 各種識別系ネットワーク 基本的に RNN もしくは Transformer の Encoder (BERT)で実装 • 文章からの感情識別モデル • 質問（？）判定モデル ◦ 某音声認識エンジンは ! や ? を出力してくれない・・ • 会話が終わりかけているかの判定モデル • etc.
11. ロボットの表情を作る プロポーズされた！ HAPPY
12. ロボットの表情を作る プロポーズされた！ HAPPY A: ねえねえ聞いて！何が合ったと思う？ B: え、なんだろ A: プロポーズされた！ B: えー！ついに！？やったね！ プロポーズされた！ 会話の中で使われる顔文字 ＝話者の仮想的な顔 →ロボットの顔！ 一般的感情に分類されない表情も
13. これからのターゲット＆採用 • 記憶を持つ会話 ◦ 「自分のことを理解してくれる」感覚 ▪ 誰にでも同じことを言っているのではない ▪ オーナーとの会話の記憶に応じた文章生成 • 変化していく会話 ◦ 同じことしか言わないものは飽きる ◦ ロボット自身も個別に成長していく必要性 ◦ オーナーの話し方の癖や興味領域によって会話が変わっていく仕組み • 外部知識 ◦ 時事ネタや一般的知識に強くする • 音声 ◦ リアルタイム、非ターン的な会話 ◦ 音声が持つ情報（感情 etc） これらの課題解決をアジャイルな文化の中 で研究できる人を探しています！ https://www.wantedly.com/projects/92981