ミクシィ/AI・ロボット事業部の取り組み

B9c41546565298648a2fea82172d4417?s=47 cfiken
July 03, 2019

 ミクシィ/AI・ロボット事業部の取り組み

2019/07/03 第1回 NLP/CV最先端勉強会

B9c41546565298648a2fea82172d4417?s=128

cfiken

July 03, 2019
Tweet

Transcript

  1. 2.

    自己紹介 Kentaro Nakanishi @cfiken ミクシィ: AI・ロボット事業部 昨年4月まで iOS エンジニア (マッチングアプリ

    Poiboy) 今は AI 関連新規事業 最近は nlpaper と Kaggle と ゲームを両立させたい
  2. 4.

    ミクシィグループでの機械学習に関する取り組み • XFLAG での ゲームAI (強化学習など) ◦ https://speakerdeck.com/mixi_engineers/machine-learning-in-fight-league • みてねでの画像/動画処理

    ◦ https://mixi.connpass.com/event/115664/ • mixi での不適切コンテンツ検出 ◦ https://medium.com/mixi-developers/mixi-20190110-d1cde81cf37c • その他いろいろ
  3. 7.

    AI・ロボット事業部での取り組み • PO 合わせて 12人のチームで開発 • エンジニア: 7人 ◦ 1人はまだ

    Deep ヒヨコ (私) ◦ 1人は Deep 系スーパーマン (私目線) • 日本語対話データも自社で収集 ◦ 100万オーダーのターン
  4. 11.

    対話モデル変遷 • Seq2Seq + Attention • HRED / VHRED •

    Transformer • Alphabot • Policy Network (Transformer) on BERT • Policy Network XL • ???
  5. 13.
  6. 15.

    Transformer • RNN は学習に時間がかかる/難しい • Attention is All You Need

    ◦ A. Vaswani et al., 2017 • 実用レベルだったので RNN から乗り換え • RNN と比べて圧倒的に学習が早い ◦ PDCA 高速化 / GPUコスト減 • 会話精度も体感的には向上
  7. 17.

    Alphabot • もっと先を見据えて良い方向へ持っていく対話をしたい • AlphaGo の枠組みをヒントに設計 ◦ N ターン先まで見て良さそうな返答を選ぶ •

    Policy, Reward, Alpha の3つのネットワークからなる ◦ Policy: 返答を生成 ◦ Reward: 返答を評価 ◦ Alpha: どの発言が将来的に良い報酬となるかを近似
  8. 20.

    Policy Network (Transformer) on BERT • Alphabot の枠組みは良いが、まだまだ Policy が弱い

    • データ数が多くないため名詞などの知識理解が弱点 • BERT を用いることで改善
  9. 21.

    Policy Network XL • モデルが過去 N 発話分しか見ることができない ◦ コンテキスト理解に限界 ◦

    内容のない対話が続くと何の話か分からなくなる • Transformer の Encoder への入力の一部を Memory Module として、対話の中で更新・保存する • Transformer-XL から着想
  10. 23.

    その他: with Condition • Condition として外部状況を取り込めるようなモデルを いろいろ実験中 ◦ どこで入れるか (decoder,

    encoder, ...) ◦ どのように入れるか (binary, embedding, ...) ◦ 何を入れるか (ユーザ情報, 天気, 友人情報, ...)
  11. 24.

    ??? • 他にも色々なモデルで試行錯誤 • 外部情報 (ユーザ情報, 今日の天気, 季節, ...) の活用

    • GAN など生成モデルアプローチも実験 • ターン制でない対話 • Encoder-Decoder でない枠組み㊙も試し中 • 興味がある方は懇親会で
  12. 26.

    今後の課題 • まだ課題だらけ ◦ 返答生成のクオリティ ◦ モデルの評価 ◦ 記憶 ◦

    レスポンスタイム ◦ 多様性 ◦ 企画意図の実現 • 興味がある方は(略)
  13. 28.