自然言語処理 @ クックパッド / nlp at cookpad

https://connpass.com/event/135387/

Transcript

1. 自然言語処理 @ クックパッド
   研究開発部 リサーチエンジニア
   Makoto Hiramatsu
   

   View Slide

2. / 9
   自己紹介
   ! 平松 淳 (Makoto Hiramatsu)
   ! @himkt (Twitter/GitHub)
   ! 2019 年新卒 (2018 年 5 月 ~ 内定者アルバイト)
   ! 自然言語処理してます ( nlpaper.challenge の運営をしています )
   2
   

   View Slide

3. View Slide

4. 国内レシピ 310 万品+
   月間利用者 約 5,500 万人
   海外レシピ 241 万品+
   月間利用者 約 4,100 万人
   

   View Slide

5. / 9
   クックパッドの R&D
   ! 最高のデータ環境 (DWH がすごい)
   ! おおよそすべてのデータが１箇所に集約されている
   ! 自由にクエリを投げてデータを解析できる！
   ! 自分で作ったアプリケーション，プロダクション環境まで
   ! Dockerfile を書く -> Hako (コンテナ管理システム) でデプロイ
   ! (https://github.com/eagletmt/hako)
   5
   

   View Slide

6. / 9
   クックパッドの R&D (NLPer 目線)
   ! サービスで実際に使う機能をつくる
   ! クックパッド本体 + さまざまなサービス
   ! 専門知識を持ったアノテータさんが常駐している
   ! タスクを思いついた！ GitHub issue 作成 アノテーション
   ! 基礎レベルの解析も大事にしていく雰囲気があります
   ! スタッフが使える形態素解析の辞書管理ツール
   ! 継続的改善への取り組み: MeCab の辞書再学習
   6
   

   View Slide

7. クックパッドの自然言語処理
   アプリケーション (レシピ検索，分類，翻訳，調理手順分類，ご意見分類)
   述語項構造解析　談話構造解析
   構文解析
   形態素解析　固有表現抽出
   文脈レベル 格解析
   同義表現認識
   - 同義料理名辞書
   - 食材名認識
   - 材料名正規化
   語彙曖昧性解消
   構文レベル
   単語レベル
   

   View Slide

8. 格解析
   同義表現認識
   - 同義料理名辞書
   - 食材名認識
   - 材料名正規化
   語彙曖昧性解消
   アプリケーション (レシピ検索，分類，翻訳，調理手順分類，ご意見分類)
   述語項構造解析　談話構造解析
   構文解析
   クックパッドの自然言語処理
   形態素解析　固有表現抽出
   文脈レベル
   構文レベル
   単語レベル
   基礎解析 × R&D！
   ✅ 大量トラフィックを捌ける
   ✅ 形態素解析より高段の言語解析ができる
   

   View Slide

9. 大規模サービスの言語解析基盤に知見があるかた
   おしゃべりしたいです 

   クックパッドの自然言語処理に興味をもってくださったかた

   ぜひぜひお気軽にお声がけください
   

   View Slide