$30 off During Our Annual Pro Sale. View Details »

自然言語処理 @ クックパッド / nlp at cookpad

himkt
July 07, 2019

自然言語処理 @ クックパッド / nlp at cookpad

himkt

July 07, 2019
Tweet

More Decks by himkt

Other Decks in Technology

Transcript

  1. 自然言語処理 @ クックパッド 研究開発部 リサーチエンジニア Makoto Hiramatsu <himkt@cookpad.com>

  2. / 9 自己紹介 ! 平松 淳 (Makoto Hiramatsu) ! @himkt

    (Twitter/GitHub) ! 2019 年新卒 (2018 年 5 月 ~ 内定者アルバイト) ! 自然言語処理してます ( nlpaper.challenge の運営をしています ) 2
  3. None
  4. 国内レシピ 310 万品+ 月間利用者 約 5,500 万人 海外レシピ 241 万品+

    月間利用者 約 4,100 万人
  5. / 9 クックパッドの R&D ! 最高のデータ環境 (DWH がすごい) ! おおよそすべてのデータが1箇所に集約されている

    ! 自由にクエリを投げてデータを解析できる! ! 自分で作ったアプリケーション,プロダクション環境まで ! Dockerfile を書く -> Hako (コンテナ管理システム) でデプロイ ! (https://github.com/eagletmt/hako) 5
  6. / 9 クックパッドの R&D (NLPer 目線) ! サービスで実際に使う機能をつくる ! クックパッド本体

    + さまざまなサービス ! 専門知識を持ったアノテータさんが常駐している ! タスクを思いついた! GitHub issue 作成 アノテーション ! 基礎レベルの解析も大事にしていく雰囲気があります ! スタッフが使える形態素解析の辞書管理ツール ! 継続的改善への取り組み: MeCab の辞書再学習 6
  7. クックパッドの自然言語処理 アプリケーション (レシピ検索,分類,翻訳,調理手順分類,ご意見分類) 述語項構造解析 談話構造解析 構文解析 形態素解析 固有表現抽出 文脈レベル 格解析 同義表現認識 -

    同義料理名辞書 - 食材名認識 - 材料名正規化 語彙曖昧性解消 構文レベル 単語レベル
  8. 格解析 同義表現認識 - 同義料理名辞書 - 食材名認識 - 材料名正規化 語彙曖昧性解消 アプリケーション

    (レシピ検索,分類,翻訳,調理手順分類,ご意見分類) 述語項構造解析 談話構造解析 構文解析 クックパッドの自然言語処理 形態素解析 固有表現抽出 文脈レベル 構文レベル 単語レベル 基礎解析 × R&D! ✅ 大量トラフィックを捌ける ✅ 形態素解析より高段の言語解析ができる
  9. 大規模サービスの言語解析基盤に知見があるかた おしゃべりしたいです 
 クックパッドの自然言語処理に興味をもってくださったかた
 ぜひぜひお気軽にお声がけください