$30 off During Our Annual Pro Sale. View Details »

自然言語処理 @ クックパッド / nlp at cookpad

himkt
July 07, 2019

自然言語処理 @ クックパッド / nlp at cookpad

himkt

July 07, 2019
Tweet

More Decks by himkt

Other Decks in Technology

Transcript

  1. 自然言語処理 @ クックパッド
    研究開発部 リサーチエンジニア
    Makoto Hiramatsu

    View Slide

  2. / 9
    自己紹介
    ! 平松 淳 (Makoto Hiramatsu)
    ! @himkt (Twitter/GitHub)
    ! 2019 年新卒 (2018 年 5 月 ~ 内定者アルバイト)
    ! 自然言語処理してます ( nlpaper.challenge の運営をしています )
    2

    View Slide

  3. View Slide

  4. 国内レシピ 310 万品+
    月間利用者 約 5,500 万人
    海外レシピ 241 万品+
    月間利用者 約 4,100 万人

    View Slide

  5. / 9
    クックパッドの R&D
    ! 最高のデータ環境 (DWH がすごい)
    ! おおよそすべてのデータが1箇所に集約されている
    ! 自由にクエリを投げてデータを解析できる!
    ! 自分で作ったアプリケーション,プロダクション環境まで
    ! Dockerfile を書く -> Hako (コンテナ管理システム) でデプロイ
    ! (https://github.com/eagletmt/hako)
    5

    View Slide

  6. / 9
    クックパッドの R&D (NLPer 目線)
    ! サービスで実際に使う機能をつくる
    ! クックパッド本体 + さまざまなサービス
    ! 専門知識を持ったアノテータさんが常駐している
    ! タスクを思いついた! GitHub issue 作成 アノテーション
    ! 基礎レベルの解析も大事にしていく雰囲気があります
    ! スタッフが使える形態素解析の辞書管理ツール
    ! 継続的改善への取り組み: MeCab の辞書再学習
    6

    View Slide

  7. クックパッドの自然言語処理
    アプリケーション (レシピ検索,分類,翻訳,調理手順分類,ご意見分類)
    述語項構造解析 談話構造解析
    構文解析
    形態素解析 固有表現抽出
    文脈レベル 格解析
    同義表現認識
    - 同義料理名辞書
    - 食材名認識
    - 材料名正規化
    語彙曖昧性解消
    構文レベル
    単語レベル

    View Slide

  8. 格解析
    同義表現認識
    - 同義料理名辞書
    - 食材名認識
    - 材料名正規化
    語彙曖昧性解消
    アプリケーション (レシピ検索,分類,翻訳,調理手順分類,ご意見分類)
    述語項構造解析 談話構造解析
    構文解析
    クックパッドの自然言語処理
    形態素解析 固有表現抽出
    文脈レベル
    構文レベル
    単語レベル
    基礎解析 × R&D!
    ✅ 大量トラフィックを捌ける
    ✅ 形態素解析より高段の言語解析ができる

    View Slide

  9. 大規模サービスの言語解析基盤に知見があるかた
    おしゃべりしたいです 

    クックパッドの自然言語処理に興味をもってくださったかた

    ぜひぜひお気軽にお声がけください

    View Slide