Upgrade to Pro — share decks privately, control downloads, hide ads and more …

GoでMecab

Senoue
March 22, 2021

 GoでMecab

GoでMecabを使ったサービスをやってます

Senoue

March 22, 2021
Tweet

More Decks by Senoue

Other Decks in Programming

Transcript

  1. 朝からめかぶを食べる
    と健康に
    株式会社ビデオマーケット
    瀬上祐匡
    2021/3/21

    View full-size slide

  2. 瀬上 祐匡(せのうえ ひろまさ)
    株式会社ビデオマーケット
    サーバサイドエンジニア
    ● GCP, Go, Python等,BI,データ分析
    ● @senoue,@hiromasa.senoue
    ● ハリネズミ飼ってます
    ● モノノフです。
    ● 好きなものは、Cloud Function
    ● Sendai.go やってます
    自己紹介
    株式会社ビデオマーケット
    TVOD(都度課金)を軸とした動画配信サービス
    映画、アニメ、ドラマなど多彩なジャンルで配信本数は
    国内最大の 26 万本+
    自社が開発した独自エンコード方式で高品質な動画を提供

    View full-size slide

  3. - Mecabとは
    - 形態素解析エンジンです
    - 形態素解析とは
    - 自然語を言語単位に分割
    - 現代語なども辞書で対応

    View full-size slide

  4. - Goで形態素解析をしたかった
    - Goのライブラリは古かった
    - 基本的には自実装
    - 配列からの文字比較をする

    View full-size slide

  5. 実際のところ

    View full-size slide

  6. 分かち書きの方法

    View full-size slide

  7. 分かち結果
    ※配列としての形態素解析

    View full-size slide

  8. 問題点:Goで、正規表現は遅い対応

    View full-size slide

  9. どのくらい違うか
    マイクロ秒で20倍以上の差が出てくる。
    ちりつもを大切に

    View full-size slide