Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Pockeが1バン好きなこと

pocke
November 12, 2016
270

 Pockeが1バン好きなこと

Cookpad同窓会でのLT発表資料です。

pocke

November 12, 2016
Tweet

Transcript

  1. 1. から過去ツイート一覧のcsvをダウンロ ード 2. シェル芸 1. rubyでCSVをパース 2. ツイートの本文だけ取り出す 3.

    最新5000ツイートを抽出 4. MeCab + neologd で形態素解析 5. 名詞だけ取り出す 6. 出現数をカウントしてソート http://twilog.org/ ※注 Ruby で Python のコードを生成していません
  2. こんなかんじ $ < p_ck_161101.csv | ruby -rcsv -e ' CSV.parse($<){|row|

    puts row[2].gsub(/\@[a-zA-Z0-9_]+/, "").gsub(%r!https?://\S+!, "") }' | head -5000 | docker run -i docker-mecab-neologd:latest | grep '名詞' | cut -f 1 | sort | grep -v '^.$' | ruby -e ' c = 1; p = nil; while gets if $_.chomp==p then c+=1 else puts "#{c} #{p}"; c=1; p=$_.chomp end end' | sort -nr | head -30 Thanks nownabe/docker-mecab-neologd
  3. けっか 117 感じ 115 自分 103 NowPlaying 101 最近 92

    RuboCop 91 人間 86 Ruby 75 好き 71 今日 70 奥華子 69 RT 66 便利 59 dentoolt 56 最高 55 PR 50 問題 49 時間 48 必要
  4. 白と黒のとびら 言語理論 正則言語 / 有限オートマトン 決定性 / 非決定性 文脈自由言語 /

    プッシュダウンオートマトン ポンピング補題 文脈自由文法とオートマトンの等価性 文脈自由言語の構文解析 文脈依存言語 / 線形拘束オートマトン チューリングマシン