B3 コアタイム 第3回目 ( 2014年11月28日(金) )

Transcript

1. 「入門 自然言語処理」 2章：テキストコーパスと語彙資源へのアクセス B3 三上侑城
2. もくじ •テキストコーパスへのアクセス •条件付き頻度分布 •語彙資源 •WordNet
3. テキストコーパスへのアクセス •テキストコーパスとは？ →様々なテキストが入っている テキスト集 →本、チャットの会話、台本、 レビューなどがある ※研究でコーパスを用いる際には、その サイズと種類（どのぐらいの文量でどの ような話か）を明示する。
4. テキストコーパスへのアクセス ・入っている電子書籍を見てみる >>>import nltk >>> nltk.corpus.gutenberg.fileids() ※ファイルは以下のディレクトリにある /home/UserName/nltk_data/corpora/gutenberg
5. テキストコーパスへのアクセス ・電子書籍を読み出す >>>emma = nltk.corpus.gutenberg.words('austen-emma.txt') ・単語数を調べる >>>len(emma)
6. テキストコーパスへのアクセス ・前回のtext読み出し&検索 >>>from nltk.book import * >>>text1.concordance("test") ・今回のtext読み出し&検索 >>>emma = nltk.Text(nltk.corpus.gutenberg.words (‘austen-emma.txt’)) >>>emma.concordance('surprize')
7. テキストコーパスへのアクセス しかし、こんなに長い名前を毎回タイプするの は面倒くさいし大変….. もっと短く書く方法がある >>>from nltk.corpus import gutenberg >>>gutenberg.fileids() #テキスト一覧表示 >>>emma = gutenberg.words('austen-emma.txt')
8. テキストコーパスへのアクセス ・Webテキストを読み出す >>>from nltk.corpus import webtext >>>for fileid in webtext.fileids (): ．．． print fileid, webtext.raw(fileid)[:65], ’...’ ．．． ・チャットを読み出す 上記の”webtext”全てを”nps_chat”に変更
9. テキストコーパスへのアクセス ・ブラウンコーパス 一番古い電子コーパスで様々なジャンルの ものが入っている（教科書P45の表2-1参照） >>>from nltk.corpus import brown >>>brown.categories() >>>brown.words(categories='news') >>>brown.words(fileids=['ca16']) ※例 ID:A16 , ファイル:ca16 , ジャンル:ニュース
10. テキストコーパスへのアクセス ・ロイターコーパス ニュース関連の文章が収録 >>>from nltk.corpus import reuters >>>reuters.fileids() >>>reuters.categories()
11. テキストコーパスへのアクセス ・就任演説コーパス 大統領の就任演説が収録 >>> from nltk.corpus import inaugural >>>inaugural.fileids() ※ここでは先頭４文字が年号なことを利用し、年号 の情報のみを受け取ってみる。 >>>[fileid[:4] for fileid in inaugural.fileids()]
12. テキストコーパスへのアクセス ・他の言語のコーパス 他の言語を使用するには文字コーディング が必要となる。第3章でその説明がある。 ・独自コーパス 自分自身が用意したコーパスも使用可能。 方法は教科書P53-54を参考。
13. 条件付き頻度分布 ・条件と事象をペアにして処理を行う。 形式：（条件(ジャンル) , 事象(単語)） >>>from nltk.corpus import brown >>>genre_word = [(genre,word) ．．． for genre in ['news','romance'] ．．． for word in brown.words(categories=genre)] >>>len(genre_word)
14. 条件付き頻度分布 ・ペアになっていること確認 >>>genre_word[:4] #最初の４つのペア >>>genre_word[-4:] #最後の4つのペア
15. 条件付き頻度分布 ・ジャンルごとに単語を調べる ConditionalFreqDist：ペアから度数分布を生成する >>>cfd = nltk.ConditionalFreqDist(genre_word) >>>cfd >>>cfd.conditions() #条件リスト >>>cfd[‘news’] #newsの条件での分布 >>>cfd['romance'] >>>list(cfd['romance']) ※教科書P59表2-4に各詳細説目あり
16. 語彙資源 ・語彙リストコーパス 一般的に使われる語彙を集めたコーパス スペルミスや一般的でない単語を発見 することによく使用される。
17. 語彙資源 ・テキストのフィルタリング 関数の作成 >>>def unusual_words(text): ．．． text_vocab = set(w.lower() for w in text if w.isalpha()) ．．． english_vocab = set(w.lower() for w in nltk.corpus.words.words()) ．．． unusual = text_vocab.difference(english_vocab) ．．． return sorted(unusual) ※x.lower()：小文字にする , x.isalpha()：アルファベットか判断 x.difference()：差分のみを取り出す
18. 語彙資源 ・テキストのフィルタリング 例として以下のテキストを使用する 主に一般的ではないワードを探す >>>unusual_words(nltk.corpus.gutenberg.words ('austen-sense.txt')) 主にネット上で使われるワードを探す >>>unusual_words(nltk.corpus.nps_chat.words())
19. 語彙資源 ・テキストのフィルタリング the , to , alsoなど頻度が高い単語の コーパスもある(ストップワード) >>>from nltk.corpus import stopwords >>>stopwords.words('english')
20. WordNet ・WordNetとは 意味により整列された辞書 例 「motorcar」 , 「automobile」は意味が同じ。 つまりこれらは同義語である。
21. WordNet ・本当に同義語か確かめてみる >>>from nltk.corpus import wordnet as wn >>>wn.synsets('motorcar') ※「motorcar」がどこに属しているか示される >>>wn.synset('car.n.01').lemma_names() ※ここに属しているものが見える >>>wn.synset('car.n.01').definition() >>>wn.synset('car.n.01').examples()
22. WordNet ・WordNetの階層構造 WordNetは概念として、階層構造を 想像できる。 ※概念図は教科書P73図2-8を参照
23. 今回の最低限理解して欲しい事 • テキストコーパス ＝ 構造化されたテキスト集 • 各ジャンルやトピックに別れて用意してある • 関数(メソッド)は 『オブジェクト名.メソッド名(送り値)』 で呼び出すことができる 例：word.isalpha() , x.funct(y) など