Share
Embed
株式会社ブレインパッド_テクニカルナレッジ共有会#10 「ブートストラップ法による自然言語処理」白井尊昭
ブートストラップ法は、大量のテキストの中から、タグ付けをしたい単語を大量に抽出するのに役立ちます。例えば、国名を取得したい(タグ付けしたい)場合に、"Japan" などの具体的な単語をシードとして少数入力することで、同じような文脈で出現する単語を、国名だと判断してタグ付けを行います。
ここでのブートストラップ法は統計学におけるブートストラップ法とは異なり、半教師あり学習の1つで、タグ付け作業を軽減するための一般的なフレームワークを差します。
brainpad-inc
September 18, 2014
Transcript
35 slides
-
ブートストラップ法の流れ 2 集めたいものの事例を人手でシードとして少数入力 (国名を集めたいならば”Japan”など) プール Japan シード パターン シードとコーパス中でよく共起 する文脈をパターンとして獲得
パターンとコーパス中でよく共 起するものをプールに追加 プールの中でスコアの高 いものをシードとして選択 -
ブートストラップ法を用いるメリット 1. 人手の削減 – タグ付けをする際、1つ1つ人手でつけるのでは なく、大量の候補をある程度の精度で集めるこ とができる 2. ラベルなしデータの利用 –
ラベル付きデータだけでなく、ラベルなしデータ も用いて分類等のタスクを行うことができる 3 -
ブートストラップ法による語彙獲得タスク 7 語彙獲得はブートストラップ法により 広く行われている 広告 キーワード 拡張 知識 データベース テキストコーパス
Japan France 国名 語彙獲得タスク -
2.シードをコーパスから検索し,文脈を列挙す る 9 コーパス No. 1 in Japan countries such
as Japan tour of Japan プール Japan シード 「名詞(句)+前置詞(句)+検索対象の名詞(句)」や 「名詞(句)+動詞詞(句)+検索対象の名詞(句)」 などを予めテンプレートとし、テンプレートにマッチする 部分を列挙する -
3.パターンを作成する 10 コーパス No. 1 in Japan countries such as
Japan No. 1 in <名詞句> countries such as <名詞句> パターン tour of Japan tour of <名詞句> プール Japan シード -
4.スコアの高いパターンのみを残す 11 コーパス No. 1 in Japan countries such as
Japan No. 1 in <名詞句> countries such as <名詞句> パターン tour of Japan tour of <名詞句> 0.2 0.5 0.3 スコア プール Japan シード 多くのシードとより多く共起しているパターンのスコアを 高くする -
パターンのスコアについて[Pantel+ 06] 12 = 1 (, ) max ( )
Nはシードの個数 自己相互情報量pmi(x,y) = log2 (,) () の初期値は1 -
5.パターンを用い,インスタンスを列挙する 13 コーパス No. 1 in Japan countries such as
Japan No. 1 in <名詞句> countries such as <名詞句> パターン tour of Japan tour of <名詞句> 候補 France Russia Tokyo プール Japan シード -
6.プールと各候補のスコアを計算する 14 コーパス No. 1 in Japan countries such as
Japan No. 1 in <名詞句> countries such as <名詞句> パターン tour of Japan tour of <名詞句> 候補 France Russia Tokyo 0.5 0.3 0.1 プール Japan シード 0.8 パターンの時と同 様にスコアを付与 -
パターン獲得とインスタンス追加を交互に繰り 返す 16 プール No. 1 in <名詞句> countries such
as <名詞句> パターン tour of <名詞句> <名詞句> has land borders Japan シード France Russia 1.0 0.5 0.3 -
課題1:意味ドリフト 17 No. 1 in <名詞句> countries such as <名詞句>
パターン tour of <名詞句> 候補 France Russia Tokyo 「tour of <名詞句>」のような、多くの候補 にマッチするようなパターン(ジェネリック パターン)を使って候補を抽出すると、獲 得対象とは無関係の語も獲得してしまう 可能性がある。 Mac OS -
意味ドリフトの解決 • 相互排他的ブートストラップ – 複数のクラスに同時にブートストラップ法を適用し、 どのクラスでも候補になるような語のスコアを減ら す [Thelen+ 02] [Curran+
07, 08] [Carlson+ 10] • ストップクラスの利用 [Kiso+ 11] – 予め意味ドリフトを起こしやすいような語(多義 語)を列挙し、獲得しない • グラフ理論の応用 [Komachi+ 10] – (ブートストラップ法ではない) 18 -
相互排他的ブートストラップ 19 Japan Victoria 地名の候補 人名の候補 船名の候補 George Smith Victoria
Titanic Britannic Victoria 0.8 0.75 0.6 0.9 0.4 0.5 0.4 0.2 Linda 0.2 Paris 0.4 London 0.4 HMS Ariel 0.2 複数クラスの候補となっているVictoriaのスコアを減らしたい -
相互排他的ブートストラップ 20 Japan Victoria George Smith Victoria Titanic Britannic Victoria
0.8 0.75 0.6 0.9 0.4 0.5 0.4 0.2 Linda 0.2 Paris 0.4 London 0.4 HMS Ariel 0.2 0.1 -0.1 -0.3 クラス「地名」(LOC)における候補 の新たなスコア ′ , = , − , 他のクラス ′ Victoria, = . − max . , . = . 地名の候補 人名の候補 船名の候補 -
相互排他的ブートストラップ 21 Japan Paris George Smith Linda Titanic Britannic HMS
Ariel 0.8 0.75 0.6 0.9 0.4 0.2 0.2 London 0.4 Victoria -0.1 Victoria 0.1 Victoria -0.3 0.4 クラス「地名」(LOC)における候補 の新たなスコア ′ , = , − , 他のクラス ′ Victoria, = . − max . , . = . 地名の候補 人名の候補 船名の候補 -
ブートストラップ法は様々なタスクに応用可能 • 知識獲得 – 大規模な知識データベースの構築(「病気」「ス ポーツ選手」「野球選手」など様々な種類・粒度の カテゴリごとに所属する語を集める) – 関係抽出(スポーツ選手とスポーツチームの組な どを集める)
– タグ付け作業における人手の軽減 • 語義曖昧性解消[Yarowsky+ 95] – 例:”bank”は「銀行」「土手」などの意味を持つが、 個々の”bank”ごとにどの意味か当てる 23 -
応用例:Basiliskアルゴリズム[Thelen+ 02] • MUC-4コーパス中の名詞に6クラスのタグを付与 – MUC-4コーパス(1992): ラテンアメリカ諸国におけるテロリ ズムに関する1700文書 24 クラス
クラスメンバ数 コーパスでの割合(%) Building 188 2.2 Event 501 5.9 Human 1,856 21.9 Location 1,018 12.0 Time 112 1.3 Weapon 147 1.7 Other 4,638 54.8 ※米国防高等研究計画局(DARPA)はこんなところにも お金を出していますという例 -
シードとのコサイン類似度順に列挙する方法 28 “Spain” のベクトル: 2 3 1 … 3 3
1 … コサイン類似度cos , = ∙ とし, 各シードとのコサイン類似度の平均が高い順に出力する “Denmark” のベクトル: 0 0 1 … “IBM” のベクトル: -
Wikipediaからの語彙獲得における前処理の流 れ(例) 29 http://dumps.wikimed ia.org/enwiki/latest/e nwiki-latest-pages- articles.xml.bz2 をダウンロード WP2TXTで Wikipediaの
本文のみを 抽出 1. 文ごとに分割 2. トークン化 • 例: “$400” -> “$”, “400” 3. トークンに品詞付与 4. フレーズにまとめる(チャン キング) • 名詞句など ステミング (Porter Stemmerなど) “stemming” -> “stem” “stemmer” -> “stem” “argued” -> “argu” “argue” -> “argu” 名詞句から修飾子(冠詞、形容詞) を除き、さらに、頻度の低い名詞句は コーパスから削除 -
(参考): グラフ理論との関係 • Espresso 型ブートストラッピング法における意 味ドリフトのグラフ理論に基づく分析 – [小町+ 10] –
意味ドリフトはHITSにおけるトピックドリフトである ことを指摘した – Von Neumannカーネルと正則化ラプラシアンが意 味ドリフトを抑制することを示した 30 -
自己相互情報量pmiは低頻度の事例にペナル ティを与える尺度[Pantel+ 04]も存在 32 , = + 1 × (,
) , + 1 × log2 (, ) () = の出現頻度 = の出現確率 = min , -
参考文献 • [Yarowsky+ 95] – Unsupervised word sense disambiguation rivaling
supervised methods – www.aclweb.org/anthology/P95-1026 • [Thelen+ 02] – A Bootstrapping Method for Learning Semantic Lexicons using Extraction Pattern Contexts – www.aclweb.org/anthology/W02-1028 • [Pantel+ 04] – Automatically harvesting semantic classes – www.aclweb.org/anthology/N04-1041 • [Pantel+ 06] – Espresso: leveraging generic patterns for automatically harvesting semantic relations – www.aclweb.org/anthology/P/P06/P06-1015.pdf • [Curran+ 07] – Minimising semantic drift with Mutual Exclusion Bootstrapping – sydney.edu.au/engineering/it/~james/pubs/pdf/pacling07boot.pdf 33 -
参考文献 • [Curran+ 08] – Weighted Mutual Exclusion Bootstrapping for
Domain Independent Lexicon and Template Acquisition – www.aclweb.org/anthology/U/U08/U08-1013.pdf • [Komachi+ 10] – Espresso 型ブートストラッピング法における意味ドリフトのグラフ理論に基づく分析 – cl.sd.tmu.ac.jp/~komachi/papers/jsai2010-bootstrap.pdf • [Carlson+ 10] – Toward an Architecture for Never-Ending Language Learning – rtw.ml.cmu.edu/papers/carlson-aaai10.pdf • [McIntosh+ 11] – Relation Guided Bootstrapping of Semantic Lexicons – www.aclweb.org/anthology/P/P11/P11-2046.pdf • [Kiso+ 11] – HITS-based Seed Selection and Stop List Construction for Bootstrapping – www.aclweb.org/anthology/P/P11/P11-2006.pdf 34