Upgrade to Pro — share decks privately, control downloads, hide ads and more …

⼦供の言語獲得と機械の⾔語獲得 @PFIセミナー

⼦供の言語獲得と機械の⾔語獲得 @PFIセミナー

Yuya Unno

March 17, 2016
Tweet

More Decks by Yuya Unno

Other Decks in Technology

Transcript

  1. ⾃自⼰己紹介 海野 裕也 l  -2008 東⼤大情報理理⼯工修⼠士 l  ⾃自然⾔言語処理理 l  2008-2011

    ⽇日本アイ・ビー・エム(株)東京基礎研 l  テキストマイニング、⾃自然⾔言語処理理の研究開発 l  2011- (株)プリファードインフラストラクチャー l  ⾃自然⾔言語処理理、情報検索索、機械学習、テキストマイニングなど の研究開発 l  研究開発系案件、コンサルティング l  JubatusやChainerの開発 l  最近は対話処理理 NLP若若⼿手の会共同委員⻑⾧長(2014-) 「オンライン機械学習」(2015, 講談社) 2
  2. 知能とは何か? 3 計算 記憶 推論論 認識識 制御 予測 理理解 創造

    ⾔言語 ⼀一⼝口に知能といっても様々な側⾯面があるので、扱 いたい対象についてもっとよく知るべきだろう
  3. 実験⽅方法 19 1 2 3 4 5 数字の順番で、 カテゴリの 範囲が狭い

    どれをネケと思うかでカテゴリの粒粒度度がわかる
  4. Zero vs One l  Zero-shot learning l  学習事例例がないので、代わりにラベル間の関係をテ キストデータから学習知る l 

    ことばは知っているけど⾒見見たことないモノの名前紐紐 付ける l  One-shot learning l  学習事例例が⼀一つしのラベルをあてられるようにする l  初めてきく単語をモノに紐紐付ける l  ベイズ系の⼿手法が多い 42
  5. 少し考えるとバイアスと⽭矛盾したことがいくらでも ⾒見見つかる 43 固有名詞 下位の⼀一般名詞 上位の⼀一般名詞 ⼀一般名詞 「動物」 「イヌ」 「柴犬」

    「ハチ公」 形が似てなくても 同じ語になる 同じ対象に複数の 語が対応している カテゴリーではな い語が存在する 物質名はどう するの?
  6. 固有名詞の獲得 l  冠詞の有無で⼦子供の反応が変わる l  This is a dux. l  This

    is Dux. l  後者は固有名だと把握したような反応をする l  既知のモノを別のコトバで呼ぶ l  ペンギン(知っている)のぬいぐるみを「ネケ」と 呼ぶ l  「ネケ」は固有名だと把握したような反応をする 44
  7. まとめ l  ⼦子供がことばを覚える過程は不不可思議 l  ある年年齢以降降、急激に語彙を覚え始める l  ⼀一度度⾒見見ただけで語彙を覚える l  ⼈人間の認識識にはバイアスがある l 

    コトバとは何か、何をカテゴライズするか、どのように使い分 けるかに対する強烈烈な偏りがある l  即時マッピングに関係しそうな機械学習を紹介 l  Zero-shotは既知の単語を未知のモノに結びつける l  One-shotは未知の単語をモノに結びつける l  コトバの不不思議はまだまだいっぱい 46
  8. 参考⽂文献 1/3 l  [今井+14]今井 むつみ, 針⽣生 悦⼦子. ⾔言葉葉をおぼえるしくみ: ⺟母語から外国語まで.ちくま学芸 ⽂文庫,

    2014. l  今井むつみ. ことばの発達の謎を解く.ちくまプリマー新書, 2013. l  ⽟玉川⼤大学⾚赤ちゃんラボ. なるほど!  ⾚赤ちゃん学―ここまでわかった⾚赤ちゃんの 不不思議―. 新潮⽂文庫, 2014. 47
  9. 参考⽂文献 2/3 l  [Mikolov+13] Tomas Mikolov, Ilya Sutskever, Kai Chen,

    Greg Corrado, Jeffrey Dean. Distributed Representations of Words and Phrases and their Compositionality. NIPS 2013. l  [Socher+13] Richard Socher, Milind Ganjoo, Christopher D. Manning, Andrew Y. Ng. Zero-Shot Learning Through Cross-Modal Transfer. NIPS 2013. l  [Frome+13] Andrea Frome, Greg S. Corrado, Jonathon Shlens, Samy Bengio, Jeffrey Dean, Marc’Aurelio Ranzato, Tomas Mikolov. DeViSE: A Deep Visual-Semantic Embedding Model. NIPS 2013. 48
  10. 参考⽂文献 3/3 l  [Norouzi+14] Mohammad Norouzi, Tomas Mikolov, Samy Bengio,

    Yoram Singer, Jonathon Shlens, Andrea Frome, Greg S. Corrado, Jeffrey Dean. Zero-Shot Learning by Convex Combination of Semantic Embeddings. ICLR 2014. l  [Changpinyo+16] Soravit Changpinyo, Wei-Lun Chao, Boqing Gong, Fei Sha. Synthesized Classifiers for Zero-Shot Learning. arXiv 1603.00550. l  [Lake+13] Brenden M. Lake, Ruslan R. Salakhutdinov, Josh Tenenbaum. One-shot learning by inverting a compositional causal process. NIPS 2013. 49