春の情報処理祭 自然言語処理

Transcript

1. ij1àÍƬż ˆľÑĚƬ
   íPreferred Infrastructure țŬŵ
   2015/03/16 in
2. ˆľÑĚƬ
   ਓ͕ؒ೔ৗతʹ࢖͍ͬͯΔࣗવݴޠΛίϯ ϐϡʔλʹॲཧͤ͞ΔҰ࿈ͷٕज़Ͱ͋Γɺ ਓ޻஌ೳͱݴޠֶͷҰ෼໺Ͱ͋Δɻ
   
3. 2)É7!
   ! ˆľÑĚƬÎƂ,9: ! ˆľÑĚƬ-TR),1ô
   
4. ˆŢźĭ
   țŬŵ !  2011|‹º{±{±äŊþğĵŊŦ !  2011| z~GHf Koí‹ºÜŻģĶ¿ !  2014| íiuhF aHyhtV`tO[q !  ˆľÑĚƬàÍÚűµŽ±ř^NV`nHcyP÷ Ũßů/. !  Jubatus1§/. NLPċŠ1}øæ¦„2014-
5. ˆľÑĚƬÎƂ,9:
   
6. ˆľÑĚƬ-(+;ÜŻ?Ą­7,Łç
   Úű
   ƃŸ
   »®
   Įđśß ů
   ēòßů
   ŭĄßů
   Ę½ĄŅ
   ņ؉ů
   ĨÉßů
   ’É
   òï‰Ŏ
   ¼Ńßů
   Ñŋ
   ÑĚp_ v
   àÍƀ
   ^NV`n HcyP
   
7. ÜŻ;Ą­;ķƬ0`wyaĜ@))A
   Úű
   ƃŸ
   »®
   Įđśß ů
   ēòßů
   ŭĄßů
   Ę½ĄŅ
   ņ؉ů
   ĨÉßů
   ’É
   òï‰Ŏ
   ¼Ńßů
   Ñŋ
   ÑĚp_ v
   àÍƀ
   ^NV`n HcyP
   >@ķ
   
8. 1€,1)&É7!
   µŽƃŸ
9. >@Ų˜ì2
   ĸʼnĬġE1[r `uGvDăŭ1- [ĸʼn12]
   
10. µŽƃŸ-2
    !  ÑĚA,ïB%òŰDõ1ÑĚB0ƃŸ!A !  ˆľÑĚƬ1Ķļ—/S v11)
    B2ky,!
    This is a pen
    
11. ĊԗµŽƃŸŮō1A ÄĢp_v[Brown +93]
    !  ŇŠB%_ Y x‘Ÿò2ë1_ Y yƃŸ”1ò0[SĖ(%-éA !  x Đ?B%-¶;ƅ;? y D¸+A y=This is a pen
    x=B2ky,!
    argmaxy P(y|x)
12. ƃŸp_v-ÑĚp_v0‰ß!A
    !  ƃŸp_v !  Ě=ĚŜ1‘BŘC@D³Ã!A !  ’Ÿ_ Yý» !  ÑĚp_v !  ò1ˆľD³Ã!A !  Œ‚ÑĚ1_ Yý»
    argmaxy P(y|x) = argmaxy P(x|y) P(y) ƃŸp_v
    ÑĚp_v
    {ħ1_ Y,Ś¥ >ł–,A
    
13. ĊԗµŽƃŸ1ŶĿ
    ĹĊ—Gix [
    Įđśßů
    ēòßů
    ¼Ńßů
    ¼Ń³Ã
    ēòÌ
    Įđśš
    ĊԗµŽƃŸ
    ·ò
    ƃŸò
    
14. T QyV?ťŮ/ēĠ4
    !  Ϲ1ĊԗµŽƃŸ2òD$VHY- +Ƅ+% !  Ɓ 0ò1ēĠDßůēĠ•1ĀŋDéA>0
    ŒĚš
    ſ1š
    ēòÌ
    >@ťŮ/ēĠ
    
15. ŔĨcr tvd\`,‚Â0ŽÀ [Sutskever +14]
    !  ·ò1ŒĚDŜĤ0īC#%”ƃŸò1ŒĚ DŜ0ŽÀ!A!"#,% !  Recurrent Neural Network1‚ĺ,ALong Short-Term MemoryDĄ­ ·ò
    ƃŸò
    
16. ťŮ/½Ë;ÜŻĉĞ¡Ò+A
    !  ēòßů !  ò1ēĠD.1>0ƄB3> !  GvSuWo !  ćĎ0ŀÿ!Aœďò?VRG¶{1òD.1 >0IJą—0Œ!A !  µŽ±ř !  .1>0Ó8D±ř!A !  ĩD©—Ç0!A
17. Ĉ…1ţ02Xh`IJG1ŀÿ
    !  GIZA++=Moses-(%ĊԗµŽƃŸ1 ] vè 0´§BA !  ] v´§BA-KN ZW&7 .
    https://code.google.com/p/giza-pp/ http://www.statmt.org/moses/
18. £µŽƃŸş
    !  2010/08 NICTVoiceTraD ´§ !  2014/09 NTT íù} †8?ƃŸDÁž !  2015/01 GoogleuGvYHo ƃŸµîD´§
    http://voicetra-plus.jp/
19. ˆľÑĚƬ-TR),1ô
    
    
20. ˆľÑĚƬ2ěÎĪĦ
    ˆľÑĚƬ
    Ṉ̃
    µŽ±ř
    ¶őª
    _ YēĠ
    àÍÚű
    âáî
    ÷ŨƬ
    ōĔƬ
    L*
    L%
    
21. ĉĞ1ĥ‘-etZHo1Āª
    !  ˆľÑĚƬ2EI L*ŐE !  šĉĞč‘BA-ģĶ1ĈB &7 B -×
    
22. jHWĊÔLatent Dirichlet Allocation [Blei+03]
    !  óą—0¨ūB%0Ü*+óą —0ŒĚŽÀBA-éA !  Ž1^NV`&,±ř,A !  $1”>@ŚƇ/p_vªD…1{Ĉ… [Blei+03]
23. Pth¬ĂMST Parser [McDonald+05]
    !  ô@Åēòßů24/1M;5:0ŏęB A-0Ï:+Â*% !  ²—Ô÷¤,O(n3) ?Chu-Liu-Edmonds¤ ,O(n2) 0 [McDonald+05]
24. ¶őªĕÇČĮÔ÷¤0>AťÇòï»®1–ù ª [McDonald07]
    !  ˜ì1-@6RelevancyD¶{ª !  `'6RedundancyD¶«ª !  òD»®0į:AŖD {0, 1} 1ĀÇ,³Ã
    
25. £l\`/ĉĞ2 ķŝ±ř
    
26. ¢z1IPSJ-ONE0…
    ķŝ±ř,ˆľÑĚƬDĀA Kevin DuhՎ
    
27. ¾1ĉĞš`wyaDŽ8!
    !  £źĭ%ĉĞ2"B;$1”1āģ Ķ`g\OD‚š#% !  ˆė1ĉЈľÑĚƬ1.0 ñ­,/ũB3ʂ‡0/B A
    
28. ˆľÑĚƬ1ĥ22eY y
    !  U\ GJDÐ)½Ë0ő­BA !  ˆľÑĚ$-/A‰› ,ðCBA
29. ÷ŨƬ41Ą­T y1ßů [Socher+11]
    !  ò1ēĠDßů! A1- >0 ÷Ũ1ēĠDßů !A !  Recursive Neural NetworkD)( + Š¤,ßů [Socher+11]
30. àÍÚű41Ą­Ĵ /Ą­
    !  ŒĚ‰öĮđśßů !  ‰'ïB+/z~Ě1òïDŒĚŒÙ ,Hy_\OV!A10ý» !  ƃı !  ĻĚVkv0’Ą!AMYMb³ãDˆ²,ŪÞ !  Û1Úű/.0ðCBA !  ĒĚŪÞ !  ÚűŹBDÖ?!%:0ÚűOKuDĒĚ,ň ĝ!A
    
31. âáî41Ą­xm\`2‹{4‘BAix UJO` [úû+13]
    !  ½Ëò1Ṉ̃—/ē ĠDßůDZ—/ ¼Ń1ùìù0 n\gyP!A !  ,%ìùDń%! ßDũ!
    ½ËDŤ9
    ½Ëò
    ìù
    œŅ
    ùDß
    
32. £ˆľÑĚƬş
    Vn `hLy“¯0/@HyY hJ V- +1ˆľÑĚÓ»0/(++A !  ōĔHyY hJ V !  Apple1Siri !  NTTaRp1<5(+RyTJv !  Yahoo!1ōĔGTV` !  cr VNrw Tsy !  Gunosy !  SmartNews
    
33. 7-:
    !  `wya2>@ķ^ n0 !  òı1³ŝ0å^ n?¼ŃDƄAý»1 A^ n0 !  >@Ą­—/YVO,;ÜŻ—/ßů2Ó» !  ĉĞ1ĥ‘ŐE !  üĽ0ĩ¥;šĉĞč‘B+ƒÎ‚š B% !  ŕ/AĉĞDÐ(+A6.[qyV
34. ăéòŧ 1/2
    !  [ĸʼn12] ĸʼnĬġ. F=+3^_] 4>X. NLP2012 [r `uGv. !  [Brown+93] P . Brown, S. Della Pietra, V. Della Pietra, R. Mercer. The mathematics of statistical machine translation: parameter estimation. Computational Linguistics, 19(2), 1993. !  [Sutskever+14] I. Sutskever, O. Vinyals, Q. V. Le. Sequence to Sequence Learning with Neural Networks. NIPS 2014.
35. ăéòŧ 2/2
    !  [Blei+03] D. M. Blei, A. Y. Ng, M. I. Jordan. Latent Dirichlet Allocation. JMLR 2003. !  [McDonald+05] R. McDonald, F . Pereira, K. Ribarov, J. Hajic. Non-projective Dependency Parsing using Spanning Tree Algorithms. HLT-EMNLP 2005. !  [McDonald07] R. McDonald. A Study of Global Inference Algorithms in Multi-Document Summarization. Advances in Information Retrieval, 2007. !  [Socher+11] R. Socher, C. Lin, A. Y. Ng, C. D. Manning. Parsing Natural Scenes and Natural Language with Recursive Neural Networks. ICML 2011. !  [úû+13] úûŴŵ, ŌİŞê, ųÝŷÆ, °Ɔž™, šÝŗ™. O<H0?8AD0 P( *C825:?Q. JSAI 2013.