大規模データ時代に求められる自然言語処理 -言語情報から世界を捉える- @東北大学産学連携講義：先端技術の基礎と実践

1. ÃƮȠœ8–äČdŪpwzy ÕȡňǢƳć - ňǢťŁHwĿł}ˤFy -
   Ķî1ʧʽ
   ƁƚÆÒ* ! ** '!*+,*-,-* 1
   -''()* ! **  %)
   
    ÙİÃďğďąȨʖǍ4ŏʂƻǫeŞˉaāˡ
   
2. ÆÒˇȆ
   * ! ** '!*+,*-,-* ' 
   !  ĩò: 2006Ä3Ö !  ÚĦ: ÙěŅƉěƎÇʃ !  ɃÍüij: ċ40È !  ²™ºÁ: ėŏʂeƻǫ}ėɫDZ`āĈăUy
   
3. Əɺc…Á‘ €3DzȒÓIơEǼǦ
   !  TopCoder’s Red Coder : 3È !  ICPCĿłÃÆËÚ: 7È !  ICFPÁ›’Ə÷Ó !  ɘɞª¿‘„Š: 5È !  Publications: ACL, SIGKDD, NAACL, ALENEX, SODA, FOCS, STOC, DCC, SDM, ICDM, SPIRE, ESA, ICPR, MLJ, JMLR, NIPS, ECML/PKDD, Bioinformatics, Nucleic Acids Research !  Ex. SONY, IBM Research, Yahoo! Japan, Sun, Accenture, Microsoft, mixi, FAST Search&Transfer, TOPPAN Printing, NOMURA Security, GREE, KUMON, Google interns
4. ĚcÑÍ
   !  ŠÍĵN•¨ƒ„€eýÜȄķ !  Ěd2ŠÍĵNeŘʹ…Á‘Á2¾´Áž…Á‘ Á2œ8–ţʴ…Á‘Ácb !  ʜȬŠÍeDzȒý܍ÁŽ½›Á‹ !  íƻǫeĊısLJáe€ž£‚’sØȖD !  ƙàāŽāǵ
   e
   
5. ÕʇˇȆ
   Ķîʧʽ !  -2008 ÙÃťŁćŨȾƣ !  ÕȡňǢƳć !  2008-2011 Âǀ‚3¦83…³:Ɓ;ÙěŞˉDz !  ›ˆ’±‚ Á‹2ÕȡňǢƳćeDzȒýÜ !  2011- :Ɓ;ª¼¨8ž‚Á¨»’»Š˜¶8 !  ÕȡňǢƳć2ťŁŘʹ2Ĕˑďɢ2›ˆ’±‚ Á‹cb eDzȒýÜ !  DzȒýÜȶşŢ2ÁŽ½›Á‹ NLPǀØeÆƙàŬüÎ:2014-; f
   
6. ʐȖ4NLPǀØeÆ:YANS;
   !  YANSÁ°‘ƒ³:9Ö; !  ǀØDzȒÓ:40ǣɘȭLwD;eǀØDzȒÓI2Õ ǘeDzȒ}ĮpyYpeơmx !  ďÝsŠÍ…Á‘ €eƭĻqˈɰ !  ùÄfÔɸ`SY6 !  YANS˒:3Ö; !  ňǢƳćďÆĉÅÃÆęçÉd˒ȑÆ}SmU !  ɒcyʪnÆ`U" g
   
7. €‘„Á—
   !  1ì4ňǢťŁHwĿł}ˤFy !  œ8–eƨă
   !  œ£‚’eƨă
   !  ƻǫeƨă
   !  2ì4¬Á˜¶8ŠÍeDzȒýÜ !  [uP\aZN h
   
8. ÕȡňǢƳćaf
   ÕȡňǢ:ÈeĸUňǽ;}Á§¸8–`ƳćRWyY peƻǫ !  ĚcưĈ4ÂÇǢáô2Ĕˑˢ˃2ÕĐĜċcb !  ňǢď2Ĕˑďɢ2ėɐă2ƾōcbeƻǫañ|xI ȓD i
   ! $#
   _Š™
   
9. 3]eȳĬHwÍĨdGNyÕȡňǢƳć}map y
   1.  œ8–eƨă 2.  œ£‚’eƨă 3.  ƻǫeƨă j
   
10. 1. œ8–eƨă
    
11. ÕȡňǢœ8–}ĕxʢLĢľ
    !  ŒȎă !  Ȏ7cœ8–ɠ !  ŒňǢ !  ƃJňǽ3ĸSňǽ3¡™’»Á‹ !  ÃƮȠă !  ‚Á–8¡™2WWWeÜȁ !  ¡™ ¸8’2ʔŲʆsBlog !  SNScbe‡‘¸€½c›ˆ’œ8–eɵÜ bb
    
12. ļĈÑȃfb~b~ŒȎă
    āÒÆ`IbevEdƅ|z_DyeH}ˇȆUy
    !  ǶȪ3«½’Œ€
    !  Ǚǯ
    !  
    !  Ɖʙ3ƞɡ
    !  ÒêťŁ
    !  SNSţʴ !  űž
    !  úĨ
    bc
    
13. Ǚǯ
    !  ĩōȦ2ìƒÌ˔ !  ÅsŨÚʑdàTìƒdɜcyśæIƔD_Dy !  ȩȷ˝ʀsŗɁşcbeêìƉƃ !  klÕƤƉ`2¨†8±™qȎ7 !  ēɎÔŁž !  8½”Á–8ieĢDÔ|WeƃJNJPS !  ¼8½}ɘȡdǂKYD bd
    ƾÌRz_DcD ťŁɠ
    
14. EC
    !  ǙƒŘʹ
    !  ȵǮc˅xŜnŘʹIƢĜce`2ȉÕdůxPo PaIŒD !  íSDǙƒ×ɈeËī:¾‰Á’\_cd333; !  ǙƒťŁeţʴ !  ǙƒǝøHw2Ž‚“sɛǜcbeťŁ}ĕxYD !  Ž‚“dq2Ÿ˗2ê˗2ÎR2cbȎ7 !  ʫǧ˝ʀeţʴ !  <Peƹƒ}ǧ\_DyÈfPzqǧ\_DmU= ‡’–±‚“eƢ Ĝĥ
    
15. Ɖʙ3ƞɡ
    !  ˄zeɡRzcDƞɡŘʹ !  ñąƉƃqUj_Ċjye`2ǹvxq˄zIcD PaIŪpwzy !  ːǰIˀYˆ8À8ž2ƉƃqÜÛSYD !  ʶÃUKyƬƉŘʹ !  ťŁeƵõ’IöI\YYpdƬƉeijIɵÜ !  ƃHzYêźeţʴs2ʲÓeǿȗôeţʴcbq Ūpwzy ʶÃcƉƃaÞD ƀīƱ
    
16. űž
    !  ¹88eʋĥ×ʴ !  ª¿¨8½sʫǧ˝ʀHw2ĥƑ2Äɹ2ƪȚ2ˌȫ2Ňɂ Ǐħ2˧ȅcbI×ʴ`Jy !  CyƹƒIbevEcÈdƒŒ_Dy2ģz_DyaD\Y ±8Œ›Á‹×ʴieļĈ !  űže’›³aɚĉdƾÔRzy:ȃ4Google; !  ĹġÓǓį &„
 ptlZ
    &„s‚>„1ut
 (‡ˆ•Œ†’„1uwl‚ ű ž
    PeÈcw2PeűžfÞƊ Ʊ`ɔUHw2Þȍ`áɑ6
    MO[ ƩcDťŁHwÞ ɨû`eȥèIŪ pwzy
    
17. Intimate Merger
    !  2013/06/19 ¨¼8Š€ƒaeÔȽÆÒ}ĩò !  űžǓįeYpd2Ǔįŏ¹88ťŁeÃƮȠœ8– }ţʴ
    bh
    
18. Ìň`ňǢƳćaň\_qɐĈãúfȎ7
    !  ÍȚdv\_ɜcyĜŪ !  ŘË˄zIcDPaIŋĜcÚÔa2çǡDIƩcDPaIŋ ĜcÚÔ !  H\[xSYƉƃHw2ȤxƃJeƉƃm` !  ťŁ}Û]Ny2ǑćUy2ėɐăUy33 !  1]eƻǫZN`fţóScDPaqŒD !  Řʹ2ɈˀƉƃ2ťŁ˘Ë2etc. !  ƴǚă2UI2äȶʄţʴ2ƾō×ʴcbɜcyƻǫaeʼnnÔ |WIƢĜcÚÔqCy
    bi
    
19. ňǢĂɠeÃƮȠ (1/2)
    !  SNS !  Twitter : 2.3Ō active user *1 !  Facebook : 11.9Ō active user *2 !  LINE : 2.0Ōuser*3 !  ƬƉ !  Peer reviewed Journal ` 135ĝ article / Ä*4 !  ÄƱ 4910%eŖĻ, 15Ä`2ɴd !  conference proceedings cbfɤdÞDŖĻƱ bj
    *1 http://weekly.ascii.jp/elem/000/000/084/84331/ *2 http://www.prnewswire.com/news-releases/facebook-reports-third- quarter-2013-results-229923821.html *3 http://en.lineblog.naver.jp/archives/30767259.html *4 http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2909426/
    
20. ňǢĂɠeÃƮȠ (2/2)
    !  ȮǥŇUwĉ_eťŁdʦzyPafʒǭ !  ñąUyǻǴqƷȐdȺÃS_Dy !  SNS, Ŕ둶8Ÿ½cbťŁÜįƂôfƷɕdŖFY I2ÈeƳćƂôfƷɕdŖFcDe`€’š8½ IƢɽ !  ÃǷeťŁHwƢĜcťŁen}ơpy !  ťŁ¨½–¼Á‹š8½ !  ťŁĜċš8½ !  SNS}ÉŤdťŁf¼€½–‚³`ÜÝUy !  ǔçijƸ9ĝ, PzweŝƆdſư`JyH ca
    
21. ťŁ¨½–¼Á‹
    !  €ž®™ŠŘʹ4Š…¼IĐé2âǛƉƃIɭé !  Googlecbeƒ„©ŘʹcbD|tyʕõeŘʹ !  ťŁ¨½–¼Á‹4Š…¼Iɭé2âǛƉƃIĐé !  ūÄeˆ¸¾8ºÁ€ª¼IPzweƻǫdū^D_Dy    & pull"
     %    push"
    ƉƃIĐé : ¸8’2 twitter;
    ťŁ¨½–¼Á‹ ˆ¸¾8ºÁ€ª¼
    ƉƃIɭé:ƒ„© ­8‘2ǙƒťŁ;
    €ž®™ŠŘʹ :ƒ„©ŘʹcbÌɱe ŘʹeːǰfPz;
    
22. ȃ4ɲƲâŃ
    cc
    ßǴ2§™Š2äç`ťŁ}¨½–¼Á‹
    
23. ȃ4¹88ʋĥ¨½–¼Á‹
    cd
    ƫ¹88ʋĥddñąUytweeten}˘ËUy
    
24. ȃ4 ¸8’ˆ¸¾8ºÁ
    ce
    http://gunosy.com
    https://www.smartnews.be/
    
25. œ8–eƨămap
    !  ɐưǻǴeŖÃaœ8–eŒȎă !  ÕȡňǢeœ8–fCwty¦‘¡’ǻǴ`ļĈRz_Dy !  CwtyǻǴ`2Pzweœ8–×ʴe 8“fÞm\_Dy !  âǛǻǴQadœ8–eǡDencwV2ĜŪĺƛsƢĜcƻ ǫqmy`ɜcy !  œ8–eÃƮȠăa¨½–¼Á‹ƻǫ !  ÃƮȠă2ŒȎăIƷȐdĮ~`D_2ÈçeƳćƂô}Ê ï\_J_Dy !  ťŁ}ĕˍÿƑUyțʼnnIƢĜaRz_Dy cf
    
26. 2. œ£‚’eƨă
    
27. őƩUy¤•Á2ŖĻUy’±8¨†Á
    NH$-24%'B+Y F: http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h24/html/nc122310.html
    
28. ’±8¨†Ádc\_HwǠĀRzƋpYÕȡň ǢƳćƻǫ
    !  ÕȡňǢƳć}ƇĈSYƻǫIƷdǠĀ}Ch yvEdcy !  ǹINJP\_DyeH5
    ci
    
29. Ʌǐ‚Á–8¨„‚’: Siri2Srj\_Á„½2 Ʌǐ€’
    cj
    https://www.apple.com/jp/ios/siri/
    http://v-assist.yahoo.co.jp/
    https://www.nttdocomo.co.jp/service/information/shabette_concier/
    
30. ¸8’ˆ¸¾8ºÁ4Gunosy, SmartNews
    da
    http://gunosy.com
    https://www.smartnews.be/
    
31. ’±8¨†ÁäČd©¾8ŠSYƻǫ:1/2;
    !  Ŏɾáô !  1970ÄČdf€‚œ€IC\YI2PCĵNdfʕɍ ScH\Y !  ȨɄŔĸeʕɍdÔ|W_ʕɍ !  Ʌǐáô !  Ʌǐáô•¨f2000ÄæådÌʺdÜķRzYI2 ŝƿˆ8¯8ž}ƖJȿFcH\Y !  aP{I2’±®HweɅǐŘʹsɅǐ‚Á–8 ¨„8’dc\_ǺýL db
    
32. ’±8¨†ÁäČd©¾8ŠSYƻǫ:2/2;
    !  ťŁƗơƻǫ !  RSS¼8—8}fTp2ťŁƗơ€ª¼f2000ÄŻ æŴdfȢƥSY !  Ã7édʕɍUyvEdc\Yef]Dėū !  Ĕˑˢ˃:PzHw5; !  Ĕˑˢ˃•¨f2000ÄæådÌʺdÜķRzYI2 ŝƿʕɍScH\Y !  Ɯ×cˢ˃¼•8’ešwzcDʓϐ8Ácb` Ƽdò]fV dc
    
33. œ£‚’eƨăaƞǜeƨă
    dd
    { PC'
    { PC'
    )* # * ēÕƤcáËô
    D]qņ\_D_ UMſưUy
    
34. ƨădC\Y•¨ƒ„€eƢĜĥ
    !  ēÕƤcáËô}Ž°8`JyH5 !  ˆ8¯8žs±ƒ’evEcœ£‚’fƅFcD !  Ãƕż`ÃǷeťŁ}ŰŲUyPaf`JcD !  D]`qņ\_DyPa}ƇHWyH5 !  ǔɒŕ`õŧUyƢĜeťŁ}ŰȂ`Jy !  bPdD_qťŁd€Š”’`Jy de
    
35. ©¾8ŠSYƻǫfœ£‚’eƞʠ}ˤF_Dy
    !  Ŏɾáô !  ēÕƤcȨɄŔĸeáô‚Á–8¨„8’ !  Ʌǐáô !  ēÕƤcȨɄŔĸeáô‚Á–8¨„8’ !  ÎDƉʸvx2ŘʹcbeɫDŠ…¼8eáô}Ž°8 !  ťŁƗơƻǫ !  ɥHDŘʹƧŢ}áôUyefǭSDYp2ÕĐ`ťŁ}Ɨơ S_ʥSD !  ýDYäçdļĈUyÑIŖF_2øƊcĀé}ņ\_ťŁ} ʝUPaIő\Y !  Ĕˑˢ˃ !  äç}HN_IJƊcˢ˃}Uyvx2ÂǎÝƇdGNyėǖLj eˢ˃IƢĜc8Á`eļĈ df
    
36. IoTsƒ„€»©½aD\Yˆ8À8žIĸľd
    dg
    
37. ƒ„€»©½œ£‚’`fÁ›ˆ’}ʉoƢĜ ICy
    !  ɥHDƧŢeáôfvxʒǭdcy !  ļĈÓeƽș}ĔˑIʉnĕ\_2ljɚUyƢĜICy !  Google NowIs{EaS_Dyãĵĥ
    dh
    @
    
    .1]
    7^
    
38. Á›ˆ’}ʉoYpd2ÕȡňǢƳćsŧȧƳ ćeƻǫeŋĜûfÞmyZ{E
    !  ʌije˨˥cťŁçeñƌ}øwHdUyƢĜICy !  ÚÔdv\_fÕȡƉ`ƃHzYťŁ}ʤEƢĜICy
    di
    Gˎæd9
    <12:00
    Ğə`9
    ÙěŅĞə
    86y‹Ž’
     Gy,
    Ey‚,^{2U
    ǨĐäç:25×
    
39. ‚Á–8¨„8’aS_eÕȡňǢ
    !  £fÈçdťŁ}ȖFyŋĜcš8½ !  ”ÁŽ8eݜ8–fÈçdfʉpcD !  Ʌǐeɇȇœ8–f2ƉȊdGPS_ńp_ćţ`Jy !  ɬʛťŁemm`fŘʹqmmcwcD !  ¥eȢƥUyLjxŋĜĥfƨ|wcD !  Èçae‚Á–8¨„8’aS_ƢĜĥIcLcyPafcD !  ɩd¥IʞȸRz_ÕĐăRz_DLǻǴ`f2£eŋ ĜûIöIyƴƂĥqCy dj
    
40. œ£‚’eƨă3map
    !  œ£‚’eƨădÔ|W_ƻǫeŋĜûfƨ|y !  ’±8¨†ÁeËī`ǺýDYƻǫfƦðCy !  œ£‚’dÔ\Yª¿—ŠIƢĜ !  ˛7dµ¢àƣIsxaxUyĿłdƨăUy !  ›ˆ’Hw2Ʌǐsɬʛ2”ÁŽ8eݜ8– !  Āéq2¥dvy×ʴHw2ĔˑdvyÕĐăIĀédcy Z{E !  ›ˆ’fÈçae‚Á–8¨„8’aS_eŋĜĥf ʍȡaS_ƨ|wcD ea
    
41. 3. ƻǫeƨă
    
42. ÕȡňǢƳćfưĈǻǴce`Ȏ7cƻǫañ|x IȓD
    ÕȡňǢƳć
    Ĕˑďɢ
    ňǢď
    ťŁŘʹ
    œ8–¬8’
    ƾō
    ÈŨŧƂ
    ėɐă
    
43. ÕȡňǢƳćfģeƻǫ}dzáSsUD
    !  Ĕˑďɢ !  1993: ƾōéĔˑˢ˃ [Brown+93] !  1996: ėÅÁ¿§8ú [Berger+96] !  2001: ƧŢƔJƊƱÚ [Lafferty+01] !  ¬‚“ƾō !  2003: Latent Dirichlet Allocation [Blei+03] !  2006: Pitman-Yor language model [Teh06] !  ėɐă !  2006: ǑijDŽȇōƕú [Clarke+06][Riedel+06] !  2010: ʗâ×ţ [Koo+10][Rush+10] !  ȓɳďɢ !  2003: Neural language model [Bengio+03] !  2010: Recurrent Neural Network [Mikolov+10] !  2012: Skipgram Model (word2vec) [Mikolov+13] ed
    
44. ȓɳďɢ
    ee
    
45. ȓɳďɢ©8³}bEÛyH5
    !  PPijÄ2ğďȈp_Ãƨc©8³ !  ñąS_2ÈŨŧƂqÃƨc©8³dc\_Dy !  ɒcyÌäe©8³ceH5 !  Pzm`}ȜxǕxcIwƩSŵF_ny
    ef
    
46. 1. ȓɳďɢIų7dÞɨû}ȁħ
    !  2011: ɅǐŦȧ`…»8ƱI30%Ż# 20%Ż !  2012: ƕʛƳćeÌɱřþŦȧ–’Š`…»8 ƱI26% # 16% !  Xeå22013: 11% # 2014: 6.7%
    eg
    http://image-net.org/challenges/LSVRC/2012/ilsvrc2012.pdf
    
47. 2. ÊÍdvyĽĂ2ÈɛǒʎĖ
    !  2012/3: GoogleIHintonwDNNresearch}ǧƗ !  2012/4: BaiduIInstitute of Deep Learning}ĩò !  2012/8, 10: Yahoo!IIQ EnginesaLookFlow}ǧƗ !  2012/12: FacebookIAI LabĩòS2LeCunIĦÎd !  2014/1: GoogleIDeepMind}ǧƗ !  2014/5: Andrew NgIBaidui
    !  2014/8: IBMISyNAPSE˜™ª}Üđ eh
    ĚĜcȓɳďɢeDzȒÓeka~bIŠÍi
    
48. 3. ´œ€IÃ7édĕxÊOy
    !  2014/1 ÂύÁ§¸8– ƞơ<>Ĕˑďɢ?ǬǾ= !  2014/10 ÂύÁ§¸8– ƞơ<¦™‹œ8–fÈŨŧƂdƍWY6=
    ei
    ɜȎcɏxÊIx
    
49. ĶîeĚȳécȓɳďɢdâUyɿǛ
    !  ´œ€eĕxÊOãIUQD !  Ɲȟd©¾8Š’½8aň|zYƻǫdƺj_2´ œ€eĕxÊOãIɧɝédÃJD !  ɋưUyvEdʜȬŠÍeſưsęǤIÃJD !  ĕxÊOãdf˕ǪqȈmz_Dy !  īāédfʿȢe–’Š}ùm`aŵFwzcDk bÞɨûdţNY2aDEqeIŒD !  ĢľĩèXeqeIƨ|yĸaDEefƩcD !  q[{~2XPd˜¶¾Á‘Uy‹½8ªfCy
    ej
    
50. ÕȡňǢƳćdGNyȓɳďɢfbEH5
    !  ©¾8Š’½8ZaDEDzȒfmZƩcD !  ǏƉţʴsȰœ×ʴ`2Îʸ8 Á‹RzYɨ ûa<àȏû=eɨû}ȁħSY !  ėū2GoogleIĔˑˢ˃`Þɨû}ȁħSYeIĸ ľdc\Y !  ňǢƳć`fmZPzHw5:Ěȳ`U; !  ʌʭcƮɣeƢĜZ\YĠȫƳćcbe×î`Ƈʨ SXE !  ĢľeèƚăeǭSH\YǻǴ:ȃFgǢǍ˨˥ĥ ţDž;dâS_2íSDĢľeèƚăIËīSXE fa
    
51. Neural Network Language Model (NNLM) [Bengio +03]
    !  N‹»³ňǢµœ½} NNă !  ąĭN-1ƉȊHw2ų eƉȊ}Ę_yƊƱµ œ½e ¸8»½¡™ }ǏʈUy
    fb
    
52. Recurrent Neural Network Language Model (RNNLM) [Mikolov+10]
    !  t-1ƉȊʉ~ZaJe<ƽNj= }¬Š½ăS_2tƉȊĀ} Xe<ƽNj=HwĘ_y !  NNLM`fŸæNƉȊe¬Š½ Hwų}Ę__DY !  Ÿæm`eƉ˜ťŁIʟpŜ mz_Dy˚ɻĪ !  http://rnnlm.org
    fc
    ƉȊ2ɒǢ
    äʊ, eʣzɳ
    ʣzɳ
    ųeáô eŎɾ
    §8
    
53. Skip-gramµœ½ (word2vec) [Mikolov+13]
    !  ɆȼɒǢ}ŎɾUyµœ½ !  ɆȼɒǢHwŎɾUyµœ½ :CBOW;qŰşS_Dy !  Analogical reasoningeɨûI ʾédĵÊ !  āɦ:word2vec;IĒýRz _ÌĪdĸľd fd
    
54. ĠȫeÔħ}Ïʄ`đīUy (MV-RNN) [Socher +12]
    !  ƫɒǢdf¬Š½aÏʄIâưUy !  ȾʳRzya2GʘDeÏʄ}čØe¬Š½dʵN_2 RwdɌDŽȇcƨȿ f }ȝɊédÏE !  Rootm`ɼxǕUaƉeđī¬Š½Išwzy fe
    
55. Dynamic Convolutional Neural Network [Kalchbrenner+14]
    !  CNN}ƅ\_ɒǢemamx}ʼnnÊO_DL !  ǏƉŀ`fcDI2ɈˀeȋƆIšwzy5
    ff
    
56. Long Short-Term Memory (LSTM)
    !  RNNdũ˓evEcqe}qYWYµœ½ !  Ĕˑˢ˃`Þɨû}ȁħSY
    !  ŶÄåŴdƵÏIƋm\YI2ėńdŰşRzYefij ƜÄæ fg
    ')-,",
    tanh sigmoid -,)-,",
    sigmoid sigmoid (*" ,",
    
57. ȓɳďɢeĐĵ
    !  ŒLeŠÍsDzȒÓIǠĀS_Dy !  ƻǫeƨăIfOSL21Äeç`q¾ÁžI Ǩxƨ|\_Dy !  ùfĽĂUy¨„8“2ijÄådÃJcħƆI īzy5 fh
    
58. •¨ƒ„€eŋĜĥ
    !  libsvm, liblinear !  ŷɉƈxďɢ…Á‘Á !  JUMAN, Chasen, MeCab !  ȇNjɪţʴ…Á‘Á !  Moses (GIZA++) !  ƾōéĔˑˢ˃…Á‘Á !  Stanford CoreNLP !  ÕȡňǢƳćeʮ˟écš8½ˆ™ !  word2vec !  Skipgramµœ½ !  Theano, Caffe, cuda-convnet !  ȓɳďɢĵNe»‚©»¼sš8½ˆ™ !  ňǢƳćĵNȓɳďɢeš8½ImZcD
    fi
    
59. Caffe (http://caffe.berkeleyvision.org/)
    !  ȓɳďɢe¨¾8³À8Š !  ¡™À8ŠeǏǯ}ũȞUyaďɢHw×Ɉm`āÏ S_Lzy !  ĚdƕʛƳć:Convolutional Neural Network;dƞă !  CPUµ8žaGPUµ8ž}ʬɒdƄxɟFwzy !  āŚdÉeāɦ}ŧwcL_q1Â`ƅFY fj
    Ĥôcš8½eËīIƢĜ
    
60. ƻǫeƨămap
    !  ÕȡňǢƳćfƝȟdǹûqģìeƻǫ}ĕxŜ~`J Y !  ȓɳďɢqXeÉe1]ZI2ɏxÊIxãfɜȎ !  ƞd´œ€IPPm`ĕxÊO_DyefƩcD !  •¨ƒ„€eħ˙fŋĜ !  ƬƉdvyƻǫeĒýZN`fűIwcD !  •¨ƒ„€eʕɍaħ˙IDzȒ}ȥSĮpyŒ8’IŖF_ Dy ga
    
61. Ƙ|xd
    
62. ĿeÉe 8“eƨă2œ£‚’cbeĔˑeƨ ă2ňǢƳć}ĕxʢLƻǫeƨăeDVzqɯ HWcD
    
63. PFIf2010Ädˆ¸¾8ºÁŽ8¦’}Ï\YP aIC\Y
    Xappy:2012Ä`ʚʼ; !  2012ÄdGunosya’±8 ¸8’I¼¼8’ !  ùkbťŁf˪z_DcD !  ùkb’±8¨†ÁIʕɍS_DcD !  ƻǫZN`f—´2–‚²Á‹IÔ|cDaDNcD
    gd
    
64. Xappyf–‚²Á‹}ʅSYeH5
    !  ťŁɠeŖà !  ÃǷe¡™ ¸8’2Blog2ũÑ !  TwittersFacebook}ƋpaSYSNSeʕɍ !  D]`qťŁ}ĕš`JyǼǦ !  ¡™À8ŠeĮă4ǎäȘĭ24G !  œ£‚’eĮă4’±8¨†Á2–©¾™ !  ťŁǑćeYpeƻǫ !  ÕȡňǢƳć2Ĕˑďɢ2ƾō2etc. !  GUIcbeš8½ʩ ge
    –‚²Á‹aƻǫI±™˜
    
65. æŴemap
    !  œ8–fŒȎă2ÃƮȠă !  Ȏ7cÍȚ`ƇĈRzyaàädœ8–fŒȎă !  œ8–ǷqÃƮȠă2œ8–e¨½–¼Á‹Iˆ8 !  œ£‚’eƨădÔ|WYƻǫIƢĜ !  PCHw’±®2ƒ„€»©½i2œ£‚’fƨăS_Dy !  ļĈ8Áeƨă}ĠȧUyaíSDƴƂĥIÛFy !  µ¢àƣIœƶUyĿłdƨăSvEaS_Dy !  ȓɳďɢeÇǻIÜʻUyefPzHw5 !  ňǢƳćdíSDƻǫIĽáRzyefD]qbGx !  PPm`ǠĀaęǤIơmyefƝȟ10ÄcD !  ňǢƳć`ÃJcħƆIËycwPzHw gf
    
66. ¬Á˜¶8ŠÍeDzȒýÜ
    gg
    
67. 40ĝvs 40
    
68. ĎʀGRwD
    2008-2011 !  Âǀ‚3¦83…³ !  ɃÍüij: Ŀł40ĝÈ !  ƼƓ: R&D !  ȇNj: B2B !  ÍĨ: ›ˆ’±‚ Á ‹2ÕȡňǢƳć 2011-īƥ !  PFI !  ɃÍüij: 40È !  ƼƓ: R&D !  ȇNj: B2B !  ÍĨ: ›ˆ’±‚ Á ‹2ÕȡňǢƳć
    ÆÒƮȠĴģfŒLeĬ`ˀ_Dy
    
69. DzȒƪ
    gj
    
70. ÌɱédDzȒƪ2¼Ž8˜¶8aDEa333
    !  €‡œ²™Šȶ !  ÃďsDzȒĦeŏÝ2DzȒü !  ŠÍDzȒĦȶ !  ƫŠÍeDzȒýÜìǥeÒü !  ÁŽ½–Áȶ !  AAŐDz !  CmxDzȒƪafň|cDI2ˁƃf¼Ž8˜¶8 IŒD
    ha
    ʰˠcDzȒ
    ÍĨ
    
71. ùm`eĎʀf333
    !  €‡œ²™Šȶ !  ŠÍDzȒĦȶ !  ÁŽ½–Áȶ hb
    IBMäČf€‡œ²™Šv xeŠÍDzȒÓ
    PFI:ù;`fÁŽ½v xeŠÍDzȒÓ
    
72. ŠÍDzȒüeĚcțÑ
    !  íƻǫ}ÝnËU !  ʜȬdƻǫ}ʡNy !  ƻǫ}űpy hc
    
73. ƯƪS_ȱJãIƨ|\Y
    !  ėǀØHw €i !  ɀȡe‹½8ª¼8—82ÄÊfijÈ !  ÆÒĉþ}ÛȕWy !  GÐeĐJeĉþIÛFy !  ɯN_DyƼƓqÛFsUD !  c~`qsy !  ƢĜcwǹ`qswcDaDNcD hd
    
74. q\aɥHLnya333
    !  ŮÍàÏ !  ʜȬeĜȔe¥€¼Á‹2čǸ !  ƬƉ2ʭ˂2•¨ƒ„€cbeĊı !  íƮ€‚œ€eʏË !  ʜȬŠÍaeāŽāǵ !  Ǚƒăæeª¿–‚ªýÜs2Ǚƒieſɬ !  ďǫÜđs”²Ÿ8`âģ€§8½ he
    ǹ`qsy
    
75. b[weãIvDțÑI`Jy55
    ÃJcțÑeÌìa2ĆRcțÑeÃì×`f2 ˆʙɎÔdÃJcȀfcD hf
     ?
    " ?
    
76. ďǫłeDzȒaĿeÉae‰¶™ª
    !  YD_DeĢDÔ|Wf90ÄČLwDdDzȒR z_DYvEc–’Š !  aP{IʿȢețʼnnZaĉLţóScD ǹ`555
    hg
    
77. ƻǫZN`fǃxcD
    !  Ǚƒăeȷʱ !  ƻǫ}ŧwcDÈ`qƅFyvEd`JyH5 !  ĿeÉeĜŪaďǫħƆeʁûƟeǡD !  <95@eIJţƱ}ȁħ6= !  <5@qçǡ\_Yw—´Zv= !  äƵs–‚²Á‹eĢľ !  ǗUK_qɷUK_q—´ hh
    
78. ŠÍ`DzȒýÜUy´¼™
    !  8“dÔ\YƻǫeDzȒI`Jy !  ů\Yƻǫ}ƢĜaUyÈdŸȘʡNwzy !  ĆRcÆÒekEIƠã}ÛsUD
    hi
    ”›{03
    ;5/Q{03
    `! ?
    QD
    
79. DVzq ŊF_Dyefƻǫô hj
    
80. ƻǫô}bevEd ˖D_D\YwdžDH
    ia
    
81. ĿeÉfĠģaƨ|y
    ȌIÃď1ÄÝZ\Y 12Äæaƺˊ
    ib
    
82. ȃ4ȨɄŔĸ
    ic
    503i˜› 1…–˜10KB
    iPhone6 1…–˜10MB 
    12%
    
    
83. ȃ4CPU
    id
    Pentium III 500MHz
    Km7zVutPC
    Apple A8 1.4GHz
    iPhone6zWuw‚
    12%
    
    
84. ȃ4°8–©½Ʌȯª¾‚·8
    ie
    MD: 1=x60o€l
    iPod shuffle: 5009 œ307^o€l
    12%
    
    I|lrƒ~wikipedia
    
85. íSDƻǫ}ůyPaPXDzȒýÜeŹʯˋ
    !  Pzwfĉ_ƻǫýÜdv\_ÝmzY !  ŠÍ2Ǚƒ2Ž8¦’eǟǒôdŸŝUy !  ŰȂŏeʜȬeǟǒôdqŸŝUy !  ĿłI:ƩS;ƨ|y:Hq; if
    
86. ųe12Äådf3335
    !  ĉLȇeɜcyȨɄʂnjIȻÚ !  ùe¤•Ávxޒ­™ŠeȨɄŔĸ !  DVDsBlue-rayfqEcDHq
    ig
    ĿeÉfƨăSĭN_Dy ƻǫeƵÏqb~b~ƨăUy
    
87. ƻǫfďhĭNyPadŭȍICy
    !  ƻǫeĺƛfŞÇédV\aÊIxĭNy !  ƻǫfUMdȹzy !  ǎdďhĭNwzyHeãIÃÑ ih
    
88. ŪpwzyíSD–‚ªeÈɛ
    !  ùq\_DyƻǫZN`fcL2ɯN_Dyƻǫ}˩ʥ dĕxŜ~`DLPaIŪpwzy I< v{\„ LnT}‚
    T< X\~ &oAoJuw l‚pkžv{ \„LnT }wl‚ π< R4{\ „LnT} wl‚
    ȓ R ȣűR
    ‰š‘—š“<
    (Sz)qw\„
 lvx~LnT}€ƒ‚ < ŪpwzyÈɛeƨ˦
    
89. ƻǫôf1ÂdS_cwV
    ɮĭédƻǫ}ÝnËWy ÆÒȲǁ}ˣħUy !  ƬƉʉnÆ4ɗBï !  ÒꔲŸ8Ǔį4ɗBï !  ÒģˏĤÆ4ēèę
    !  Pzw}āƐUyYpd2Ǟ7ÈeɓôaÆÒ eŽ°8IƢĜ ij
    
90. µ˜¬8ºÁ}ɶņUyYpdŨǩ}SvE
    !  qeIĐL !  ȯSD6 !  ȴȁaÌʷdsy !  ȯSD66 !  ħƆIËyaſưIqwFy !  ȯSD666
    ja
    ɖȯ}ƙƈ`JyȴÈaďjyÃďa DEĔÆ}ÃÑdSvE
    
91. map
    !  DzȒƪfíSDqeÝnËUƪÍ !  ĆRcÆÒZaƻǫZN`fcL2ǹ`qsyƢĜ ICy !  Õ×Õǘeô`ĿeÉ}ƩSƨFyPaI`Jye IƻǫÓeȯSR !  ďhĭNyµ˜¬8ºÁ}qaE !  ƻǫ}˖JĭNwzyHIƻǫÓda\_ÃÑ !  ˞Defn~cÌʷ2µ˜¬8ºÁ}Ą]Ype Ũǩ}SvE jb
    
92. ()/*$"#,0  
    * ! ** '!*+,*-,-* &&$"#, + *. 
    
    jc
    
93. ƭŵƉʙ (1/4)
    !  [Brown+93] Peter F . Brown, Vincent J. Della Pietra, Stephen A. Della Pietra, Robert L. Mercer. The mathematics of statistical machine translation: parameter estimation. Computational Linguistics Vol. 19 (2), 1993. !  [Berger+96] Adam L. Berger, Vincent J. Della Pietra, Stephen A. Della Pietra. A Maximum Entropy Approach to Natural Language Processing. Computational Linguistics, Vol. 22 (1), 1996. !  [Lafferty+01] John Lafferty, Andrew McCallum, Fernando C. N. Pereira. Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data. ICML2001. jd
    
94. ƭŵƉʙ (2/4)
    !  [Blei+03] David M. Blei, Andrew Y. Ng, Michael I. Jordan. Latent Dirichlet Allocation. JMLR Vol. 3, 2003. !  [Teh06] Yee Whye Teh. A Hierarchical Bayesian Language Model based on Pitman-Yor Processes. ACL 2006. !  [Clarke+06] James Clarke, Mirella Lapata. Constraint-Based Sentence Compression: An Integer Programming Approach. COLING/ACL 2006. !  [Riedel+06] Sebastian Riedel, James Clarke. Incremental Integer Linear Programming for Non-projective Dependency Parsing. COLING/ACL 2006. je
    
95. ƭŵƉʙ (3/4)
    !  [Koo+10] Terry Koo, Alexander M. Rush, Michael Collins, Tommi Jaakkola, David Sontag. Dual Decomposition for Parsing with Non-Projective Head Automata. EMNLP 2010. !  [Rush+10] Alexander M. Rush, David Sontag, Michael Collins, Tommi Jaakkola. On Dual Decomposition and Linear Programming Relaxations for Natural Language Processing. EMNLP 2010. !  [Bengio+03] Yoshua Bengio, Réjean Ducharme, Pascal Vincent, Christian Jauvin. A Neural Probabilistic Language Model. JMLR, 2003. jf
    
96. ƭŵƉʙ (4/4)
    !  [Mikolov+10] Tomas Mikolov, Martin Karafiat, Lukas Burget, Jan "Honza" Cernocky, Sanjeev Khudanpur. Recurrent neural network based language model. Interspeech, 2010. !  [Mikolov+13] Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean. Efficient Estimation of Word Representations in Vector Space. CoRR, 2013. !  [Socher+12] Richard Socher, Brody Huval, Christopher D. Manning, Andrew Y. Ng. Semantic Compositionality through Recursive Matrix-Vector Spaces. EMNLP2012. !  [Kalchbrenner+14] Nal Kalchbrenner, Edward Grefenstette, Phil Blunsom. A Convolutional Neural Network for Modelling Sentences. ACL2014. jg