cookpad で学ぶ自然言語処理/internship2015

Summer Internship 2015 で使用した資料です。

https://recruit.cookpad.com/internship/summer2015-engineer/

Transcript

1. DPPLQBE
   ͰֶͿࣗવݴޠॲཧ ݪౡ
   ७
2. ࣗݾ঺հ ɾݪౡ
   ७ ɹɾॴଐɿݕࡧฤ੒෦ɺݚڀ։ൃνʔϜ ɹɾݞॻɿΤϯδχΞɺ৘ใֶത࢜ ɹɾઐ໳ɿࣗવݴޠॲཧ
3. ߨٛɿࣗવݴޠॲཧΛͬ͘͟Γֶ΅͏
4. ࣗવݴޠॲཧ ࣗવݴޠΛίϯϐϡʔλͰॲཧ͢ΔͨΊͷֶ໰෼໺ ࣗવݴޠ
   
   ࣗવൃੜతʹੜ·ΕͨݴޠʢFH
   ೔ຊޠʣ ਓ޻ݴޠ
   
   ਓ޻తʹ࡞ΒΕͨݴޠʢFH
   $
   ݴޠʣ
5. ࣗવݴޠॲཧʹجͮ͘ΞϓϦέʔγϣϯ ɾݕࡧΤϯδϯ ɹɾ(PPHMFɺ:BIPPɺ ɾࣗಈ຋༁ ɹɾ(PPHMF
   ຋༁ɺΤΩαΠτ຋༁ɺ ɾ࣭໰Ԡ౴ ɹɾ8BUTPOɺ4JSJɺ ɾԾ໊׽ࣈม׵ ɹɾ(PPHMF
   *.&ɺ"50,ɺ
6. جૅղੳ ܗଶૉղੳ ߏจղੳ ݻ༗දݱೝࣝ ֨ղੳ লུরԠղੳ ಉٛදݱೝࣝ ޠٛᐆດੑղফ ஊ࿩ߏ଄ղੳ ୯ޠϨϕϧ ߏจϨϕϧ จ຺Ϩϕϧ ҙຯϨϕϧ ΞϓϦέʔγϣϯ
7. ࠓ೔ͷτϐοΫ ɾجૅղੳ ɹɾܗଶૉղੳ ɹɾݻ༗දݱೝࣝ ɹɾߏจղੳ ɹɾলུরԠղੳ ɹɾஊ࿩ߏ଄ղੳ ɹɾ֨ղੳ ɹɾಉٛදݱೝࣝ ɹɾޠٛᐆດੑղফ ɾΞϓϦέʔγϣϯ ɹɾݕࡧΤϯδϯ ɹɾࣗಈ຋༁ ɹɾ࣭໰Ԡ౴ ɹɾ͔ͳ׽ࣈม׵
8. ܗଶૉղੳ ୯ޠͷ۠੾Γͱ඼ࢺɺݪܗΛࣝผ͢Δॲཧ ଠ࿠ ͸ ژ౎ ʹ ߦͬͨ ଠ࿠͸ژ౎ʹߦͬͨ ໊ࢺ ໊ࢺ ಈࢺ ॿࢺ ॿࢺ c c c c ߦ͘ ղੳ༻ͷࣙॻΛࢀরͯ͠ɺҰ൪΋ͬͱ΋Β͍͠ ʢҰ൪ίετͷ૯࿨͕௿͍ʣ୯ޠྻΛબ୒͢Δ ଠ࿠
   ໊ࢺ
    ژ౎
   ໊ࢺ
    ژ
   ໊ࢺ
    ౎
   ໊ࢺ
     ࣙॻ ੜىίετ ੜىίετͷ΄͔ʹ୯ޠؒͷ࿈઀ίετ΋ߟྀ
9. ܗଶૉղੳ
   JO
   DPPLQBE ಲͷʹΜʹ͘ে༉ম͖ ͷ ʹΜʹ͘ ে༉ ໊ࢺ ໊ࢺ ॿࢺ ໊ࢺ c c c c ম͘ ಲ ম͖ ಈࢺ
10. ݻ༗දݱೝࣝ จதͷݻ༗දݱʢFH
    ਓ໊ɺ஍໊ʣΛೝࣝ͢Δॲཧ ଠ࿠ ͸ ژ౎ ʹ ߦͬͨ ໊ࢺ ໊ࢺ ಈࢺ ॿࢺ ॿࢺ c c c c ߦ͘ ଠ࿠ ͸ ژ౎ ʹ ߦͬͨ ਓ໊ ஍໊ ܇࿅σʔλΛ༻ҙͯ͠ɺͲͷΑ͏ͳ୯ޠྻ͕ ͲͷΑ͏ͳݻ༗දݱʹͳΓ͏Δ͔Λֶश ࣍࿠͸ژ౎ʹߦͬͨɻ Ֆࢠ͸େࡕʹߦͬͨɻ  ܇࿅σʔλ ਓ໊ ਓ໊ ஍໊ ஍໊ ݻ༗දݱೝࣝث
11. ಛച৘ใʢళฮ͔Β౤ߘʣ ݻ༗දݱೝࣝ ͨ·Ͷ͗ݸ 
    ԁ ͨ·Ͷ͗υϨογϯά 
    ԁ   ͨ·Ͷ͗ɹݸ ঎඼໊ ͨ·Ͷ͗ɹυϨογϯά ঎඼໊ ʮͨ·Ͷ͗ʯͰొ࿥ ʮͨ·Ͷ͗υϨογϯάʯͰొ࿥ 0OMJOF Ϣʔβͷۙลͷళฮ͔Β ঎඼໊ʮͨ·Ͷ͗ʯΛݕࡧ ݻ༗දݱೝࣝ
    JO
    DPPLQBE
12. ߏจղੳ จͷߏ଄ʢ೔ຊޠͰ͸จઅͷ۠੾Γͱ܎ΓઌʣΛ໌Β͔ʹ͢Δॲཧ ҎԼͷ৘ใ͔Βࣝผ ɾจઅ͸લ͔ΒޙΖʹ܎Δ ɾจઅ͸ͨͩҰͭͷจઅʹ܎Δ ɾ܎Γड͚͸ޓ͍ʹަࠩ͠ͳ͍ ɾ࠷΋͍ۙจઅʹ܎Γ΍͍͢ ɾ ଠ࿠ ͸ ژ౎ ʹ ߦͬͨ ໊ࢺ ໊ࢺ ಈࢺ ॿࢺ ॿࢺ c c c c ߦ͘ ଠ࿠͸ ژ౎ʹ ߦͬͨ c c จઅͷ۠੾ΓΛࣝผ ߦͬͨ ଠ࿠͸ ژ౎ʹ จઅͷ܎ΓઌΛࣝผ จઅ͸
    
    ݸҎ্ͷ಺༰ޠʢFH
    ໊ࢺʣͱ
    
    ݸ Ҏ্ͷ෇ଐޠʢFH
    ॿࢺʣ͔ΒͳΔ
13. লུরԠղੳ রԠࢺ จষதͷಉҰදݱΛಉఆ͢Δॲཧ ઌߦࢺ রԠղੳ লུղੳʢθϩরԠղੳʣ ޲͔ͬͨ ൴͸ ਗ਼ਫࣉʹ ·ͣ ଠ࿠͸ ژ౎ʹ ߦͬͨ θϩ୅໊ࢺ ઌߦࢺ ޲͔ͬͨ ൴͸ ਗ਼ਫࣉʹ ·ͣ ଠ࿠͸ ژ౎ʹ ߦͬͨ θϩ୅໊ࢺʢলུ͞ΕͨরԠࢺʣʹؾ෇͘ͱ͜Ζ͔Β ελʔτ ҎԼͷ৘ใ͔Βಉఆ ɾরԠࢺͱઌߦࢺͷੑผ͸ಉ͡ ɾઌߦࢺ͸ʮ͸ʯΛ൐͍΍͍͢ ɾরԠࢺͱઌߦࢺ͸ͦΕ΄Ͳ཭Εͳ͍ ɾ
14. ߏจղੳ
    BOE
    লུরԠղੳ
    JO
    DPPLQBE ɾࠓͷͱ͜Ζɺ࢖͍Ͳ͜Ζͳ͠ ɹɾࣗಈ຋༁ʢޙͰ঺հʣͰ࢖༻͢Δ͔΋ʁ
15. ୯ޠϨϕϧ ߏจϨϕϧ ίϯϐϡʔλɹʹɹܭࢉػ ίϯϐϡʔλɹʹɹίϯϐϡʔλʔ ܠؾ͕ྫྷ͑Δɹʹɹܠؾ͕Լ͕Δ ಉٛදݱೝࣝ ಉ͡ҙຯΛ࣋ͭදݱΛೝࣝ͢Δॲཧ ্͸ҟදهಉٛʢಉ͡୯ޠͷදه༳Εʣ Լ͸ҟܗಉٛʢҟͳΔ୯ޠ͕ಉ͡ҙຯʣ
    
    ୯ޠϨϕϧͰ͸ʮྫྷ͑Δʯ㱠ʮԼ͕Δʯ͕ͩ ʮܠؾ͕ʯ͕෇͘ͱಉٛ
16. ಉٛදݱೝࣝ
    JO
    DPPLQBE
17. ݕࡧΤϯδϯ ΫΤϦʹؔ࿈͢ΔϦιʔεʢFH
    จॻʣΛऔಘ͢Δॲཧ ΠϯσΩγϯά సஔΠϯσοΫε
     ୯ޠ͔Βจॻ΁ͷϚοϐϯά 0⒐JOF 0OMJOF จॻ
    
    ଠ࿠͸ژ౎ʹߦͬͨ จॻ
    
    ࣍࿠͸ژ౎ʹߦͬͨ ܗଶૉղੳ จॻ
    
    ଠ࿠c͸cژ౎cʹcߦͬͨ จॻ
    
    ࣍࿠c͸cژ౎cʹcߦͬͨ ଠ࿠
    \^ ࣍࿠
    \^  ژ౎
    \
    ^ ΫΤϦʮଠ࿠ʯ ݕࡧ݁Ռɿจॻ
     ΫΤϦʮژ౎ʯ ݕࡧ݁Ռɿจॻ
    
    จॻ
    
18. ݕࡧΤϯδϯ
    JO
    DPPLQBE
19. ࣗಈ຋༁ ίϯϐϡʔλʹΑΔผͷݴޠͷ౳Ձͳจষ΁ͷஔ׵ ೔ɿଠ࿠͸ژ౎ʹߦͬͨ ӳɿ5BSP
    XFOU
    UP
    ,ZPUP ܗଶૉղੳɺߏจղੳɺ ݴޠ୯Ґ͝ͱʹ຋༁ ߦͬͨ ଠ࿠͸ ژ౎ʹ 5BSP UP
    ,ZPUP XFOU
    MFBWF
     ࣗવจΛੜ੒ ೖྗจΛಛఆͷݴޠ୯ҐʢFH
    ୯ޠɺ୯ޠྻʣ Ͱදݱ ୯Ґ͝ͱͷީิΛ૊Έ߹Θͤͯෳ਺ͷจΛੜ੒ ͦͷத͔Β΋ͬͱ΋ࣗવͳ΋ͷΛग़ྗ ର༁σʔλΛࢀߟʹ຋༁ީิΛੜ੒ʢσʔλ͸ ༧Ίߏங͓ͯ͘͠ʣ
20. ࣗಈ຋༁
    JO
    DPPLQBE 8F
    BSF
    IJSJOH
21. ࣮शɿܗଶૉղੳثΛ࢖ͬͯΈΑ͏
22. ܗଶૉղੳث     +6."/ $IB4FO .F$BC ,Z5FB ػցֶशʢੜ੒ϞσϧʣʹΑΔίετௐ੔ ػցֶशʢࣝผϞσϧʣʹΑΔίετௐ੔ ֶशσʔλͷߏஙΛ༰қʹ ਓखʹΑΔίετௐ੔
23. .F$BC ɾݱࡏͷσϑΝΫτ ɹɾߴਫ਼౓Ͱ࢖͍΍͍͢ ɾ࢖͍ํ ɹɾ45%*/
    ʹͭͬ͜Ή͚ͩ 
    NFDBC ଠ࿠͸ژ౎ʹߦͬͨ
    &OUFS ଠ࿠ɹ໊ࢺ ݻ༗໊ࢺ ਓ໊ ໊ ଠ࿠ λϩ΢ λϩʔ ͸ɹɹॿࢺ ܎ॿࢺ ͸ ϋ ϫ ژ౎ɹ໊ࢺ ݻ༗໊ࢺ ஍Ҭ Ұൠ ژ౎ Ωϣ΢τ Ωϣʔτ ʹɹɹॿࢺ ֨ॿࢺ Ұൠ ʹ χ χ ߦͬɹಈࢺ ཱࣗ ޒஈɾΧߦଅԻศ ࿈༻λ઀ଓ ߦ͘ Πο Πο ͨɹɹॿಈࢺ ಛघɾλ جຊܗ ͨ λ λ &04 ୯ޠͷ۠੾Γͱ඼ࢺɺݪܗ͕෼͔Δ ؆୯ͳ΋ͷͰ͋Ε͹ɺݻ༗දݱ΋෼͔Δ
24. ࣮श
    
    ϨγϐΛղੳ͠Α͏ 
    Ϩγϐσʔλʢ 
    ϨγϐͷλΠτϧʣΛऔಘ ɹɾ
    DVSM
    P
    SFDJQFUYU
    lIUUQTYYYzʢ63-
    ͸
    4MBDL
    ࢀরʣ 
    ܗଶૉղੳΛ࣮ߦ ɹɾ
    NFDBC
    
    SFDJQFUYU
    
    ʁ
25. ࣮श
    
    ୯ޠͷ෼෍Λௐࠪ͠Α͏ 
    ग़ݱස౓Λܭ਺ ɹɾࢥ͍ࢥ͍ͷํ๏Ͱʂ ॱҐ ୯ޠ ग़ݱස౓   ʁ    ʁ    ؆୯   ̇   ࣽ   
    Ϩγϐʹ
     
    ճҎ্ ग़ݱ͢Δ୯ޠͱ͸ʁ
26. ࣮श
    
    δοϓͷ๏ଇΛ؍ଌ͠Α͏ 
    ॱҐͱग़ݱ֬཰ΛάϥϑԽ ɹɾࢥ͍ࢥ͍ͷํ๏Ͱʂ શମͰ
    L
    ൪໨ͷग़ݱස౓Λ࣋ͭཁૉ͕શମʹ ઎ΊΔׂ߹ʢJF
    ग़ݱ֬཰ʣ͸
    L
    ʹൺྫ ग़ ݱ ֬ ཰ ॱҐ ʁ
27. ࣮श
    
    ୯ޠΛొ࿥͠Α͏ 
    ܗଶૉղੳΛ࣮ߦ ɹɾ
    FDIP
    lΫοΫύουz
    c
    NFDBC
    
    ʁ 
    ࣗ෼༻ͷࣙॻΛ࡞੒ ɹɾ୯ޠͷ৘ใΛΧϯϚ۠੾ΓͰొ࿥ 
    ࣙॻΛίϯύΠϧ ɹɾ
    VTSMPDBM$FMMBSNFDBCMJCFYFDNFDBCNFDBCEJDUJOEFY
    E ɹɹ
    
    
    
    VTSMPDBM$FMMBSNFDBCMJCNFDBCEJDJQBEJD
    V
    VTFSEJD
    VTFSDTW
    G
    VUG
    U
    VUG 
    ܗଶૉղੳΛ࣮ߦ ɹɾ
    FDIP
    lΫοΫύουz
    c
    NFDBC
    V
    VTFSEJD
    
    ʁ ද૚ܗ ݪܗ ಡΈ ൃԻ ίετ ඼ࢺ ΫοΫύου  ໊ࢺ ݻ༗໊ࢺ ૊৫ ΫοΫύου ΫοΫύου ΫοΫύου VTFSDTW
28. ಠशɿࣗવݴޠॲཧͱ஥ྑ͘ͳΖ͏
29. ؔ࿈ਤॻˍؔ࿈ֶձ ɾؔ࿈ਤॻ ɹɾࣗવݴޠॲཧʢ์ૹେֶڭҭৼڵձʣ ɹɾࣗવݴޠॲཧͷجૅʢίϩφࣾʣ ɹɾݴޠॲཧͷͨΊͷػցֶशೖ໳ʢίϩφࣾʣ ɾؔ࿈ֶձ ɹɾݴޠॲཧֶձ ɹɾࣗવݴޠॲཧݚڀձ ɹɾ/-1
    एखͷձ