cookpad で学ぶ自然言語処理/internship2015

558ffd4e5cf6c95e60c91333677b93c4?s=47 j.harashima
August 26, 2015
34k

cookpad で学ぶ自然言語処理/internship2015

Summer Internship 2015 で使用した資料です。

https://recruit.cookpad.com/internship/summer2015-engineer/

558ffd4e5cf6c95e60c91333677b93c4?s=128

j.harashima

August 26, 2015
Tweet

Transcript

  1. DPPLQBEͰֶͿࣗવݴޠॲཧ ݪౡ७

  2. ࣗݾ঺հ ɾݪౡ७ ɹɾॴଐɿݕࡧฤ੒෦ɺݚڀ։ൃνʔϜ ɹɾݞॻɿΤϯδχΞɺ৘ใֶത࢜ ɹɾઐ໳ɿࣗવݴޠॲཧ

  3. ߨٛɿࣗવݴޠॲཧΛͬ͘͟Γֶ΅͏

  4. ࣗવݴޠॲཧ ࣗવݴޠΛίϯϐϡʔλͰॲཧ͢ΔͨΊͷֶ໰෼໺ ࣗવݴޠࣗવൃੜతʹੜ·ΕͨݴޠʢFH೔ຊޠʣ ਓ޻ݴޠਓ޻తʹ࡞ΒΕͨݴޠʢFH$ݴޠʣ

  5. ࣗવݴޠॲཧʹجͮ͘ΞϓϦέʔγϣϯ ɾݕࡧΤϯδϯ ɹɾ(PPHMFɺ:BIPPɺ ɾࣗಈ຋༁ ɹɾ(PPHMF຋༁ɺΤΩαΠτ຋༁ɺ ɾ࣭໰Ԡ౴ ɹɾ8BUTPOɺ4JSJɺ ɾԾ໊׽ࣈม׵ ɹɾ(PPHMF*.&ɺ"50,ɺ

  6. جૅղੳ ܗଶૉղੳ ߏจղੳ ݻ༗දݱೝࣝ ֨ղੳ লུরԠղੳ ಉٛදݱೝࣝ ޠٛᐆດੑղফ ஊ࿩ߏ଄ղੳ ୯ޠϨϕϧ

    ߏจϨϕϧ จ຺Ϩϕϧ ҙຯϨϕϧ ΞϓϦέʔγϣϯ
  7. ࠓ೔ͷτϐοΫ ɾجૅղੳ ɹɾܗଶૉղੳ ɹɾݻ༗දݱೝࣝ ɹɾߏจղੳ ɹɾলུরԠղੳ ɹɾஊ࿩ߏ଄ղੳ ɹɾ֨ղੳ ɹɾಉٛදݱೝࣝ ɹɾޠٛᐆດੑղফ

    ɾΞϓϦέʔγϣϯ ɹɾݕࡧΤϯδϯ ɹɾࣗಈ຋༁ ɹɾ࣭໰Ԡ౴ ɹɾ͔ͳ׽ࣈม׵
  8. ܗଶૉղੳ ୯ޠͷ۠੾Γͱ඼ࢺɺݪܗΛࣝผ͢Δॲཧ ଠ࿠ ͸ ژ౎ ʹ ߦͬͨ ଠ࿠͸ژ౎ʹߦͬͨ ໊ࢺ ໊ࢺ

    ಈࢺ ॿࢺ ॿࢺ c c c c ߦ͘ ղੳ༻ͷࣙॻΛࢀরͯ͠ɺҰ൪΋ͬͱ΋Β͍͠ ʢҰ൪ίετͷ૯࿨͕௿͍ʣ୯ޠྻΛબ୒͢Δ ଠ࿠ ໊ࢺ  ژ౎ ໊ࢺ  ژ ໊ࢺ  ౎ ໊ࢺ   ࣙॻ ੜىίετ ੜىίετͷ΄͔ʹ୯ޠؒͷ࿈઀ίετ΋ߟྀ
  9. ܗଶૉղੳJODPPLQBE ಲͷʹΜʹ͘ে༉ম͖ ͷ ʹΜʹ͘ ে༉ ໊ࢺ ໊ࢺ ॿࢺ ໊ࢺ c

    c c c ম͘ ಲ ম͖ ಈࢺ
  10. ݻ༗දݱೝࣝ จதͷݻ༗දݱʢFHਓ໊ɺ஍໊ʣΛೝࣝ͢Δॲཧ ଠ࿠ ͸ ژ౎ ʹ ߦͬͨ ໊ࢺ ໊ࢺ ಈࢺ

    ॿࢺ ॿࢺ c c c c ߦ͘ ଠ࿠ ͸ ژ౎ ʹ ߦͬͨ ਓ໊ ஍໊ ܇࿅σʔλΛ༻ҙͯ͠ɺͲͷΑ͏ͳ୯ޠྻ͕ ͲͷΑ͏ͳݻ༗දݱʹͳΓ͏Δ͔Λֶश ࣍࿠͸ژ౎ʹߦͬͨɻ Ֆࢠ͸େࡕʹߦͬͨɻ  ܇࿅σʔλ ਓ໊ ਓ໊ ஍໊ ஍໊ ݻ༗දݱೝࣝث
  11. ಛച৘ใʢళฮ͔Β౤ߘʣ ݻ༗දݱೝࣝ ͨ·Ͷ͗ݸ ԁ ͨ·Ͷ͗υϨογϯά ԁ   ͨ·Ͷ͗ɹݸ ঎඼໊

    ͨ·Ͷ͗ɹυϨογϯά ঎඼໊ ʮͨ·Ͷ͗ʯͰొ࿥ ʮͨ·Ͷ͗υϨογϯάʯͰొ࿥ 0OMJOF Ϣʔβͷۙลͷళฮ͔Β ঎඼໊ʮͨ·Ͷ͗ʯΛݕࡧ ݻ༗දݱೝࣝJODPPLQBE
  12. ߏจղੳ จͷߏ଄ʢ೔ຊޠͰ͸จઅͷ۠੾Γͱ܎ΓઌʣΛ໌Β͔ʹ͢Δॲཧ ҎԼͷ৘ใ͔Βࣝผ ɾจઅ͸લ͔ΒޙΖʹ܎Δ ɾจઅ͸ͨͩҰͭͷจઅʹ܎Δ ɾ܎Γड͚͸ޓ͍ʹަࠩ͠ͳ͍ ɾ࠷΋͍ۙจઅʹ܎Γ΍͍͢ ɾ ଠ࿠ ͸

    ژ౎ ʹ ߦͬͨ ໊ࢺ ໊ࢺ ಈࢺ ॿࢺ ॿࢺ c c c c ߦ͘ ଠ࿠͸ ژ౎ʹ ߦͬͨ c c จઅͷ۠੾ΓΛࣝผ ߦͬͨ ଠ࿠͸ ژ౎ʹ จઅͷ܎ΓઌΛࣝผ จઅ͸ݸҎ্ͷ಺༰ޠʢFH໊ࢺʣͱݸ Ҏ্ͷ෇ଐޠʢFHॿࢺʣ͔ΒͳΔ
  13. লུরԠղੳ রԠࢺ จষதͷಉҰදݱΛಉఆ͢Δॲཧ ઌߦࢺ রԠղੳ লུղੳʢθϩরԠղੳʣ ޲͔ͬͨ ൴͸ ਗ਼ਫࣉʹ ·ͣ

    ଠ࿠͸ ژ౎ʹ ߦͬͨ θϩ୅໊ࢺ ઌߦࢺ ޲͔ͬͨ ൴͸ ਗ਼ਫࣉʹ ·ͣ ଠ࿠͸ ژ౎ʹ ߦͬͨ θϩ୅໊ࢺʢলུ͞ΕͨরԠࢺʣʹؾ෇͘ͱ͜Ζ͔Β ελʔτ ҎԼͷ৘ใ͔Βಉఆ ɾরԠࢺͱઌߦࢺͷੑผ͸ಉ͡ ɾઌߦࢺ͸ʮ͸ʯΛ൐͍΍͍͢ ɾরԠࢺͱઌߦࢺ͸ͦΕ΄Ͳ཭Εͳ͍ ɾ
  14. ߏจղੳBOEলུরԠղੳJODPPLQBE ɾࠓͷͱ͜Ζɺ࢖͍Ͳ͜Ζͳ͠ ɹɾࣗಈ຋༁ʢޙͰ঺հʣͰ࢖༻͢Δ͔΋ʁ

  15. ୯ޠϨϕϧ ߏจϨϕϧ ίϯϐϡʔλɹʹɹܭࢉػ ίϯϐϡʔλɹʹɹίϯϐϡʔλʔ ܠؾ͕ྫྷ͑Δɹʹɹܠؾ͕Լ͕Δ ಉٛදݱೝࣝ ಉ͡ҙຯΛ࣋ͭදݱΛೝࣝ͢Δॲཧ ্͸ҟදهಉٛʢಉ͡୯ޠͷදه༳Εʣ Լ͸ҟܗಉٛʢҟͳΔ୯ޠ͕ಉ͡ҙຯʣ ୯ޠϨϕϧͰ͸ʮྫྷ͑Δʯ㱠ʮԼ͕Δʯ͕ͩ

    ʮܠؾ͕ʯ͕෇͘ͱಉٛ
  16. ಉٛදݱೝࣝJODPPLQBE

  17. ݕࡧΤϯδϯ ΫΤϦʹؔ࿈͢ΔϦιʔεʢFHจॻʣΛऔಘ͢Δॲཧ ΠϯσΩγϯά సஔΠϯσοΫε ୯ޠ͔Βจॻ΁ͷϚοϐϯά 0⒐JOF 0OMJOF จॻଠ࿠͸ژ౎ʹߦͬͨ จॻ࣍࿠͸ژ౎ʹߦͬͨ ܗଶૉղੳ

    จॻଠ࿠c͸cژ౎cʹcߦͬͨ จॻ࣍࿠c͸cژ౎cʹcߦͬͨ ଠ࿠\^ ࣍࿠\^  ژ౎\ ^ ΫΤϦʮଠ࿠ʯ ݕࡧ݁Ռɿจॻ ΫΤϦʮژ౎ʯ ݕࡧ݁Ռɿจॻ จॻ
  18. ݕࡧΤϯδϯJODPPLQBE

  19. ࣗಈ຋༁ ίϯϐϡʔλʹΑΔผͷݴޠͷ౳Ձͳจষ΁ͷஔ׵ ೔ɿଠ࿠͸ژ౎ʹߦͬͨ ӳɿ5BSPXFOUUP,ZPUP ܗଶૉղੳɺߏจղੳɺ ݴޠ୯Ґ͝ͱʹ຋༁ ߦͬͨ ଠ࿠͸ ژ౎ʹ 5BSP

    UP,ZPUP XFOU MFBWF  ࣗવจΛੜ੒ ೖྗจΛಛఆͷݴޠ୯ҐʢFH୯ޠɺ୯ޠྻʣ Ͱදݱ ୯Ґ͝ͱͷީิΛ૊Έ߹Θͤͯෳ਺ͷจΛੜ੒ ͦͷத͔Β΋ͬͱ΋ࣗવͳ΋ͷΛग़ྗ ର༁σʔλΛࢀߟʹ຋༁ީิΛੜ੒ʢσʔλ͸ ༧Ίߏங͓ͯ͘͠ʣ
  20. ࣗಈ຋༁JODPPLQBE 8FBSFIJSJOH

  21. ࣮शɿܗଶૉղੳثΛ࢖ͬͯΈΑ͏

  22. ܗଶૉղੳث     +6."/ $IB4FO .F$BC ,Z5FB ػցֶशʢੜ੒ϞσϧʣʹΑΔίετௐ੔

    ػցֶशʢࣝผϞσϧʣʹΑΔίετௐ੔ ֶशσʔλͷߏஙΛ༰қʹ ਓखʹΑΔίετௐ੔
  23. .F$BC ɾݱࡏͷσϑΝΫτ ɹɾߴਫ਼౓Ͱ࢖͍΍͍͢ ɾ࢖͍ํ ɹɾ45%*/ʹͭͬ͜Ή͚ͩ NFDBC ଠ࿠͸ژ౎ʹߦͬͨ&OUFS ଠ࿠ɹ໊ࢺ ݻ༗໊ࢺ ਓ໊

    ໊ ଠ࿠ λϩ΢ λϩʔ ͸ɹɹॿࢺ ܎ॿࢺ ͸ ϋ ϫ ژ౎ɹ໊ࢺ ݻ༗໊ࢺ ஍Ҭ Ұൠ ژ౎ Ωϣ΢τ Ωϣʔτ ʹɹɹॿࢺ ֨ॿࢺ Ұൠ ʹ χ χ ߦͬɹಈࢺ ཱࣗ ޒஈɾΧߦଅԻศ ࿈༻λ઀ଓ ߦ͘ Πο Πο ͨɹɹॿಈࢺ ಛघɾλ جຊܗ ͨ λ λ &04 ୯ޠͷ۠੾Γͱ඼ࢺɺݪܗ͕෼͔Δ ؆୯ͳ΋ͷͰ͋Ε͹ɺݻ༗දݱ΋෼͔Δ
  24. ࣮शϨγϐΛղੳ͠Α͏ Ϩγϐσʔλʢ ϨγϐͷλΠτϧʣΛऔಘ ɹɾDVSMPSFDJQFUYUlIUUQTYYYzʢ63-͸4MBDLࢀরʣ ܗଶૉղੳΛ࣮ߦ ɹɾNFDBCSFDJQFUYUʁ

  25. ࣮श୯ޠͷ෼෍Λௐࠪ͠Α͏ ग़ݱස౓Λܭ਺ ɹɾࢥ͍ࢥ͍ͷํ๏Ͱʂ ॱҐ ୯ޠ ग़ݱස౓   ʁ 

      ʁ    ؆୯   ̇   ࣽ   Ϩγϐʹ ճҎ্ ग़ݱ͢Δ୯ޠͱ͸ʁ
  26. ࣮शδοϓͷ๏ଇΛ؍ଌ͠Α͏ ॱҐͱग़ݱ֬཰ΛάϥϑԽ ɹɾࢥ͍ࢥ͍ͷํ๏Ͱʂ શମͰL൪໨ͷग़ݱස౓Λ࣋ͭཁૉ͕શମʹ ઎ΊΔׂ߹ʢJFग़ݱ֬཰ʣ͸Lʹൺྫ ग़ ݱ ֬ ཰ ॱҐ

    ʁ
  27. ࣮श୯ޠΛొ࿥͠Α͏ ܗଶૉղੳΛ࣮ߦ ɹɾFDIPlΫοΫύουzcNFDBCʁ ࣗ෼༻ͷࣙॻΛ࡞੒ ɹɾ୯ޠͷ৘ใΛΧϯϚ۠੾ΓͰొ࿥ ࣙॻΛίϯύΠϧ ɹɾVTSMPDBM$FMMBSNFDBCMJCFYFDNFDBCNFDBCEJDUJOEFYE ɹɹVTSMPDBM$FMMBSNFDBCMJCNFDBCEJDJQBEJDVVTFSEJDVTFSDTWGVUGUVUG ܗଶૉղੳΛ࣮ߦ ɹɾFDIPlΫοΫύουzcNFDBCVVTFSEJDʁ

    ද૚ܗ ݪܗ ಡΈ ൃԻ ίετ ඼ࢺ ΫοΫύου  ໊ࢺ ݻ༗໊ࢺ ૊৫ ΫοΫύου ΫοΫύου ΫοΫύου VTFSDTW
  28. ಠशɿࣗવݴޠॲཧͱ஥ྑ͘ͳΖ͏

  29. ؔ࿈ਤॻˍؔ࿈ֶձ ɾؔ࿈ਤॻ ɹɾࣗવݴޠॲཧʢ์ૹେֶڭҭৼڵձʣ ɹɾࣗવݴޠॲཧͷجૅʢίϩφࣾʣ ɹɾݴޠॲཧͷͨΊͷػցֶशೖ໳ʢίϩφࣾʣ ɾؔ࿈ֶձ ɹɾݴޠॲཧֶձ ɹɾࣗવݴޠॲཧݚڀձ ɹɾ/-1एखͷձ