Upgrade to Pro — share decks privately, control downloads, hide ads and more …

cookpad で学ぶ自然言語処理/internship2015

j.harashima
August 26, 2015
35k

cookpad で学ぶ自然言語処理/internship2015

Summer Internship 2015 で使用した資料です。

https://recruit.cookpad.com/internship/summer2015-engineer/

j.harashima

August 26, 2015
Tweet

Transcript

  1. ܗଶૉղੳ ୯ޠͷ۠੾Γͱ඼ࢺɺݪܗΛࣝผ͢Δॲཧ ଠ࿠ ͸ ژ౎ ʹ ߦͬͨ ଠ࿠͸ژ౎ʹߦͬͨ ໊ࢺ ໊ࢺ

    ಈࢺ ॿࢺ ॿࢺ c c c c ߦ͘ ղੳ༻ͷࣙॻΛࢀরͯ͠ɺҰ൪΋ͬͱ΋Β͍͠ ʢҰ൪ίετͷ૯࿨͕௿͍ʣ୯ޠྻΛબ୒͢Δ ଠ࿠ ໊ࢺ  ژ౎ ໊ࢺ  ژ ໊ࢺ  ౎ ໊ࢺ   ࣙॻ ੜىίετ ੜىίετͷ΄͔ʹ୯ޠؒͷ࿈઀ίετ΋ߟྀ
  2. ݻ༗දݱೝࣝ จதͷݻ༗දݱʢFHਓ໊ɺ஍໊ʣΛೝࣝ͢Δॲཧ ଠ࿠ ͸ ژ౎ ʹ ߦͬͨ ໊ࢺ ໊ࢺ ಈࢺ

    ॿࢺ ॿࢺ c c c c ߦ͘ ଠ࿠ ͸ ژ౎ ʹ ߦͬͨ ਓ໊ ஍໊ ܇࿅σʔλΛ༻ҙͯ͠ɺͲͷΑ͏ͳ୯ޠྻ͕ ͲͷΑ͏ͳݻ༗දݱʹͳΓ͏Δ͔Λֶश ࣍࿠͸ژ౎ʹߦͬͨɻ Ֆࢠ͸େࡕʹߦͬͨɻ  ܇࿅σʔλ ਓ໊ ਓ໊ ஍໊ ஍໊ ݻ༗දݱೝࣝث
  3. ಛച৘ใʢళฮ͔Β౤ߘʣ ݻ༗දݱೝࣝ ͨ·Ͷ͗ݸ ԁ ͨ·Ͷ͗υϨογϯά ԁ   ͨ·Ͷ͗ɹݸ ঎඼໊

    ͨ·Ͷ͗ɹυϨογϯά ঎඼໊ ʮͨ·Ͷ͗ʯͰొ࿥ ʮͨ·Ͷ͗υϨογϯάʯͰొ࿥ 0OMJOF Ϣʔβͷۙลͷళฮ͔Β ঎඼໊ʮͨ·Ͷ͗ʯΛݕࡧ ݻ༗දݱೝࣝJODPPLQBE
  4. ߏจղੳ จͷߏ଄ʢ೔ຊޠͰ͸จઅͷ۠੾Γͱ܎ΓઌʣΛ໌Β͔ʹ͢Δॲཧ ҎԼͷ৘ใ͔Βࣝผ ɾจઅ͸લ͔ΒޙΖʹ܎Δ ɾจઅ͸ͨͩҰͭͷจઅʹ܎Δ ɾ܎Γड͚͸ޓ͍ʹަࠩ͠ͳ͍ ɾ࠷΋͍ۙจઅʹ܎Γ΍͍͢ ɾ ଠ࿠ ͸

    ژ౎ ʹ ߦͬͨ ໊ࢺ ໊ࢺ ಈࢺ ॿࢺ ॿࢺ c c c c ߦ͘ ଠ࿠͸ ژ౎ʹ ߦͬͨ c c จઅͷ۠੾ΓΛࣝผ ߦͬͨ ଠ࿠͸ ژ౎ʹ จઅͷ܎ΓઌΛࣝผ จઅ͸ݸҎ্ͷ಺༰ޠʢFH໊ࢺʣͱݸ Ҏ্ͷ෇ଐޠʢFHॿࢺʣ͔ΒͳΔ
  5. লུরԠղੳ রԠࢺ จষதͷಉҰදݱΛಉఆ͢Δॲཧ ઌߦࢺ রԠղੳ লུղੳʢθϩরԠղੳʣ ޲͔ͬͨ ൴͸ ਗ਼ਫࣉʹ ·ͣ

    ଠ࿠͸ ژ౎ʹ ߦͬͨ θϩ୅໊ࢺ ઌߦࢺ ޲͔ͬͨ ൴͸ ਗ਼ਫࣉʹ ·ͣ ଠ࿠͸ ژ౎ʹ ߦͬͨ θϩ୅໊ࢺʢলུ͞ΕͨরԠࢺʣʹؾ෇͘ͱ͜Ζ͔Β ελʔτ ҎԼͷ৘ใ͔Βಉఆ ɾরԠࢺͱઌߦࢺͷੑผ͸ಉ͡ ɾઌߦࢺ͸ʮ͸ʯΛ൐͍΍͍͢ ɾরԠࢺͱઌߦࢺ͸ͦΕ΄Ͳ཭Εͳ͍ ɾ
  6. ݕࡧΤϯδϯ ΫΤϦʹؔ࿈͢ΔϦιʔεʢFHจॻʣΛऔಘ͢Δॲཧ ΠϯσΩγϯά సஔΠϯσοΫε ୯ޠ͔Βจॻ΁ͷϚοϐϯά 0⒐JOF 0OMJOF จॻଠ࿠͸ژ౎ʹߦͬͨ จॻ࣍࿠͸ژ౎ʹߦͬͨ ܗଶૉղੳ

    จॻଠ࿠c͸cژ౎cʹcߦͬͨ จॻ࣍࿠c͸cژ౎cʹcߦͬͨ ଠ࿠\^ ࣍࿠\^  ژ౎\ ^ ΫΤϦʮଠ࿠ʯ ݕࡧ݁Ռɿจॻ ΫΤϦʮژ౎ʯ ݕࡧ݁Ռɿจॻ จॻ
  7. ࣗಈ຋༁ ίϯϐϡʔλʹΑΔผͷݴޠͷ౳Ձͳจষ΁ͷஔ׵ ೔ɿଠ࿠͸ژ౎ʹߦͬͨ ӳɿ5BSPXFOUUP,ZPUP ܗଶૉղੳɺߏจղੳɺ ݴޠ୯Ґ͝ͱʹ຋༁ ߦͬͨ ଠ࿠͸ ژ౎ʹ 5BSP

    UP,ZPUP XFOU MFBWF  ࣗવจΛੜ੒ ೖྗจΛಛఆͷݴޠ୯ҐʢFH୯ޠɺ୯ޠྻʣ Ͱදݱ ୯Ґ͝ͱͷީิΛ૊Έ߹Θͤͯෳ਺ͷจΛੜ੒ ͦͷத͔Β΋ͬͱ΋ࣗવͳ΋ͷΛग़ྗ ର༁σʔλΛࢀߟʹ຋༁ީิΛੜ੒ʢσʔλ͸ ༧Ίߏங͓ͯ͘͠ʣ
  8. ܗଶૉղੳث     +6."/ $IB4FO .F$BC ,Z5FB ػցֶशʢੜ੒ϞσϧʣʹΑΔίετௐ੔

    ػցֶशʢࣝผϞσϧʣʹΑΔίετௐ੔ ֶशσʔλͷߏஙΛ༰қʹ ਓखʹΑΔίετௐ੔
  9. .F$BC ɾݱࡏͷσϑΝΫτ ɹɾߴਫ਼౓Ͱ࢖͍΍͍͢ ɾ࢖͍ํ ɹɾ45%*/ʹͭͬ͜Ή͚ͩ NFDBC ଠ࿠͸ژ౎ʹߦͬͨ&OUFS ଠ࿠ɹ໊ࢺ ݻ༗໊ࢺ ਓ໊

    ໊ ଠ࿠ λϩ΢ λϩʔ ͸ɹɹॿࢺ ܎ॿࢺ ͸ ϋ ϫ ژ౎ɹ໊ࢺ ݻ༗໊ࢺ ஍Ҭ Ұൠ ژ౎ Ωϣ΢τ Ωϣʔτ ʹɹɹॿࢺ ֨ॿࢺ Ұൠ ʹ χ χ ߦͬɹಈࢺ ཱࣗ ޒஈɾΧߦଅԻศ ࿈༻λ઀ଓ ߦ͘ Πο Πο ͨɹɹॿಈࢺ ಛघɾλ جຊܗ ͨ λ λ &04 ୯ޠͷ۠੾Γͱ඼ࢺɺݪܗ͕෼͔Δ ؆୯ͳ΋ͷͰ͋Ε͹ɺݻ༗දݱ΋෼͔Δ
  10. ࣮श୯ޠͷ෼෍Λௐࠪ͠Α͏ ग़ݱස౓Λܭ਺ ɹɾࢥ͍ࢥ͍ͷํ๏Ͱʂ ॱҐ ୯ޠ ग़ݱස౓   ʁ 

      ʁ    ؆୯   ̇   ࣽ   Ϩγϐʹ ճҎ্ ग़ݱ͢Δ୯ޠͱ͸ʁ