NLP Hacks Introduction

NLP x 実装にフォーカスしたコミュニティ「NLP Hacks」の紹介資料になります。
https://nlp-hacks.notion.site/

Transcript

1. ˜
   &-:;" *OD /-1
   )BDLT
   ঺հ 
2. ˜
   &-:;" *OD 2 ։࠵എܠɿ&-:;"ͱ͸
3. ˜
   &-:;" *OD େن໛ݴޠϞσϧ 3 ։࠵എܠɿ&-:;"ͷऔΓ૊Έ େن໛ݴޠϞσϧΛίΞͱͨ͠ϓϩμΫτ։ൃΛߦ͍ͬͯΔ ཁ໿αʔϏε ʁʁʁ ʁʁʁ
4. ˜
   &-:;" *OD 4 ։࠵എܠɿ&-:;"
   %*(&45 ͲΜͳจষ΋ߦʹཁ໿Ͱ͖Δ"*
5. ˜
   &-:;" *OD 5 ։࠵എܠɿऔΓ૊ΈͷதͰࠔͬͨ͜ͱ ࣮૷ϑΣʔζʹ͓͍ͯɺ࠷దͳΞϓϩʔνൃݟ΍՝୊ղܾΛ 
 ωοτ৘ใ͚ͩͰ͸͏·͘Ͱ͖ͳ͍͜ͱ΋͠͹͠͹ &-:;"
   #SBJO w ͦ΋ͦ΋ͲͷϥΠϒϥϦΛ׆༻͢Δͷ͕Ұ൪͍͍ͷ͔
    ౰࣌͸ᴈ໌ظͰࠓ΄ͲϥΠϒϥϦ͕੔උ͞Ε͍ͯͳ͔ͬͨ
   w ෼ࢄֶशͷϊ΢ϋ΢
   w ͳ͔ͥϞσϧͷֶश଎౓͕਺ഒ஗͍ ؤுͬͯௐ΂ͨࣄྫ &-:;"
   %JHFTU w େن໛ͳϞσϧΛ࢖͍ͬͯΔͨΊɺϨεϙϯε଎౓Λ্͛ΔͨΊͷ޻෉
   w ӡ༻ίετΛͰ͖Δ͚ͩԼ͛Δ޻෉͕ඞཁ
6. ˜
   &-:;" *OD 6 ։࠵എܠɿ/-1
   )BDLTͷཱͪҐஔ /-1ͷίϛϡχςΟͩͱɺ࿦จಡΈձͳͲɺΞΧσϛΞ޲͚ͷ΋ͷ͕ଟ͍ҹ৅ ݚڀͷ
 Πϯϓοτ ࿦จ࣮૷ ϥΠϒϥϦͷ׆༻ ೔ຊޠద༻ .-
   0QT ϓϩμΫτ ɾ
   ɾ
   ɾ ݚڀ ݸਓ 
 ϓϩδΣΫτ
7. ˜
   &-:;" *OD 7 ։࠵എܠɿ/-1
   )BDLTͷཱͪҐஔ ࣮૷෦෼ʹ͍ͭͯɺ஌ݟΛڞ༗͠ɺؾܰʹ૬ஊͰ͖ΔίϛϡχςΟΛ࡞Γ͍ͨ ݚڀͷ
 Πϯϓοτ ࿦จ࣮૷ ϥΠϒϥϦͷ׆༻ ೔ຊޠద༻ .-
   0QT ϓϩμΫτ ɾ
   ɾ
   ɾ ݚڀ ݸਓ 
 ϓϩδΣΫτ
8. ˜
   &-:;" *OD 8 /-1
   )BDLTͱ͸ /-1
   9
   ࣮૷ΛςʔϚͱͨ͠ίϛϡχςΟ ໨త w /-1
   9
   ࣮૷ʹ͓͍ͯɺ஌ݟΛڞ༗͠ɺؾܰʹ૬ஊͰ͖ΔίϛϡχςΟ
   ɹˠ
   ࢀՃऀͷ੒௕
   ɹˠ
   ʢಛʹ/-1ٕज़ͷʣࣾձ࣮૷ͷਪਐ ։࠵ํࣜ w ౰໘͸ɺϲ݄ʹճΛ૝ఆ
   w جຊ͸ΦϑϥΠϯʢ࠙਌ձ͋Γʣ
   
   ΦϯϥΠϯ ίϯςϯπ w /-1
   /FXTɿ࠷৽ͷ/-1ܥͷχϡʔεΛ঺հ͠߹͏
   w -5ɿ/-1ʹؔ͢Δٕज़ɺ࣮૷ɺ࠷৽ͷओཁ࿦จͳͲΛ঺հ
    جຊతʹ͸ɺձͷࢀՃऀʹՄೳͳݶΓίϛοτ͍ͨͩ͘૝ఆ ˞
   ։࠵ํࣜ΍಺༰ʹ͍ͭͯ͸ɺօ༷ͷϑΟʔυόοΫ΋౿·͑ͯॊೈʹվળ͍͖ͯ͠·͢
9. ˜
   &-:;" *OD 9 ελοϑ঺հ ࣭͝໰ͳͲ͋Ε͹͓ؾܰʹ͓੠͕͚͍ͩ͘͞ &-:;"
   ֞಺߂ଠ &-:;"
   ࠤʑ໦ල &-:;"
   ଜࢁ୎࿕
10. ˜
    &-:;" *OD 10 /-1
    /FXTͷਐΊํ TMBDLʹΈΜͳ͕ؾʹͳͬͨ/-1ܥͷχϡʔεΛྲྀ͠ɺ঺հ͠߹͏
11. ˜
    &-:;" *OD 11 -5ɿ಺༰ ࢀՃऀͷ࣋ͪճΓͰ࣮ࢪ͠·͢ͷͰɺੋඇ͝ڠྗ͓ئ͍͠·͢ ಺༰ྫ • ϥΠϒϥϦɾαʔϏεΛࢼͨ݁͠Ռ
    • ࿦จ࣮૷Λ৮ͬͯΈͨɾ࣮૷ͯ͠Έͨ
    • ݸਓతͳझຯ/-1ϓϩδΣΫτ
    • ࣮຿ʹ͓͍ͯग़͖ͯͨ஌ݟ
    • ࿦จ঺հ
    • FUD TMBDLνϟϯωϧʹ-5ͷछΛڞ༗͍ͯ͘͠
12. ˜
    &-:;" *OD 12 -5ɿίϯςϯπެ։ جຊతʹ͸ɺͲΜͲΜެ։͍ͯ͘͠ํ਑ εϥΠυɾ 
 هࣄɾ࣮૷ͳͲ w ֤ࣗͰެ։ͯ͠΋Β͏ʢඇެ։΋Մʣ
    w /-1
    )BDLTଆͰɺͦΕΒͷϦϯΫΛ·ͱΊͨ৔ॴΛ࡞Δʢ༧ఆʣ w -5ͷ෦෼ͷΈɺ:PVUVCFͰ֎෦ެ։͢Δʢ༧ఆʣ
     ൃදऀ͕ެ։Λر๬͠ͳ͍৔߹͸ɺඇެ։ʹ͢Δ
     ࣭ٙԠ౴෦෼͸ɺ࿥ըΛ੾Δ ձͷ࿥ը w ੵۃతʹ͍͚ͯͨͩ͠Ε͹ͱࢥ͍·͢ʂ
     ඇެ։ͷ-5ʹ͍ͭͯ͸ɺ಺༰ͷ౤ߘ͸߇͍͑ͯͩ͘͞ ձʹ͍ͭͯͷ 
 4/4౤ߘ
13. ˜
    &-:;" *OD 13 ϧʔϧᶃ ˙
    ࢿྉ࡞੒ɾൃද࣌ͷϧʔϧ
    w ଞͷࢀՃऀ͕ൃද಺༰Λࢀরɾ࠶ݱͰ͖ΔΑ͏ՄೳͳݶΓ৺͕͚Δ͜ͱ
    • ࡞੒ͨ͠ࢿྉ΍࣮૷ίʔυ͸ՄೳͳݶΓެ։͢Δʢඇެ։Λر๬͞ΕΔ৔߹͸ͦͷࢫӡӦʹ͓஌Β͍ͤͩ͘͞ʣ
    • ࣮ݧʹ͸ՄೳͳݶΓΦʔϓϯσʔλΛ༻͍Δ
    ɾୈࡾऀͷࢿྉ΋͘͠͸ίʔυΛҾ༻͢Δ৔߹͸ग़యݩΛ໌ه͢Δ͜ͱ ˙
    ϓϥΠόγʔϙϦγʔ
    w ओ࠵ऀ͸ࢀՃऀ͔Βݸਓ৘ใΛऔಘ͢Δ৔߹͕͍͟͝·͕͢ɺͦͷ৔߹ɺओ࠵ऀ͸ओ࠵ऀͷϓϥΠόγʔϙϦγʔٴͼݸਓ৘ใͷอޢʹؔ͢ Δ๏཯ͷఆΊʹै͍औಘͨ͠ݸਓ৘ใΛద੾ʹऔѻٴͼ؅ཧக͠·͢ɻऔಘͨ͠ݸਓ৘ใ͸ΠϕϯτͷӡӦʹඞཁ࠷௿ݶͷ໨తɾൣғͰͷΈ ར༻͢Δ΋ͷͱ͠ɺ͝ຊਓͷಉҙͳ͠ʹୈࡾऀʹ։ࣔɾఏڙ͢Δ͜ͱ͸͍ͨ͠·ͤΜɻ·ͨɺ౰֘ར༻໨తʹ͓͚Δར༻͕ऴྃͨ͠৔߹͸ɺ ౰֘ݸਓ৘ใΛ࡟আ͠·͢ɻ
    w ओ࠵ऀ͸Πϕϯτ։࠵ͷ༷ࢠͷࣸਅࡱӨ·ͨ͸࿥ըΛ͢Δ͜ͱ͕͋Γ·͢ɻࡱӨ͞Εͨࣸਅ·ͨ͸ө૾͸ओ࠵ऀͷ)1ɾ:PVUVCF౳ʹܝࡌ͞ ΕΔՄೳੑ͕͋Δ͜ͱΛɺ༧Ίྃ͝ঝ͍ͩ͘͞ɻ
14. ˜
    &-:;" *OD 14 ϧʔϧᶄ ˙
    $PEF
    PG
    $POEVDUɾߦಈنൣ
    ͜ͷίϛϡχςΟͷશϝϯόʔ͕ɺҎԼͷߦಈنൣʹै͏ඞཁ͕͋Γ·͢ɻ͜ͷίϛϡχςΟͷશϝϯόʔ͕ɺ͍͔ͳΔΠϕϯτʹ͓ ͍ͯ΋ɺΦʔΨφΠβʔʹΑΔڠྗͷ΋ͱɺ͜ͷߦಈنൣΛ९क͢Δ͜ͱ͕ٻΊΒΕ͍ͯ·͢ɻࢲͨͪ͸ɺ͜ͷίϛϡχςΟͷશͯͷ ࢀՃऀ͕ɺ୭ʹͱͬͯ΋҆શͳ؀ڥΛอো͢ΔͨΊʹɺڠྗ͠߹͏͜ͱΛظ଴͍ͯ͠·͢ɻ
    ࢲͨͪͷίϛϡχςΟ͸ɺੑผɺੑతࣗೝɺ֎ܗతͳੑผɺ೥ྸɺੑతࢦ޲ɺো֐ɺ਎ମతಛ௃ɺ਎ମͷαΠζɺਓछɺຽ଒ɺफڭʢ͋ Δ͍͸ແफڭʣɺٕज़ͷબ୒ɺΛཧ༝ͱͨ͠ϋϥεϝϯτͷແ͍ঢ়ଶΛҡ࣋͢΂͘ߦಈ͠·͢ɻࢲͨͪ͸ɺίϛϡχςΟϝϯόʔʹର ͢Δɺ͍͔ͳΔछྨͷϋϥεϝϯτ΋༰ೝ͠·ͤΜɻੑతͳදݱ΍ը૾͸ɺτʔΫɺϫʔΫγϣοϓɺύʔςΟɺ5XJUUFSͦͷଞͷΦ ϯϥΠϯϝσΟΞΛؚΊɺ͍͔ͳΔίϛϡχςΟΠϕϯτͰ΋ɺෆద੾ͳ΋ͷͱ͠·͢ɻ͜ΕΒͷنଇΛഁͬͨࢀՃऀ͸ɺΦʔΨφΠ βʔͷܾఆͷ΋ͱɺ੍ࡋΛड͚Δ͔ɺ౰֘Πϕϯτ͓Αͼকདྷͷ͋ΒΏΔΠϕϯτ͋Δ͍͸ίϛϡχςΟ͔Βɺ෷͍໭͠ʢ΋͋͠Δ৔ ߹Ͱ΋ʣແ͠ͰࢀՃΛڋઈ͞ΕΔ͜ͱ͕͋Γ·͢ɻ
    ͜ͷߦಈنൣ͸$PNNVOJUZ
    $PEF
    PG
    $POEVDUΛݩʹ࡞੒͍ͯ͠·͢ɻ