TFUG#3 RettyにおけるDeep Learningの自然言語処理への応用事例

by bokeneko

Slide 1

Slide 1 text

%FFQ-FBSOJOHͷ ࣗવݴޠॲཧ΁ͷԠ༻ࣄྫ ʙจࣈ୯Ґ$//ʹΑΔޱίϛ෼ྨʙ

Slide 2

Slide 2 text

ࣗݾ঺հ w ࢯݪ३ࢤ ͏͡͸Β͋ͭ͠ w 3FUUZΫϥϑτϏʔϧ୲౰ w 1ZUIPO޷͖ɻػցֶशͱ͔झ ຯͰ༡ΜͰͨΒ࢓ࣄʹͳͬͨɻ

Slide 3

Slide 3 text

ࠓ೔঺հ͢Δ಺༰ $//Ͱ೔ຊޠͷࣗવݴޠॲཧ ݁ߏ؆୯ʹͰ͖ΔΑ

Slide 4

Slide 4 text

ޱίϛͷղੳͱ͔΋ͬͱखܰʹ΍Γͨ ͍ʜ Ͱ΋೔ຊޠͷࣗવݴޠॲཧʹ͸Ұͭͷ େ͖ͳน͕ʜͦΕ͸ʜ

Slide 5

Slide 5 text

୯ޠͷ੾Ε໨͕Θ͔Βͳ͍

Slide 6

Slide 6 text

ӳޠ %P*GFFMMVDLZ lEPz l*z lGFFMz lMVDLZz l z ೔ຊޠ l͢΋΋΋΋΋΋΋΋ͷ͏ͪz l͏ΒʹΘʹ͸ʹΘʹΘʹ͸ʹΘʹΘͱΓ͕͍Δz

Slide 7

Slide 7 text

෼͔ͪॻ͖ ೔ຊޠΛѻ͏ʹ͸ܗଶૉղੳʢ෼͔ͪॻ͖ʣ͕ ඞཁ ͢΋΋΋΋΋΋΋΋ͷ͏ͪ ͢΋΋ ໊ࢺ Ұൠ ͢΋΋ εϞϞ εϞϞ ΋ ॿࢺ ܎ॿࢺ ΋ Ϟ Ϟ ΋΋ ໊ࢺ Ұൠ ΋΋ ϞϞ ϞϞ ΋ ॿࢺ ܎ॿࢺ ΋ Ϟ Ϟ ΋΋ ໊ࢺ Ұൠ ΋΋ ϞϞ ϞϞ ͷ ॿࢺ ࿈ମԽ ͷ ϊ ϊ ͏ͪ ໊ࢺ ඇཱࣗ ෭ࢺՄೳ ͏ͪ ΢ν ΢ν

Slide 8

Slide 8 text

͜Εʹ͸ࣙॻ͕ඞཁɻ ະ஌ͷ୯ޠʹ͸ରԠͰ͖ͳ͍ɻ

Slide 9

Slide 9 text

ਫ਼ਆΛ࡟ΒΕΔࣄྫ ͒ƀˊ㱩͎㱫ʏʏƀʋёфˊ ໊͒ࢺ Ұൠ ƀ ໊ࢺ Ұൠ ˊ㱩 ໊ࢺ αม઀ଓ ໊͎ࢺ Ұൠ 㱫ʏʏ ໊ࢺ αม઀ଓ ƀ ໊ࢺ Ұൠ ʋه߸ Ұൠ ʋ ʋ ʋ ёф ໊ࢺ ݻ༗໊ࢺ ૊৫ ˊ໊ࢺ αม઀ଓ ˞ʮ͓͸Α͏͍͟͝·͢ʯΒ͍͠

Slide 10

Slide 10 text

೔ຊޠͷࣗવݴޠॲཧ 㲈 ࣙॻΛԆʑͱߏங͢Δ͓࢓ࣄ

Slide 11

Slide 11 text

ͦΜͳઈ๬ͷதʹࠩ͢Ұےͷޫ͕ $//

Slide 12

Slide 12 text

$//৞ΈࠐΈχϡʔϥϧωο τϫʔΫ ೥ʹը૾෼ྨͷίϯςετͰ$//Λ༻ ͍ͨνʔϜ͕ѹউɻը૾෼ྨ໰୊ͷCSFBL UISPVHIͱͳΔɻ ͜ͷลΓ͔Β%FFQ-FBSOJOH͕ྲྀߦΓͩ͠ɺ ݱࡏը૾ͷ໰୊ΛऔΓѻ͏৔߹$//͕Ұڧɻ ࣗવݴޠॲཧʹ΋࢖͑Δʁ

Slide 13

Slide 13 text

ࣗવݴޠॲཧͰͷ%FFQ -FBSOJOH XPSEWFDͱ͔ͰจࣈྻΛϕΫτϧԽ͢Ε ͹%FFQ-FBSOJOHͰղੳͰ͖ΔΑͶʁ Ͱ΋XPSEWFD࢖͏ʹ͸෼͔ͪॻ͖͕ඞཁ ݁ہઈ๬͔ʜ

Slide 14

Slide 14 text

$IBSBDUFSMFWFM$// ը૾͸QJYFM୯ҐͰ$//ʹ͔͚ͯΔɻͳΒจࣈ ྻͩͬͯ୯ޠຖͰ͸ͳ͘ɺจࣈຖͰ$//ʹ͔͚ ΒΕΔ͸ͣͩʂ୯ޠͳΜ͍ͯ͏ߏ଄͸//ʹݟͭ ͚ͤ͞Ε͹͍͍ʂ

Slide 15

Slide 15 text

$IBSBDUFSMFWFM$//खॱ w จষΛจࣈʹ෼ղ ͓·͑͸ࠓ·Ͱ৯ͬͨύϯͷຕ਺Λ͓΅͍͑ͯ Δͷ͔ʁ ˣ <͓ · ͑ ͸ ࠓ · Ͱ ৯ ͬ ͨ ύ ϯ ͷ ຕ ਺ Λ ͓ ΅ ͑ ͯ ͍ Δ ͷ ͔ ʁ>

Slide 16

Slide 16 text

$IBSBDUFSMFWFM$//खॱ w 6/*$0%&஋ʹม׵ < >

Slide 17

Slide 17 text

$IBSBDUFSMFWFM$//खॱ w ௕͞-ͷݻఆ௕഑ྻʹ͢ΔͨΊʹ଍Γͳ͍෼Λ QBEEJOH͢Δɻ௕͍৔߹͸ଧͪ੾Γɻ < >

Slide 18

Slide 18 text

$IBSBDUFSMFWFM$//खॱ w ຒΊࠐΈදݱΛֶशͤ͞ɺͦΕͧΕͷจࣈ VOJDPEF஋ Λ/ ࣍ݩϕΫτϧʹ͢Δɻ < > ˣ << > <> <> >

Slide 19

Slide 19 text

$IBSBDUFSMFWFM$//खॱ w ΋͏͜ΕάϨʔεέʔϧը૾ͱಉ͡ɻจࣈྻ͕- Y/ͷը૾ͱΈͳͤΔɻ << ʜʜ> < > ʜ < >> << > <> <>> ͓·͑͸ࠓ·Ͱ৯ͬ ͨύϯͷຕ਺Λ͓΅ ͍͑ͯΔͷ͔ʁ ಉ͡

Slide 20

Slide 20 text

$IBSBDUFSMFWFM$//खॱ w ͋ͱ͸ී௨ʹ$// ͨͩ͠ɺ$//ͷΧʔωϧαΠζʢϑΟϧλͷαΠζʣ͸ԣ ʹ/ɻͭ·Γจࣈ෼ɻͦͯ͠ॎ͸ ͷෳ਺αΠζ ˠ͜Ε͸HSBN HSBN HSBN HSBNΛ$//Ͱ࠶ ݱ͍ͯ͠Δɻ ҰͭͷUFOTPSʹରͯ͠ෳ਺छྨͷαΠζͷϑΟϧλΛ͔͚ ͯͦͷ݁ՌΛҰͭͷUFOTPSʹ݁߹ɻͦΕΛશ݁߹૚ʹ౉ ͢ɻ

Slide 21

Slide 21 text

ޱίϛղੳ΁ͷద༻ࣄྫ

Slide 22

Slide 22 text

σʔτʹ࢖͑Δళͷޱίϛ 3FUUZͰ͸͓ళ͕ͲͷΑ͏ͳ໨తͰར༻Ͱ͖Δ͔ͱ͍͏ σʔλ͕͋Δɻ σʔτ໨తͰ࢖͑ΔళͷޱίϛΛσʔτ໨తళޱίϛͷ ڭࢣͱͯ͠ར༻ɻޱίϛ͕σʔτ໨తళͷޱίϛ͔൱͔ Λ൑ผͰ͖Δ෼ྨثΛ࡞੒ σʔτ໨తళޱίϛͱ൑அ͞ΕΔޱίϛ͕ଟ͍ళ͸σʔ τʹ࢖͑ΔళͳͷͰ͸ ৽͍͠σʔτ໨తళͷൃݟʹ࢖͑Δʁ

Slide 23

Slide 23 text

΍ͬͯΈͨΒ ສޱίϛ σʔτ໨తళޱίϛ ສͦΕҎ֎ͷޱίϛສ ͷղੳ BDDVSBDZ

Slide 24

Slide 24 text

΍ͬͯΈͨΒ ʮ෢ଂখࢁͷম͖ௗϫΠϯͷ͓ళɻ͜͜͸શൠඒ ຯ͔ͬͨʂ஋ஈ͸ܾͯ҆͘͠͸ແ͍Ͱ͕͢ɺϫΠ ϯ΋શͯ#JPϫΠϯͱͷࣄɻম͖ௗ͸͓·͔ͤίʔ ε͕͓קΊͱͷࣄͰͨ͠ͷͰɺͦͪΒͰɻళһ͞ Μͷ઀٬΋࠷ߴͰੋඇߦͬͯΈͯԼ͍͞ɻʯ σʔτ໨తళޱίϛ཰

Slide 25

Slide 25 text

΍ͬͯΈͨΒ ʮӺ௚݁⽏ͱ͍͏ཱ஍ͷྑ͔͞Βબͼ·ͨ͠✨ ম͖ௗɺਫਬ͖ͳͲͳͲཔΈ·͕ͨ͠ɺௗ͕΀ Δ΀ΔͰඒຯ͔ͬͨ͠Ͱ͢Α⽏࢓ࣄऴΘΓͷํ ͕ͨͪαΫοͱҰഋʜͱ͍͏ΠϝʔδͰ͔͢Ͷɻ Ͱ΋஋ஈ΋ϦʔζφϒϧͰͳ͔ͳ͔ྑ͔ͬͨͰ͢ 㽈ʯ σʔτ໨తళޱίϛ཰

Slide 26

Slide 26 text

·ͱΊ w ࣗવݴޠॲཧʹ΋$//͸༗ޮ w จࣈ୯ҐͰ΋ਫ਼౓͸ग़Δ w ڭࢣ࡞Γͷιϧδϟʔ͸ඞཁ