Encoder-Decoder にもとづく材料名の正規化/ingredient-normalization-based-on-encoder-decoder

&ODPEFS%FDPEFSʹ΋ͱͮ͘ࡐྉ໊ͷਖ਼نԽ ΫοΫύουגࣜձࣾݚڀ։ൃ෦ ݪౡ७

ࣗݾ঺հ

೥݄ ೥݄ ژ౎େֶࠇڮɾՏݪݚڀࣨ഑ଐ ΫοΫύουೖࣾ ೥݄ ݚڀ։ൃ෦໳ʢ৽ઃʣ഑ଐ ത࢜ʢ৘ใֶʣऔಘ ೥݄ ৘ใݕࡧɾจॻཁ໿ ɾಉٛදݱͷ֫ಘʢ*+$/-1ʣ
ɾݕࡧ݁Ռͷཁ໿ʢ/-1*9ʣ ɾݕࡧ݁ՌͷϦϥϯΩϯάʢ*+$/-1ʣ ɾ೔ຊޠจͷѹॖʢ$0-*/(ʣ αʔϏε։ൃ෦໳ ྉཧ৘ใॲཧ ɾϨγϐίʔύεͷߏஙʢ-3&$ʣ ɾϨγϐͷ຋༁ʢ8"5ʣ ɾϨγϐը૾σʔληοτͷߏஙʢ4*(*3ʣ ɾखॱը૾ͷղੳʢ$&"ʣ ݪౡ७

ݚڀ։ൃ෦

ࣾ಺֎ͷ࠷৽ͷݚڀ੒Ռʹ΋ͱͮ͘αʔϏεͷاըͱ։ൃ ྉཧʹؔ͢Δ͋ΒΏΔݚڀ੒ՌʢFHػցֶशɺ*P5ɺՈిɺ৯จԽɺʜʣ ໾ׂɾ੹೚ൣғ

ʢ໊ʣ ໊ʢʣ ໊ʢʣ 3FTFBSDIFS &OHJOFFS "OOPUBUPS ϝϯόʔ

αʔϏε

ίϯϖςΟγϣϯ

࿦จ

ࡐྉ໊ͷਖ਼نԽ

จࣈ௨Γɺࡐྉͷ໊લ ɾࡐྉʹ໊લʴ෼ྔ ϢʔβʹΑΔࣗ༝هड़ ɾಛʹ੍໿͸ઃ͚͍ͯͳ͍ʢઃ͚ͨ͘ͳ͍ʣ όϦΤʔγϣϯ͕େ͖͍ ɾΫοΫύουશମͰ਺ඦສछྨ ࡐྉ໊

ελοϑ͔Βཁ๬ଟ਺ ɾFHϨγϐͷΧϩϦʔܭࢉʹඞਢ ਖ਼نԽͷχʔζ ˑে༉ ˗ে༉ ͠ΐ͏Ώ ˎে༉ ˔͠ΐ͏Ώ ে༉ ˔͠ΐ͏ΏʢݮԘে༉͸ࣦഊ͞ΕΔํ΋ʣ
˓ে༉ɹ ɾে༉ ে༉ ˑ͠ΐ͏༉ ͓޷ΈͰ ͓͠ΐ͏Ώ ͓ে༉ γϣ΢Ϣ ḛ༉ Φγϣ΢Ϣ Φে༉ γϣ΢༉ ਖ਼༉ ೱޱ͠ΐ͏Ώ ̋ে༉ ˒ে༉ ˑೱޱে༉ ˑ͠ΐ͏Ώ ʮ͠ΐ͏ΏʯͷόϦΤʔγϣϯ ˕͠ΐ͏Ώ ˔ে༉ ὑೱޱে༉ ˒͠ΐ͏Ώ ˓͠ΐ͏Ώ ˎ͠ΐ͏༉ ˕ে༉ ɹ˒ে༉ ˕ೱ͍ޱে༉ ᴹে༉ ͠ΐ͏༉ ʜ શ෦ʹΧϩϦʔΛొ࿥͢Δͷ͸ͪΐͬͱʜɻ શ෦ʮ͠ΐ͏Ώʯͬͯ෼͔Βͳ͍ͷʁ

$IBSBDUFSCBTFE&ODPEFS%FDPEFS ։ൃ؀ڥʹQYMBSHFɺϑϨʔϜϫʔΫʹ$IBJOFSΛར༻ ɾ&ODPEFSͱ%FDPEFS͸6OJEJSFDUJPOBM-45.ʢ૚ʣ ɾ#JEJSFDUJPOBM-45.΍"UUFOUJPO͸ޮՌͳ͠ʢܥྻ͕୹͍͔Βʁʣ ೖྗΛϨγϐதͷࡐྉ໊ɺग़ྗΛਖ਼نԽ͞Εͨࡐྉ໊ͱ͢Δ&ODPEFS%FDPEFSΛֶश ɾී௨ͷ&ODPEFS%FDPEFSͱҧͬͯɺ୯ޠϕʔεͰ͸ͳ͘จࣈϕʔε ˒ ে ༉ ΐ
͠ ͏ Ώ &08 &08 ΐ ͠ ͏ Ώ

γεςϜͷશମ૾ BMMJOGP 13 NFSHF JNBHF JOHSFEJFOUJOGP UBSHFUOBNFT QVMM EPXOMPBE VQMPBE
JOTUBMM DPQZ DPQZ JOTFSU TFMFDU JOTFSU ਖ਼ղσʔλऩू Ϟσϧ։ൃ όον࣮ߦ JOTFSU OPSNBMJ[BUJPOJOGP VOMPBE TFMFDU

࣮ݧ σʔλ ɾ܇࿅σʔλɿɹ ݸ ɾݕূσʔλɿɹ ݸ ɾςετσʔλɿ ݸ ධՁई౓ ɾਖ਼౴཰ʢਖ਼ղͱͷ׬શҰக཰ʣ

݁Ռ ख๏ ਖ਼౴཰ #BTFMJOF"ʢมߋͳ͠ʣ #BTFMJOF#ʢਖ਼نදݱʣ &ODPEFS%FDPEFS #BTFMJOF"
ɾೖྗΛͦͷ··ग़ྗ #BTFMJOF# ɾਖ਼نදݱͰɺ๯಄ͷه߸ͱ຤ඌͷׅހදݱΛೖྗ͔Β࡟আ &ODPEFS%FDPEFS ɾઌఔ·Ͱઆ໌͍ͯͨ͠ख๏

ಉٛදݱܥͷਖ਼نԽ ɾFHࡩΤϏˠαΫϥΤϏ ෇ଐදݱܥͷਖ਼نԽ ɾFH˞ڇೕˠڇೕ ෳ߹తͳਖ਼نԽ ɾFHˑϩʔϦΤˠ݄ܡथ ੒ޭྫ

ଘࡏ͑͠ͳ͍จࣈྻΛग़ྗ ɾFH͜Ί༉ˠίʔ༉ʢਖ਼ղ͸ʮถ༉ʯʣ ɾ͜ΕΒͷจࣈྻΛআ֎͢Δͱ ೖྗͱແؔ܎ͷจࣈྻΛग़ྗ ɾFHτʔϞϩίγˠͱΖΖ͜ΜͿʢਖ਼ղ͸ʮͱ͏΋Ζ͜͠ʯʣ ɾೖྗͱͷྨࣅ౓ͰϦϥϯΩϯά͢Δͱ ͦͷଞ ɾFHܡൽˠγφϞϯ ɾ஍ಓʹֶशσʔλΛ௥Ճʢࠓޙͷ՝୊ʣ ࣦഊྫ

·ͱΊ

ࡐྉ໊ͷਖ਼نԽ ࡐྉ໊ ɾόϦΤʔγϣϯ͕େ͖͍ʢΫοΫύουશମͰ਺ඦສʣ &ODPEFS%FDPEFSͰਖ਼نԽ ɾී௨ͷ࢖͍ํͱҧͬͯɺจࣈϕʔε ࣮ݧ݁Ռ ɾϕʔεϥΠϯΑΓ໌Β͔ʹߴ͍ਫ਼౓ʢʣ ࠓޙͷ՝୊ ɾਖ਼ղσʔλͷ֦ॆ

8F`SFIJSJOH ϦαʔνΤϯδχΞ ɾػցֶशϞσϧͷߏஙʢFH$//౳ʹΑΔը૾ೝࣝϞσϧͷߏஙʣ ɾݚڀ։ൃج൫ͷߏஙʢFHϞσϧͷσϓϩΠϑϩʔͷઃܭʣ ɾ֤छσόΠεʹ͓͚ΔϓϩτλΠϐϯάʢFHεϚʔτεϐʔΧʔͷݕূʣ ݚڀһ ɾ৘ใ෼໺ͷݚڀʢFHϨγϐͷղੳ΍ݕࡧʹؔ͢Δ࿦จࣥචʣ ɾ࠷৽ٕज़ͷௐࠪʢFHؔ࿈ֶձͰͷ৘ใऩूʣ ɾݚڀ੒Ռͷൃ৴ʢFHؔ࿈ֶձͰͷ࿦จൃදʣ Έͳ͞·ͷΤϯτϦʔΛ͓଴͍ͪͯ͠·͢
IUUQTDPPLQBEKPCT

Encoder-Decoder にもとづく材料名の正規化/ingredient-normalization-based-on-encoder-decoder

Encoder-Decoder にもとづく材料名の正規化/ingredient-normalization-based-on-encoder-decoder

j.harashima

More Decks by j.harashima

Featured

Transcript

&ODPEFS%FDPEFSʹ΋ͱͮ͘ࡐྉ໊ͷਖ਼نԽ ΫοΫύουגࣜձࣾݚڀ։ൃ෦ ݪౡ७

ࣗݾ঺հ

೥݄ ೥݄ ژ౎େֶࠇڮɾՏݪݚڀࣨ഑ଐ ΫοΫύουೖࣾ ೥݄ ݚڀ։ൃ෦໳ʢ৽ઃʣ഑ଐ ത࢜ʢ৘ใֶʣऔಘ ೥݄ ৘ใݕࡧɾจॻཁ໿ ɾಉٛදݱͷ֫ಘʢ*+$/-1ʣ

ݚڀ։ൃ෦

ࣾ಺֎ͷ࠷৽ͷݚڀ੒Ռʹ΋ͱͮ͘αʔϏεͷاըͱ։ൃ ྉཧʹؔ͢Δ͋ΒΏΔݚڀ੒ՌʢFHػցֶशɺ*P5ɺՈిɺ৯จԽɺʜʣ ໾ׂɾ੹೚ൣғ

ʢ໊ʣ ໊ʢʣ ໊ʢʣ 3FTFBSDIFS &OHJOFFS "OOPUBUPS ϝϯόʔ

αʔϏε

ίϯϖςΟγϣϯ

࿦จ

ࡐྉ໊ͷਖ਼نԽ

จࣈ௨Γɺࡐྉͷ໊લ ɾࡐྉʹ໊લʴ෼ྔ ϢʔβʹΑΔࣗ༝هड़ ɾಛʹ੍໿͸ઃ͚͍ͯͳ͍ʢઃ͚ͨ͘ͳ͍ʣ όϦΤʔγϣϯ͕େ͖͍ ɾΫοΫύουશମͰ਺ඦສछྨ ࡐྉ໊

ελοϑ͔Βཁ๬ଟ਺ ɾFHϨγϐͷΧϩϦʔܭࢉʹඞਢ ਖ਼نԽͷχʔζ ˑে༉ ˗ে༉ ͠ΐ͏Ώ ˎে༉ ˔͠ΐ͏Ώ ে༉ ˔͠ΐ͏ΏʢݮԘে༉͸ࣦഊ͞ΕΔํ΋ʣ

γεςϜͷશମ૾ BMMJOGP 13 NFSHF JNBHF JOHSFEJFOUJOGP UBSHFUOBNFT QVMM EPXOMPBE VQMPBE

࣮ݧ σʔλ ɾ܇࿅σʔλɿɹ ݸ ɾݕূσʔλɿɹ ݸ ɾςετσʔλɿ ݸ ධՁई౓ ɾਖ਼౴཰ʢਖ਼ղͱͷ׬શҰக཰ʣ

݁Ռ ख๏ ਖ਼౴཰ #BTFMJOF"ʢมߋͳ͠ʣ #BTFMJOF#ʢਖ਼نදݱʣ &ODPEFS%FDPEFS #BTFMJOF"

ಉٛදݱܥͷਖ਼نԽ ɾFHࡩΤϏˠαΫϥΤϏ ෇ଐදݱܥͷਖ਼نԽ ɾFH˞ڇೕˠڇೕ ෳ߹తͳਖ਼نԽ ɾFHˑϩʔϦΤˠ݄ܡथ ੒ޭྫ

·ͱΊ

ࡐྉ໊ͷਖ਼نԽ ࡐྉ໊ ɾόϦΤʔγϣϯ͕େ͖͍ʢΫοΫύουશମͰ਺ඦສʣ &ODPEFS%FDPEFSͰਖ਼نԽ ɾී௨ͷ࢖͍ํͱҧͬͯɺจࣈϕʔε ࣮ݧ݁Ռ ɾϕʔεϥΠϯΑΓ໌Β͔ʹߴ͍ਫ਼౓ʢʣ ࠓޙͷ՝୊ ɾਖ਼ղσʔλͷ֦ॆ