Upgrade to Pro — share decks privately, control downloads, hide ads and more …

NIFTY Tech Day 2022 深層自然言語処理によるニュース記事要約の手法と実装

NIFTY Tech Day 2022 深層自然言語処理によるニュース記事要約の手法と実装

NIFTY Tech Day 2022 セッション資料

本セッションではニフティニュースにおける記事要約や構築した深層自然言語処理モデル、AWSを用いた実際のサービス実装について紹介します。

本セッションのアーカイブ動画:
https://youtu.be/sMQwfbCTNX8

NIFTY Tech Day 2022 アーカイブ動画一覧:
https://www.youtube.com/playlist?list=PLYJnnMO84Y4ScTbh4EB5F-xVwgmPv_cM3

Avatar for ニフティ株式会社

ニフティ株式会社

November 22, 2022
Tweet

Video


Resources

More Decks by ニフティ株式会社

Other Decks in Programming

Transcript

  1. $PQZSJHIU˜/*'5:$PSQPSBUJPO"MM3JHIUT3FTFSWFE ۙ೥ͷ/-1ٕज़ (15  #SPXO 5PN FUBM-BOHVBHFNPEFMTBSFGFXTIPUMFBSOFST"EWBODFTJOOFVSBMJOGPSNBUJPOQSPDFTTJOHTZTUFNT   w

    ͭͷจষੜ੒ϞσϧʹΑͬͯҟͳΔෳ਺ͷλεΫʢ຋༁ɺର࿩ɺ࣭໰ Ԡ౴ɺΞφάϥϜɺࣥචͳͲʣΛղ͘͜ͱ͕Մೳ w ࣗવݴޠ͔ΒϓϩάϥϜͷίʔυΛੜ੒͢Δ͜ͱ΋Մೳ w ւ֎ܝࣔ൘Ͱ͸ؾ͔ͮΕͣʹਓؒͷ೰Έʹ౴͍͑ͯͨͱ͍͏ࣄྫ΋ଘࡏ
  2. $PQZSJHIU˜/*'5:$PSQPSBUJPO"MM3JHIUT3FTFSWFE ۙ೥ͷ/-1ٕज़ 5  3BGGFM $PMJO FUBM&YQMPSJOHUIFMJNJUTPGUSBOTGFSMFBSOJOHXJUIBVOJGJFEUFYUUPUFYUUSBOTGPSNFS+.BDI-FBSO3FT   w

    ௚઀จষ͔Βจষʹม׵͢Δਂ૚ֶशϞσϧ w ࣭໰Ԡ౴΍ཁ໿ɺ຋༁ͳͲͷෳ਺ͷλεΫΛ୯ҰͷϞσϧͰղ͘ w !OJGUZχϡʔεͰ͸ࠓճ5Λ࢖ͬͨهࣄཁ໿Λߦ͍·͢
  3. $PQZSJHIU˜/*'5:$PSQPSBUJPO"MM3JHIUT3FTFSWFE 5SBOTGPSNFS  7BTXBOJ "TIJTI FUBM"UUFOUJPOJTBMMZPVOFFE"EWBODFTJOOFVSBMJOGPSNBUJPOQSPDFTTJOHTZTUFNT   w "UUFOUJPOػߏΛར༻͢Δ͜ͱͰɺߴ଎Խߴਫ਼౓Խ

    w ೥ݱࡏɺ࠷৽ͷࣗવݴޠॲཧͷجૅʹͳ͍ͬͯΔٕज़Ͱ͋Γɺ 
 ը૾ೝࣝ΍Ի੠ೝࣝͳͲͷ෼໺ʹ΋స༻͞Ε͍ͯΔ w 7JTJPO5SBOTGPSNFS 8IJTQFS 0QFO"* ͳͲ
  4. $PQZSJHIU˜/*'5:$PSQPSBUJPO"MM3JHIUT3FTFSWFE ਂ૚ࣗવݴޠॲཧΛਐԽͤͨ͞΋ͷ  w 5SBOTGPSNFSʹ୅ද͞ΕΔਂ૚ֶशٕज़ w 5SBOTGPSNFSʹΑͬͯߴਫ਼౓Խߴ଎Խ ฒྻԽ Λୡ੒ w

    8&#σʔλ͔Β࡞੒͞Εͨେن໛ίʔύεͷ஀ੜ w $$ɺ04$"3ɺ$ͳͲ w େن໛ػցֶशϞσϧͷֶशΛՄೳʹͨ͠ίϯϐϡʔλϦιʔε w (16ɾ516ͷൃలɺΫϥ΢υʹΑΔେن໛ίϯϐϡʔςΟϯά w )VHHJOH'BDF΍(PPHMF$PMBCPSBUPSZͳͲͷΤίγεςϜ w ࣮૷͕͙͢ʹੈͷதʹެ։͞ΕΔͨΊɺશੈքͷ։ൃऀʹΑΔվྑ͕ ߦΘΕΔ
  5. $PQZSJHIU˜/*'5:$PSQPSBUJPO"MM3JHIUT3FTFSWFE ϓϩϯϓτֶश  w ݱࡏͷࣗવݴޠॲཧϞσϧ͸༷ʑͳλεΫ͕ղ͚ΔͷͰɺ 
 λεΫΛࢦఆͯ͋͛͠Δ w ࣗવݴޠΛೖྗ͢ΔϞσϧͰ͸ϓϩϯϓτ͕༻͍ΒΕΔ w

    ࠓճ͸͜ΜͳϖΞΛֶशͤ͞Δ w lUJUMFຊจzˠlλΠτϧz w lUPQJDTຊจzˠl୹จλΠτϧz w lLFZXPSEຊจzˠlΩʔϫʔυz
  6. $PQZSJHIU˜/*'5:$PSQPSBUJPO"MM3JHIUT3FTFSWFE ਪ࿦ͷॲཧ  99͸ࡢ೥݄ʹαʔϏεΛ։࢝ͯ͠Ҏདྷɺ೔ຊͰͷϏδωεΛॱௐʹ֦େ͖ͯͨ͠ɻݱࡏ͸ʜ [21105, 4763, 7, 11708, 12, 50,

    133, 710, 4397, 20082, 3, 11666, 3259, 14, 15134, 1915, 2107, 4, 1190, 216, 1961, 2819, 246, 16, 3, 21366, 388, 790, 7279, 4983,…] [21105, 4763, 3, 5057, 3888, 1798, 6, 21868, 15594, 6477, 253, 82, 6838, 15, 19, 10654, 4763, 500, 206, 211, 626, 1318, 17, 28,…] 99ɺ͍ͭʹ଴๬ͷBQQMFUWʹରԠҰप೥ه೦Ͱʮ99ΞϯόαμʔϓϩδΣΫτʯ΋ελʔτ τʔΫφΠζ ػցֶशϞσϧʹΑΔਪ࿦ จষ΁ͷ෮ݩʢστʔΫφΠζʣ هࣄຊจ ཁ໿จ
  7. $PQZSJHIU˜/*'5:$PSQPSBUJPO"MM3JHIUT3FTFSWFE ػցֶशϞσϧͷਪ࿦  99͸ࡢ೥݄ʹαʔϏεΛ։࢝ͯ͠Ҏདྷɺ೔ຊͰͷϏδωεΛॱௐʹ֦େ͖ͯͨ͠ɻݱࡏ͸ʜ [21105, 4763, 7, 11708, 12, 50,

    133, 710, 4397, 20082, 3, 11666, 3259, 14, 15134, 1915, 2107, 4, 1190, 216, 1961, 2819, 246, 16, 3, 21366, 388, 790, 7279, 4983,…] [21105, 4763, 3, 5057, 3888, 1798, 6, 21868, 15594, 6477, 253, 82, 6838, 15, 19, 10654, 4763, 500, 206, 211, 626, 1318, 17, 28,…] 99ɺ͍ͭʹ଴๬ͷBQQMFUWʹରԠҰप೥ه೦Ͱʮ99ΞϯόαμʔϓϩδΣΫτʯ΋ελʔτ τʔΫφΠζ ػցֶशϞσϧʹΑΔਪ࿦ จষ΁ͷ෮ݩʢστʔΫφΠζʣ هࣄຊจ ཁ໿จ
  8. $PQZSJHIU˜/*'5:$PSQPSBUJPO"MM3JHIUT3FTFSWFE సҠֶश  w ೖྗ͞ΕͨτʔΫϯྻʹରͯ͠ɺ࣮ࡍͷཁ໿จͷτʔΫϯྻΛ 
 ਖ਼ղͱͯ͠ɺసҠֶश 'JOF5VOJOH Λߦ͏ w

    Ϟσϧ͕ग़ྗ͢ΔτʔΫϯ൪߸ΛΫϥεͱΈͳͯ͠ɺΫϩεΤϯτϩϐʔ ଛࣦΛ࠷খԽ͢Δ w 4FOUFODF1JFDFͳͲʹΑͬͯɺ͋Β͔͡ΊࣙॻαΠζ ޠኮͷ਺ɺ 
 ͜͜Ͱ͸Ϋϥε਺ ͕ܾ·͍ͬͯΔ [21105, 4763, 7, 11708, 12, 50, 133, 710, 4397, 20082, 3, 11666, 3259, 14, 15134, 1915, 2107, 4, 1190, 216, 1961, 2819, 246, 16, 3, 21366, 388, 790, 7279, 4983,…] [21105, 4763, 3, 5057, 3888, 1798, 6, 21868, 15594, 6477, 253, 82, 6838, 15, 19, 10654, 4763, 500, 206, 211, 626, 1318, 17, 28,…] ػցֶशϞσϧʹΑΔਪ࿦
  9. $PQZSJHIU˜/*'5:$PSQPSBUJPO"MM3JHIUT3FTFSWFE ཁ໿ੜ੒ʹ͍ͭͯͷߟ࡯  w ৽ฉࣾͳͲͷਖ਼֬ͳจষͷཁ໿͸ਫ਼౓͕ߴ͍ w ΰγοϓࢽ΍ϒϩάهࣄͳͲΤϯλϝܥͷཁ໿͸೉͍͠ w ਓ͕ؒཁ໿͢Δ৔߹Ͱ΋ਖ਼ղ͕෼͔Γʹ͍͘ w

    ਓ໊ͳͲͷ৘ใΛৗʹֶशͤ͞ଓ͚Δඞཁ΋͋Δ w จষ͕௕͍৔߹ʹ͸Ϟσϧʹೖྗ͖͠Εͳ͍ w UPLFO 㲈୯ޠ਺ Λ௒͑ΔͱॲཧͰ͖ͳ͍ͨΊɺจষશମ Λཁ໿Ͱ͖͍ͯͳ͍݁Ռʹͳͬͯ͠·͏
  10. $PQZSJHIU˜/*'5:$PSQPSBUJPO"MM3JHIUT3FTFSWFE "84ʹ͓͚Δબ୒ࢶ  ϝϦοτ σϝϦοτ "84-BNCEB w εέʔϦϯά͕༰қ w ࢖༻ܦݧ΋ଟ͍

    w (16͕࢖͑ͳ͍ w *B$πʔϧͰͷ 
 ؅ཧ͕ͮ͠Β͍ "84&MBTUJD #FBOTUBML w ΞϓϦέʔγϣϯΛ 
 ߴ଎Ͱ࡞੒Ͱ͖Δ w (16͕࢖༻Մೳ w ࣾ಺Ͱ࢖༻ྫ͕গͳ͍ w ຊ֨Քಇ࣌ʹ࠶ߏ੒͢Δ Մೳੑ͕͋Δ "NB[PO4BHF.BLFS w ϚωʔδυͰ؅ཧͰ͖Δ w (16͕࢖༻ՄೳͰɺ 
 εέʔϦϯά΋༰қ w ࣾ಺࢖༻ྫ͕ͳ͍ w *B$πʔϧͰͷ 
 ؅ཧ͕ͮ͠Β͍
  11. $PQZSJHIU˜/*'5:$PSQPSBUJPO"MM3JHIUT3FTFSWFE "84ʹ͓͚Δબ୒ࢶ  ϝϦοτ σϝϦοτ "84-BNCEB w εέʔϦϯά͕༰қ w ࢖༻ܦݧ΋ଟ͍

    w (16͕࢖͑ͳ͍ w *B$πʔϧͰͷ 
 ؅ཧ͕ͮ͠Β͍ "84&MBTUJD #FBOTUBML w ΞϓϦέʔγϣϯΛ 
 ߴ଎Ͱ࡞੒Ͱ͖Δ w (16͕࢖༻Մೳ w ࣾ಺Ͱ࢖༻ྫ͕গͳ͍ w ຊ֨Քಇ࣌ʹ࠶ߏ੒͢Δ Մೳੑ͕͋Δ "NB[PO4BHF.BLFS w ϚωʔδυͰ؅ཧͰ͖Δ w (16͕࢖༻ՄೳͰɺ 
 εέʔϦϯά΋༰қ w ࣾ಺࢖༻ྫ͕ͳ͍ w *B$πʔϧͰͷ 
 ؅ཧ͕ͮ͠Β͍
  12. $PQZSJHIU˜/*'5:$PSQPSBUJPO"MM3JHIUT3FTFSWFE ϞσϧΛߋ৽͢Δ࢓૊Έ͕ͳ͍  w ݱࡏ͸ػցֶशϞσϧ͕׬੒͍ͯ͠Δ͜ͱ͕લఏͷ ࢓૊Έʹͳ͍ͬͯΔ w ܳೳਓͳͲ৽͍͠ݻ༗໊ࢺ͕ೖͬͯ͘Δͱɺਫ਼౓͕ Լ͕͍ͬͯ͘͜ͱ͕༧૝͞ΕΔ w

    ݻ༗໊ࢺʹؔ͢Δࣙॻͷ࢓૊ΈΛ໌ࣔతʹ͍࣋ͬͯΔ 
 Θ͚Ͱ͸ͳ͍͕ɺ҉໧తʹֶश͍ͯ͠ΔͱࢥΘΕΔ w 4BHF.BLFSΛ׆༻ͯࣗ͠ಈతʹֶशαΠΫϧΛճ͢ ࢓૊ΈͷߏஙΛߦ͍͖͍ͬͯͨ