$30 off During Our Annual Pro Sale. View Details »

第14回最先端NLP勉強会 スポンサードセッション講演

第14回最先端NLP勉強会 スポンサードセッション講演

LINE株式会社 佐藤 敏紀 (@overlast)
2022/9/26 第14回最先端NLP勉強会での発表資料です
https://sites.google.com/view/snlp-jp/home/2022?authuser=0

LINE Developers
PRO

September 26, 2022
Tweet

More Decks by LINE Developers

Other Decks in Technology

Transcript

  1. ୈ14ճ࠷ઌ୺NLPษڧձ εϙϯαʔυηογϣϯߨԋ Toshinori Sato (@overlast) LINE / AI Company 

  2. ࠤ౻ හل (@overlast) • γχΞιϑτ΢ΣΞΤϯδχΞ / Ϛωʔδϟʔ • ࣗવݴޠॲཧ •

    ৘ใݕࡧ • LINE CLOVA • ೔ຊޠͷࣗવݴޠཧղ(NLU)γεςϜ • HyperCLOVA • ೔ຊޠίʔύε / AIϑΟϧλʔ / Ԡ༻ٕज़ͷ։ൃɾධՁ • OSS: NEologd ϓϩδΣΫτͷϝΠϯ։ൃऀ • mecab-ipadic-NEologd 2
  3. NLP։ൃνʔϜʹ͍ͭͯ

  4. 2012೥5݄ (1ਓ)

  5. 2022೥9݄ (20ਓ) 1݄ ٢઒ࠀਖ਼͞Μ 5 5݄ ਫຊஐ໵͞Μ 8݄ɹਗ਼໺ॢ͞Μ 9݄ ೳ஍޺͞Μ

    ࠓޙ΋Ұॹʹಇ͚ͯخ͍͠஥͕ؒՃΘΔ༧ఆ
  6. None
  7. νʔϜ಺Ϣχοτ੍Λ࠾༻ ཁૉٕज़ɾϓϥοτϗʔϜ։ൃϢχοτ - ཁૉٕज़Λݚڀ։ൃ͠ɺ࣮૷ΛαʔϏεಋೖ΍ϓϥοτϗʔϜԽɾ044Խ͢Δ ج൫ϞσϦϯάϢχοτ - ͓΋ʹ೔ຊޠͷ͍ΘΏΔେن໛൚༻ݴޠϞσϧͷߏஙɾධՁɾαʔϏεԠ༻Λ࣮ࢪ ର࿩γεςϜ։ൃϢχοτ - ચ࿅͞Εͨର࿩γεςϜΛߏ੒͢ΔͨΊʹඞཁͳ༷ʑͳٕज़Λݚڀ։ൃ͢Δ

    Ϗδωε։ൃϢχοτ - ࣾ಺֎ͷ##ɾ#$αʔϏε΁ͷٕज़ఏҊɾಋೖͳͲΛ࣮ࢪ͢Δ
  8. About HyperCLOVA

  9. None
  10. ೔ຊޠͷج൫Ϟσϧ + α ͳγεςϜ Automatic evaluation with 39B JP Model

    for a QA task
  11. HyperCLOVA ͷ೔ຊޠϞσϧߏஙͷݱঢ় 1.3B → 6.7B → 13B → 39B 13B

    → 39B 82B ଟݴޠϞσϧ େن໛Ϟσϧ 
 ೔ຊޠ / ଟݴޠ ௒େن໛ 
 ೔ຊޠϞσϧ ೔ຊޠϞσϧ ߏங࡞ۀ͕ਐߦத  - Ϟσϧߏஙͷ೉͠͞ : ࣮Ԡ༻͕͏·͍͘͘ɺͱ෼͔Δ·ͰऴΘΒͳ͍ - ࣄલ४උ(Πϯϑϥɾσʔλ) → Ϟσϧߏங → ϞσϧධՁ → ϞσϧΛԠ༻ͨ݁͠ՌͷධՁ
  12. HyperCLOVAͷσϞ: 3 ͭͷλεΫΛಉ͡ϞσϧͰ HyperCLOVAͷՄೳੑΛ֬ೝͯ͠௖ͨ͘ΊͷσϞͰ͢ ϓϨεϦϦʔε ͷੜ੒ཁ໿ ϖϧιφΛՃຯͰ͖ͨ γφϦΦແ͠ͷ 
 ର࿩γεςϜ

    ! ࡶͳϝϞΛૹ৴Մೳঢ়ଶʹ ओ؍ධՁ݁Ռ͕ྑ͍  ϝʔϧͷੜ੒
  13. None
  14. ίʔύεͷͨΊͷσʔλऩूͷํ਑ LINEͷαʔϏεͷձ࿩σʔλΛ࢖Θͳ͍ - LINEͷ͢΂ͯͷϝοηʔδ - OpenChatͷ͢΂ͯͷ౤ߘ ݖརॲཧΛਖ਼͓͘͜͠ͳ͔ͬͯΒίʔύεʹ௥Ճ͢Δ  ൚༻ੑΛ޲্Ͱ͖ΔίϯςϯπΛඃ෴͢Δ༷ʹΫϩʔϧ͢Δ -

    LINEͷ֎ʹίʔύεͷαϒηοτΛఏڙ͢ΔՄೳੑΛ࢒͢ 
  15.  Λࣗ༝ʹ࢖͑Δͱݚڀతʹ͸Կ͕خ͍͠ͷʜʁ

  16.  ࠷ॳͷσϞ͕ग़དྷ্͕Δ·Ͱͷ 
 εϐʔυײ͕͍͢͝

  17. σϞ࡞੒·Ͱͷεϐʔυײʂ  ͜ͷ໰୊)ZQFS$-07"Ͱ 
 ղ͚ͦ͏͡Όͳ͍ʜʁ ΍ͬͯΈΑ͏ʂ ͜ͷϓϩηε͕ͨͬͨ਺೔ʂ ࠷ॳͷσϞ͕Ͱ͖·ͨ͠

  18.  ΩϟϥΫλʔͱͷ νϟοτΛ࣮ݱ͍ͨ͠ʂ ྫ͑͹ʜ

  19. ࠓ·Ͱͷݚڀ։ൃ͸ʜ  ΩϟϥΫλʔର࿩ʢϖϧιφର࿩ʣσʔλΛूΊΔ Ϟσϧߏஙɾ܇࿅ɾύϥϝλ୳ࡧ σϞ࡞੒ αʔϏεاը ͜͜ʹ͍ͬͺ͍ ͕͔͔࣌ؒΔ ࣮ݱՄೳੑ͕Θ͔Δ·Ͱ͕͔͔࣌ؒΔ

  20. )ZQFS$-07"͕࢖͑ΔͳΒʜ  σϞ࡞੒ αʔϏεاը ͜ΕͳΒ ͙͢ʹͰ͖Δʂ ϓϩϯϓτϓϩάϥϛϯά

  21. 

  22. 

  23. 

  24. εϐʔυ͕ૣ͍ͱԿ͕ྑ͍ͷʁ  ࣮ݱՄೳੑ͕͙͢Θ͔ΓɺϚωδϝϯτ૚΍Ӧۀ෦ॺ΁ͷઆಘྗ͕͍͢͝ ˣ͜ΜͳσϞ͕൒೥Ͱ ݸͰ͖Δʢؾ߹ೖΕΕ͹ଟ෼΋ͬͱͰ͖Δʣ ےͷྑ͍՝୊͔ɺͲͷఔ౓ͷ೉қ౓ͷ໰୊͔ɺͷ൑அ͕ૣ͘ͳΔ

  25. LINEͷNLP։ൃνʔϜ͸2022೥΋ྭΈ·͢ ࣾ಺֎ͷ༷ʑͳαʔϏεʹରͯ͠ߩݙΛ͢ΔͨΊͷۀ຿͕جຊ ɹ- ϚϧνϞʔμϧԽͳͲʹΑΔNLPͰѻ͏ྖҬͷ֦େ͕՝୊ ର࿩ϩϘοτίϯϖςΟγϣϯͷຊબձʹग़৔(༧બ2Ґ௨ա) ର࿩γεςϜϥΠϒίϯϖςΟγϣϯͷ༧બʹग़৔༧ఆ ༷ʑͳ੒Ռɾ஌ݟɾOSSΛ͓ಧ͚͢ΔͨΊʹӶҙ։ൃத ɹ- ग़લؗͷݕࡧΫΤϦͷमਖ਼ͳͲ͸࠷ۙͷେ͖ͳ੒Ռͷͻͱͭ