第14回最先端NLP勉強会 スポンサードセッション講演

LINE株式会社 佐藤 敏紀 (@overlast)
2022/9/26 第14回最先端NLP勉強会での発表資料です
https://sites.google.com/view/snlp-jp/home/2022?authuser=0

Transcript

1. ୈ14ճ࠷ઌ୺NLPษڧձ εϙϯαʔυηογϣϯߨԋ Toshinori Sato (@overlast) LINE / AI Company 
2. ࠤ౻ හل (@overlast) • γχΞιϑτ΢ΣΞΤϯδχΞ / Ϛωʔδϟʔ • ࣗવݴޠॲཧ • ৘ใݕࡧ • LINE CLOVA • ೔ຊޠͷࣗવݴޠཧղ(NLU)γεςϜ • HyperCLOVA • ೔ຊޠίʔύε / AIϑΟϧλʔ / Ԡ༻ٕज़ͷ։ൃɾධՁ • OSS: NEologd ϓϩδΣΫτͷϝΠϯ։ൃऀ • mecab-ipadic-NEologd 2
3. NLP։ൃνʔϜʹ͍ͭͯ
4. 2012೥5݄ (1ਓ)
5. 2022೥9݄ (20ਓ) 1݄ ٢઒ࠀਖ਼͞Μ 5 5݄ ਫຊஐ໵͞Μ 8݄ɹਗ਼໺ॢ͞Μ 9݄ ೳ஍޺͞Μ ࠓޙ΋Ұॹʹಇ͚ͯخ͍͠஥͕ؒՃΘΔ༧ఆ
7. νʔϜ಺Ϣχοτ੍Λ࠾༻ ཁૉٕज़ɾϓϥοτϗʔϜ։ൃϢχοτ - ཁૉٕज़Λݚڀ։ൃ͠ɺ࣮૷ΛαʔϏεಋೖ΍ϓϥοτϗʔϜԽɾ044Խ͢Δ ج൫ϞσϦϯάϢχοτ - ͓΋ʹ೔ຊޠͷ͍ΘΏΔେن໛൚༻ݴޠϞσϧͷߏஙɾධՁɾαʔϏεԠ༻Λ࣮ࢪ ର࿩γεςϜ։ൃϢχοτ - ચ࿅͞Εͨର࿩γεςϜΛߏ੒͢ΔͨΊʹඞཁͳ༷ʑͳٕज़Λݚڀ։ൃ͢Δ Ϗδωε։ൃϢχοτ - ࣾ಺֎ͷ##ɾ#$αʔϏε΁ͷٕज़ఏҊɾಋೖͳͲΛ࣮ࢪ͢Δ
8. About HyperCLOVA
10. ೔ຊޠͷج൫Ϟσϧ + α ͳγεςϜ Automatic evaluation with 39B JP Model for a QA task
11. HyperCLOVA ͷ೔ຊޠϞσϧߏஙͷݱঢ় 1.3B → 6.7B → 13B → 39B 13B → 39B 82B ଟݴޠϞσϧ େن໛Ϟσϧ 
 ೔ຊޠ / ଟݴޠ ௒େن໛ 
 ೔ຊޠϞσϧ ೔ຊޠϞσϧ ߏங࡞ۀ͕ਐߦத  - Ϟσϧߏஙͷ೉͠͞ : ࣮Ԡ༻͕͏·͍͘͘ɺͱ෼͔Δ·ͰऴΘΒͳ͍ - ࣄલ४උ(Πϯϑϥɾσʔλ) → Ϟσϧߏங → ϞσϧධՁ → ϞσϧΛԠ༻ͨ݁͠ՌͷධՁ
12. HyperCLOVAͷσϞ: 3 ͭͷλεΫΛಉ͡ϞσϧͰ HyperCLOVAͷՄೳੑΛ֬ೝͯ͠௖ͨ͘ΊͷσϞͰ͢ ϓϨεϦϦʔε ͷੜ੒ཁ໿ ϖϧιφΛՃຯͰ͖ͨ γφϦΦແ͠ͷ 
 ର࿩γεςϜ ! ࡶͳϝϞΛૹ৴Մೳঢ়ଶʹ ओ؍ධՁ݁Ռ͕ྑ͍  ϝʔϧͷੜ੒
14. ίʔύεͷͨΊͷσʔλऩूͷํ਑ LINEͷαʔϏεͷձ࿩σʔλΛ࢖Θͳ͍ - LINEͷ͢΂ͯͷϝοηʔδ
    - OpenChatͷ͢΂ͯͷ౤ߘ
    ݖརॲཧΛਖ਼͓͘͜͠ͳ͔ͬͯΒίʔύεʹ௥Ճ͢Δ  ൚༻ੑΛ޲্Ͱ͖ΔίϯςϯπΛඃ෴͢Δ༷ʹΫϩʔϧ͢Δ
    - LINEͷ֎ʹίʔύεͷαϒηοτΛఏڙ͢ΔՄೳੑΛ࢒͢ 
15.  Λࣗ༝ʹ࢖͑Δͱݚڀతʹ͸Կ͕خ͍͠ͷʜʁ
16.  ࠷ॳͷσϞ͕ग़དྷ্͕Δ·Ͱͷ 
 εϐʔυײ͕͍͢͝
17. σϞ࡞੒·Ͱͷεϐʔυײʂ  ͜ͷ໰୊)ZQFS$-07"Ͱ 
 ղ͚ͦ͏͡Όͳ͍ʜʁ ΍ͬͯΈΑ͏ʂ ͜ͷϓϩηε͕ͨͬͨ
    ਺೔ʂ ࠷ॳͷσϞ͕Ͱ͖·ͨ͠
18.  ΩϟϥΫλʔͱͷ
    νϟοτΛ࣮ݱ͍ͨ͠ʂ ྫ͑͹ʜ
19. ࠓ·Ͱͷݚڀ։ൃ͸ʜ  ΩϟϥΫλʔର࿩ʢϖϧιφର࿩ʣσʔλΛूΊΔ Ϟσϧߏஙɾ܇࿅ɾύϥϝλ୳ࡧ σϞ࡞੒ αʔϏεاը ͜͜ʹ͍ͬͺ͍
    ͕͔͔࣌ؒΔ ࣮ݱՄೳੑ͕Θ͔Δ·Ͱ͕͔͔࣌ؒΔ
20. )ZQFS$-07"͕࢖͑ΔͳΒʜ  σϞ࡞੒ αʔϏεاը ͜ΕͳΒ
    ͙͢ʹͰ͖Δʂ ϓϩϯϓτϓϩάϥϛϯά
21. 
22. 
23. 
24. εϐʔυ͕ૣ͍ͱԿ͕ྑ͍ͷʁ  ࣮ݱՄೳੑ͕͙͢Θ͔ΓɺϚωδϝϯτ૚΍Ӧۀ෦ॺ΁ͷઆಘྗ͕͍͢͝ ˣ͜ΜͳσϞ͕൒೥Ͱ
    ݸͰ͖Δʢؾ߹ೖΕΕ͹ଟ෼΋ͬͱͰ͖Δʣ ےͷྑ͍՝୊͔ɺͲͷఔ౓ͷ೉қ౓ͷ໰୊͔ɺͷ൑அ͕ૣ͘ͳΔ
25. LINEͷNLP։ൃνʔϜ͸2022೥΋ྭΈ·͢ ࣾ಺֎ͷ༷ʑͳαʔϏεʹରͯ͠ߩݙΛ͢ΔͨΊͷۀ຿͕جຊ ɹ- ϚϧνϞʔμϧԽͳͲʹΑΔNLPͰѻ͏ྖҬͷ֦େ͕՝୊ ର࿩ϩϘοτίϯϖςΟγϣϯͷຊબձʹग़৔(༧બ2Ґ௨ա) ର࿩γεςϜϥΠϒίϯϖςΟγϣϯͷ༧બʹग़৔༧ఆ ༷ʑͳ੒Ռɾ஌ݟɾOSSΛ͓ಧ͚͢ΔͨΊʹӶҙ։ൃத ɹ- ग़લؗͷݕࡧΫΤϦͷमਖ਼ͳͲ͸࠷ۙͷେ͖ͳ੒Ռͷͻͱͭ