Current and future prospects of CVX technology promoted by LINE

LINEで推進するCVX技術の現在と今後の展望
井尻 善久（LINE株式会社 AI開発室 副室長 / Computer Vision Lab マネージャー）
CCSE2021での発表資料です
https://ccse.jp/2021/

Transcript

1. -*/&Ͱਪਐ͢Δ $79ٕज़ͷݱࡏͱࠓޙͷల๬ -*/&
   $7- :PTIJIJTB
   *+*3*
2. > ઐ໳ɿίϯϐϡʔλϏδϣϯɾϩϘςΟΫε > झຯɿ > 0VUEPPS
   ొࢁɾεΩʔɾୌ८ΓɾࣸਅࡱӨɾόΠΫτϥΠΞϧɾɾɾ > *OEPPS
   ϐΞϊԋ૗ɾྺ࢙ɾᗉ੡ɾίʔώʔᖿઝɾञΛᅂΉ > ೥ΦϜϩϯೖࣾ > 
   إͷݕग़ೝࣝͷσδΧϝɾܞଳి࿩ɺ؂ࢹΧϝϥԠ༻ > 
   ෺ମݕग़ɾŤŞƄŸƃũŖŢŔƃɾ0$3ͷ'"޲͚঎඼Խ > 
   ͠ͳ΍͔ͳ੍ޚΛ࣮ݱ͢Δࣗ཯ιϑτϩϘοτݚڀਪਐ > 
   Ϧαʔνϕϯνϟʔ্ཱͪ͛ 0.30/
   4*/*$
   9 > ೥-*/&ೖࣾ > $PNQVUFS
   7JTJPO
   -BCͷ্ཱͪ͛ɺ"*։ൃࣨͷ૊৫Խ -*/&גࣜձࣾ "*Χϯύχʔ "*։ൃࣨ ࣨ௕ɺ$PNQVUFS
   7JTJPO
   -BC Ϛωʔδϟʔ :PTIJIJTB
   *KJSJ
   1I% twitter@joyport, facebook:yijiri
3. -*/&
   "*
   ͷ 3%
   7JTJPO $POTFSWBUJWF %JTSVQUJWF 5JNF     *OUFSBDUJWF
   WJSUVBM
   FYQFSJFODF "VUPOPNPVT
   "*
   XPSLGMPX %JHJUBM
   .F .F
   "7"5"3 %JHJUBM
   *EFOUJUZ #FUUFS
   $BSF 5SVTUXPSUIZ
   "* "*
   'BJSOFTT &YQMBJOBCMF
   "* %BSL
   %BUB 0NOJQPUFOU
   "* (JHBOUJD
   -BOHVBHF
   NPEFM 6OMBCFMFE
   %BUB %BUB
   .BSLFUQMBDF (FOFSBUJWF
   *OUFMMJHFODF /FX
   &EVDBUJPO %FQFOEBCMF
   455 1SJWBDZ
   QSFTFSWJOH 4FBN
   %JTDSJNJOBUPS -*/&ͷ࣋ͭଟ༷ͳ"*ཁૉٕज़Λجʹɺ෼໺ԣஅతͳٕज़Λ஫ྗٕज़ͱͯ͠શମײΛ࣋ͬͯݚڀ։ൃ͍ͯ͠·͢
5. "*Χϯύχʔ͕ఏڙ͍ͯ͠ΔαʔϏε
6. -*/&
   $-07"ʮ1SPEVDUʯ $-07"
   $IBUCPU -*/&͔ΜͨΜϔϧϓ΍$-07"Ͱഓͬͨ ࣗવݴޠٕज़Λɺ'"2΍઀٬༻#PUʹ ల։Ͱ͖ΔαʔϏε LINE CLOVA Chatbot $-07"
   0$3 ࠃࡍձٞͰੈք࠷ߴਫ४ͱೝΊΒΕͨ OCRٕज़Λਃࠐॻ΍ྖऩॻͳͲͷಡΈऔΓɺ ࣗಈೖྗʹ׆༻Ͱ͖ΔαʔϏε LINE CLOVA OCR $-07"
   4QFFDI $-07"ͷԻ੠ೝٕࣝज़Λ׆༻͠ɺ ి࿩΍ಈըϝσΟΞͷԻ੠ॻ͖ى͜͠ɺ ి࿩ԠରͷࣗಈԽαʔϏεͳͲΛఏڙ LINE CLOVA Speech $-07"
   7PJDF $-07"ͷԻ੠߹੒ٕज़Λ׆༻͠ɺ اۀϒϥϯυ΍༻్ʹ͋ͬͨԻ੠ϞσϧΛ࡞੒ ͢ΔαʔϏεΛఏڙ༧ఆ LINE CLOVA Voice $-07"
   5FYU
   "OBMZUJDT ςΩετղੳɺײ৘෼ੳٕज़ɻ Ի੠ೝࣝͰىͨ͜͠ςΩετ͔Βͷݕࡧ΍ ײ৘෼ੳͳͲʹ׆༻ɻ LINE CLOVA Text Analytics $-07"
   7JTJPO ෺ମೝࣝɺը૾ೝٕࣝज़ɻ LINEγϣοϐϯάͷʮSHOPPING LENSʯͰ׆༻ɻ LINE CLOVA Vision $-07"
   'BDF ߴਫ਼౓ͷإೝٕࣝज़ɻ eKYCʢΦϯϥΠϯຊਓ֬ೝʣ ΍إೝূʹΑΔड෇ͳͲʹ׆༻ɻ LINE CLOVA Face 4BB4ఏڙ 4BB4ఏڙ -*/&ͷ࣋ͭଟ༷ͳ"*ཁૉٕज़Λجʹ෯޿͍##޲͚ϓϩμΫτΛల։͍ͯ͠·͢ʢҰ෦4BB4ͱͯ͠ఏڙʣ
7. -*/&
   $7-ͷ஫ྗٕज़  $79ٕज़ 7 ࣗવݴޠॲཧ ೖྗ Ի੠ σδλϧ ςΩετ ը૾ಈը 3(#%5 ݴޠ ςΩετ ը૾ ਤද Ի੠ೝࣝ $7
   
   13 ॲཧ ੜ੒ Ի੠߹੒ $( ςΩετ ग़ྗ 5F9ͳͲ ϚϧνϝσΟΞೖྗʹରԠ͢ΔϚϧνϞʔμϧॲཧ"*ٕज़ $7
   Y
   ˓˓ٕज़͕ॏཁʹʂ ʢ$7Λத৺ͱͯ͠Έͨͱ͖ͷϚϧνϞʔμϧ"*ٕज़ͷҙຯͰԬຊࢯ͕$79ٕज़ͱ໋໊ʣ
8. -*/&
   $7-ͷ஫ྗٕज़  $79ٕज़ 8 ࣗવݴޠॲཧ ೖྗ Ի੠ σδλϧ ςΩετ ը૾ಈը 3(#%5 ݴޠ ςΩετ ը૾ ਤද Ի੠ೝࣝ $7
   
   13 ॲཧ ੜ੒ Ի੠߹੒ $( ςΩετ ग़ྗ 5F9ͳͲ ϚϧνϝσΟΞೖྗʹରԠ͢ΔϚϧνϞʔμϧॲཧ"*ٕज़ $7
   Y
   ˓˓ٕज़͕ॏཁʹʂ ʢ$7Λத৺ͱͯ͠Έͨͱ͖ͷϚϧνϞʔμϧ"*ٕज़ͷҙຯͰԬຊࢯ͕$79ٕज़ͱ໋໊ʣ
9. Semantic Information S-Overtime 50% (count) 1 (unit price) 20,000 (price) 20,000 PBI 1,818 Subtotal 18,181 Total 20,000 Cash 100,000 Change 80,000 Tax Included 10% Image จࣈೝࣝ͸ղܾ͞Εͨ໰୊ʁ/Pʂ %9ਪਐͷதͰ༷ʑͳாථυΩϡϝϯτͷσδλϧԽ͕ॏཁ͕ͩɺ7-ͷྑ໰ͷๅݿʂ %PDVNFOU
   6OEFSTUBOEJOH
   0$3 Ћ
10. $3"'5
    <#BFL
    $713> จࣈྖҬͱจࣈؒͷؔ܎Λద੾ʹ༧ଌͰ͖ΔωοτϫʔΫΛֶश ੜ੒ը૾ͱ࣮ը૾ͷ྆ํΛ༻ֶ͍ͯश Character Region Awareness for Text Detection [Baek+, CVPR2019]
11. 41"%&
    TUSVDUVSFE
    EPDVNFOU
    ,*&
    <)XBOH
    "$-> From Spatial Dependency Parsing for Semi-Structured Document Information Extraction [Hwang+, ACL2021] ,FZ
    7BMVFͷؔ܎Λֶशͤ͞Δߏจղੳث QBSTFS Λ%USBOTGPSNFSͰֶश ͜ΕʹΑΓߴਫ਼౓ͷදநग़Λ࣮ݱ
12. #304
    #FSU
    3FMZJOH
    0O
    4QBUJBMJUZ
    <)POH
    UP
    BQQFBS
    """*> ۭؒతͳ഑ஔ৘ใΛڭࢣͳֶ͠श͢Δ͜ͱͰߴਫ਼౓ԽগαϯϓϧԽɺ5SBOTGPSNFSͷయܕత ͳֶशํࣜͰ͋Δ݀ຒΊ໰୊ .-. Ͱ࣍ͷจࣈ͓ΑͼͦͷҐஔΛ༧ଌ͢ΔϞσϧΛֶश
13. -BZPVU
    SFDPHOJUJPO
    <UP
    BQQFBS
    TPNFXIFSF
    TPNFEBZ> ݴޠϞσϧͱ0$3Λ׆༻ͯ͠ςΩετͷϨΠΞ΢τΛೝࣝ͢Δ ˠ ϑΟʔϧυݕࡧΛ࣮ݱ
14. ը૾ͱΩϟϓγϣϯͰɺϏοάϞσϧʁ ˠ ೝࣝ΍ੜ੒ʹ ⼩学館⿂介の図鑑より ⼩学館⿂介の図鑑より 学研動物の図鑑より #JH
    WJTJPOMBOHVBHF
    NPEFM
    <UP
    BQQFBS
    TPNFXIFSF
    TPNFEBZ>
15. $IBSBDUFS
    UZQF 5FSNJOPMPHZ (SBNNBS 'PSNMBZPVU 5PQJDTTUZMF %PDVNFOU
    UZQF %PNBJO
    LOPXMFEHF 1VSQPTF
    UBTL $VTUPNFS TQFDJGJD
    LOPXMFEHF $PNNPO
    LOPXMFEHF 7JTVBM
    QBUUFSOT $POUFYU
    510 MFWFM
    PGG
    POMZ
    XJUI
    WJTVBM
    QBUUFSOT $PNCJOBUJPO
    XJUI
    /-1 CFDPNFT
    DSVDJBM $IBSBDUFS -BOHVBHF 8PSE ݴޠϞσϧΛ׆༻ͯ͠ɺͲΜͲΜਫ਼౓Λ্͛Δ #FZPOE
    DVSSFOU
    "*0$3
    $79
    EPDVNFOU
    JOUFMMJHFODF
16. -*/&
    $7-ͷ஫ྗٕज़  $79ٕज़ 16 ࣗવݴޠॲཧ ೖྗ Ի੠ σδλϧ ςΩετ ը૾ಈը 3(#%5 ݴޠ ςΩετ ը૾ ਤද Ի੠ೝࣝ $7
    
    13 ॲཧ ੜ੒ Ի੠߹੒ $( ςΩετ ग़ྗ 5F9ͳͲ ϚϧνϝσΟΞೖྗʹରԠ͢ΔϚϧνϞʔμϧॲཧ"*ٕज़ $7
    Y
    ˓˓ٕज़͕ॏཁʹʂ ʢ$7Λத৺ͱͯ͠Έͨͱ͖ͷϚϧνϞʔμϧ"*ٕज़ͷҙຯͰԬຊࢯ͕$79ٕज़ͱ໋໊ʣ
17. ఺܈ͷߴ଎Ͱߴਫ਼౓ͳর߹ɺίϯςϯπͷੜ੒ɾ୳ࡧͷͨΊʹ·͢·͢ॏཁʹʂ %
    ఺܈ղੳ
18. Source Target GSLR (ours) Feature matching w/ RANSAC SLR Generalized Shuffled Linear Regression [Li+, ICCV2021] ఺܈ʹܽଛ΍Ξ΢τϥΠΞ͕ଘࡏͯ͠΋ߴ଎ʹর߹ (4-3
    'BTU
    QPJOU
    DMPVE
    
    LFZQPJOU NBUDIJOH
    <-J
    *$$7> !"" !"# ⋯ !"% !#" !## ⋯ !#% ⋮ !'" ⋮ !'# ⋱ ⋮ ⋯ !'% ) = + ," ,# ⋮ ,' +-. ∈ {0, 1} 5 - +-. ≤ 1 5 . +-. ≤ 1 5 -,. +-. = 7 ରԠ఺ͷೖΕସΘΓ΍Ξ΢τϥΠ ΞɾܽଛશͯʹରԠՄೳ min ), + ;) − += # # ͜ΕΛઢܗׂ౰໰୊Λ༻͍ ܁Γฦ͠ղ๏Ͱղ͘
19. %ϞσϧΛݴޠࢦࣔͰಈ͔͢ʁ %Ϟσϧʹ࿩Λͤͨ͞Γɺࣗવͳಈ͖Λͤͨ͞Γ͢Δ ͜Ε͔Βɾɾɾ
20. -*/&
    $7-ͷ஫ྗٕज़  $79ٕज़ 20 ࣗવݴޠॲཧ ೖྗ Ի੠ σδλϧ ςΩετ ը૾ಈը 3(#%5 ݴޠ ςΩετ ը૾ ਤද Ի੠ೝࣝ $7
    
    13 ॲཧ ੜ੒ Ի੠߹੒ $( ςΩετ ग़ྗ 5F9ͳͲ ͜ͷ෦෼͸ޤ͏͝ظ଴ʂ
21. $79ٕज़Ͱࠓ·Ͱʹͳ͍ιϦϡʔγϣϯΛੜΈग़͠·͢ʂ $7ͱɺ/-1ɺ7PJDF4QFFDIͳͲɺ-*/&ͷ"*ࢿ࢈Λ༥߹ͤͨ͞ΠϊϕʔγϣϯΛ࣮ݱ $79 $7
    ✕ ˓˓ٕज़ .JYFE
    -*/&
    "*
    .J-"* .VMUJNPEBM
    JOQVUPVUQVU
22. STRICTLY CONFIDENTIAL -*/&
    "*
    $PNQBOZͷ໨ࢦ͢ੈք ʮͻͱʹ΍͍͞͠"*ʯ͕ɺ ੜ׆΍ϏδωεʹજΉ൥Θ͠͞Λղফ͠ɺ ʮ͜Ε͔Βͷ͋ͨΓ·͑ʯΛ૑Γ·͢ɻ ΠϯλʔϯੜɾϦαʔνϟΤϯδχΞืू͓ͯ͠Γ·͢ɻ ͍ͬ͠ΐʹૉ੖Β͍͠কདྷΛ૑Γɺྺ࢙Λॻ͍͍͖ͯ·͠ΐ͏ʂ ͦΕ͕কདྷΛ΋ͬͱ΋Α͘༧૝͢Δํ๏Ͱ͢ʂ
24. 
    ʣ
    *$"441
    ʣ*/5&341&&$)
    ʣ8"41""
    ʣ #JH%BUB  ʢʣ
    *$"441
     &64*1$0
    
    */5&341&&$)
    
    %$"4&
    
    "14*1"
    
    $713
    
    51%1 
    '-*$.- 
    
    -%3$  
    
    *$"441
    
    *$3"
    
    *6* 
    *$%&
     *$$7  各分野最⾼峰の会議で認められるAI 基礎研究成果 ͜Ε·Ͱͷ੒Ռ
25. ⾃由度が⾼い発話のリアルタイム認識で⾃然な会話の 書き起こしを実現！ ։ൃதͷٕज़ 4QFFDI CLOVA note
26. %// Ի੠߹੒ ʙײ৘Λॊೈʹ੍ޚՄೳͳԻ੠߹੒Λ࣮ݱʙ COntrollable, High-quality, And expRessIve TTS 明るさ 暗さ ! " # $ % & ' ։ൃதͷٕज़ʢ7PJDFʣ
27. HyperCLOVA 1750億超のパラメータの⼤規模汎⽤⾔語モデルの開発 ։ൃதͷٕज़ʢ/-1ʣ
28. 国⽴国会図書館デジタルアーカイブ プロジェクト 247万点2.23億ページ超のデジタル・アーカイブ化 ։ൃதͷٕज़ʢ$7-ʣ
29. $-07"
    0$3 Point 1 ੈք࠷ߴਫ४ͷ"*0$3 Point 2 ͋ΒΏΔॻྨ΍ը૾Λૉૣ͘ςΩετԽ Point 3 खॻ͖ͷจࣈ΋ೝࣝՄೳ ԣॻ͖΍ॎॻ͖ɺؙ͘࿷ۂͨ͠จࣈͳͲѱ৚݅ԼͰͷಡΈऔΓɺଟݴޠͷ ೝࣝɺઐ໳༻ޠͷೝࣝͳͲͰߴ͍ਫ਼౓ͱධՁɻจॻղੳͱೝࣝʹؔ͢Δࠃ ࡍձٞ *$%"3
     ͷ෼໺ʹͯੈք/PΛ֫ಘ͍ͯ͠·͢ɻ ϑΥʔϚοτ͕ܾ·͍ͬͯΔॻྨ͸΋ͪΖΜɺ͋ΒΏΔελΠϧͷॻྨΛ ਖ਼͘͠ςΩετԽ͠·͢ɻ$-07"
    0$3ʢྖऩॻɾ੥ٻॻɾϨγʔτಛ ԽܕʣͰ͸ɺϑΥʔϚοτͷࣄલొ࿥͕ෆཁɻ खॻ͖จࣈ΍ɺࣼΊʹͳͬͨจࣈ΋ߴਫ਼౓ͷೝূ͕Մೳ
30. $POGJEFOUJBM -*/&
    "J$BMM Point 1 ϢʔβʔΛ଴ͨͤͳ͍ར༻ମݧ Point 2 ਓؒຯ͋;ΕΔࣗવͳର࿩ Point 3 طଘγεςϜ΍-*/&ͱͷ࿈ܞ ࣌ؒ೔ɺडిମ੍Λ༻ҙͰ͖Δ͜ͱ͸΋ͪΖΜɺ൪߸ೖྗͰରԠ ಺༰ΛৼΓ෼͚Δ*73ʢ*OUFSBDUJWF
    7PJDF
    3FTQPOTFʣͱ͸ҟͳΓɺॊೈ ʹରԠ͠·͢ɻ ཈༲ͷ͋Δਓؒʹ͍ۙࣗવͳԻ੠ͰɺϢʔβʔʹετϨεΛֻ͚·ͤΜɻ ·ͨɺ"*ʹΑΔԻ੠ೝࣝͷֶशʹΑΓɺԻ੠ೝࣝͱର࿩ͷਫ਼౓͕޲্͠ɺ ରԠ඼࣭͕޲্͠·͢ɻ ͜Ε·ͰՍిडిޙʹߦ͍ͬͯͨΞφϩάͳσʔλ੔උۀ຿΋ɺγες Ϝ࿈ܞʹΑΓܰݮ͠·͢ɻ·ͨɺ-*/&΍4.4ͱ࿈ܞ͢Δ͜ͱͰɺ௨࿩ޙ ʹϢʔβʔʹࣗಈͰϝοηʔδΛૹ৴͢Δ͜ͱ΋ՄೳͰ͢ɻ
31. -*/&
    F,:$ Point ߴਫ਼౓ͷΦϯϥΠϯຊਓ֬ೝ -*/& F,:$͸ɺ-*/&͕։ൃͨ͠"*ٕज़Λ૊Έ߹Θͤɺ҆શੑͱརศੑΛ ཱ྆ͨ͠ɺΦϯϥΠϯ্Ͱͷຊਓ֬ೝΛ׬݁͢ΔιϦϡʔγϣϯͰ͢ɻ "1*΍4%,ͳͲ๛෋ͳఏڙํ๏ʹΑΓɺར༻໨తʹ͋ͬͨΧελϚΠζ͕ ՄೳͰ͢ɻखଓ͖ͷ؆ུԽʹΑͬͯɺۀ຿ޮ཰ԽɾϢʔβʔ΁ͷརศੑ ఏڙɺͳΓ͢·͠ʹΑΔෆਖ਼ΞΫηεɾෆਖ਼ར༻ͷ๷ࢭΛ࣮ݱ͠·͢ɻ
32. ੜ׆΍ϏδωεʹજΉ൥Θ͠͞Λղܾ͠ ͜Ε͔Βͷ͋ͨΓ·͑Λ૑Γग़͢ʂ Ұྲྀʹͩ͜ΘΔΠϯλʔφγϣφϧͳνʔϜ