Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Current and future prospects of CVX technology promoted by LINE

Current and future prospects of CVX technology promoted by LINE

LINEで推進するCVX技術の現在と今後の展望
井尻 善久(LINE株式会社 AI開発室 副室長 / Computer Vision Lab マネージャー)
CCSE2021での発表資料です
https://ccse.jp/2021/

A3966f193f4bef226a0d3e3c1f728d7f?s=128

LINE Developers
PRO

December 17, 2021
Tweet

More Decks by LINE Developers

Other Decks in Technology

Transcript

  1. -*/&Ͱਪਐ͢Δ $79ٕज़ͷݱࡏͱࠓޙͷల๬ -*/&$7- :PTIJIJTB*+*3*

  2. > ઐ໳ɿίϯϐϡʔλϏδϣϯɾϩϘςΟΫε > झຯɿ > 0VUEPPSొࢁɾεΩʔɾୌ८ΓɾࣸਅࡱӨɾόΠΫτϥΠΞϧɾɾɾ > *OEPPSϐΞϊԋ૗ɾྺ࢙ɾᗉ੡ɾίʔώʔᖿઝɾञΛᅂΉ > ೥ΦϜϩϯೖࣾ

    > إͷݕग़ೝࣝͷσδΧϝɾܞଳి࿩ɺ؂ࢹΧϝϥԠ༻ > ෺ମݕग़ɾŤŞƄŸƃũŖŢŔƃɾ0$3ͷ'"޲͚঎඼Խ > ͠ͳ΍͔ͳ੍ޚΛ࣮ݱ͢Δࣗ཯ιϑτϩϘοτݚڀਪਐ > Ϧαʔνϕϯνϟʔ্ཱͪ͛ 0.30/4*/*$9 > ೥-*/&ೖࣾ > $PNQVUFS7JTJPO-BCͷ্ཱͪ͛ɺ"*։ൃࣨͷ૊৫Խ -*/&גࣜձࣾ "*Χϯύχʔ "*։ൃࣨ ࣨ௕ɺ$PNQVUFS7JTJPO-BC Ϛωʔδϟʔ :PTIJIJTB*KJSJ 1I% twitter@joyport, facebook:yijiri
  3. -*/&"*ͷ 3%7JTJPO $POTFSWBUJWF %JTSVQUJWF 5JNF     *OUFSBDUJWFWJSUVBM

    FYQFSJFODF "VUPOPNPVT"* XPSLGMPX %JHJUBM.F .F"7"5"3 %JHJUBM*EFOUJUZ #FUUFS$BSF 5SVTUXPSUIZ"* "*'BJSOFTT &YQMBJOBCMF"* %BSL%BUB 0NOJQPUFOU"* (JHBOUJD-BOHVBHFNPEFM 6OMBCFMFE%BUB %BUB.BSLFUQMBDF (FOFSBUJWF*OUFMMJHFODF /FX&EVDBUJPO %FQFOEBCMF455 1SJWBDZQSFTFSWJOH 4FBN%JTDSJNJOBUPS -*/&ͷ࣋ͭଟ༷ͳ"*ཁૉٕज़Λجʹɺ෼໺ԣஅతͳٕज़Λ஫ྗٕज़ͱͯ͠શମײΛ࣋ͬͯݚڀ։ൃ͍ͯ͠·͢
  4. None
  5. "*Χϯύχʔ͕ఏڙ͍ͯ͠ΔαʔϏε

  6. -*/&$-07"ʮ1SPEVDUʯ $-07"$IBUCPU -*/&͔ΜͨΜϔϧϓ΍$-07"Ͱഓͬͨ ࣗવݴޠٕज़Λɺ'"2΍઀٬༻#PUʹ ల։Ͱ͖ΔαʔϏε LINE CLOVA Chatbot $-07"0$3 ࠃࡍձٞͰੈք࠷ߴਫ४ͱೝΊΒΕͨ

    OCRٕज़Λਃࠐॻ΍ྖऩॻͳͲͷಡΈऔΓɺ ࣗಈೖྗʹ׆༻Ͱ͖ΔαʔϏε LINE CLOVA OCR $-07"4QFFDI $-07"ͷԻ੠ೝٕࣝज़Λ׆༻͠ɺ ి࿩΍ಈըϝσΟΞͷԻ੠ॻ͖ى͜͠ɺ ి࿩ԠରͷࣗಈԽαʔϏεͳͲΛఏڙ LINE CLOVA Speech $-07"7PJDF $-07"ͷԻ੠߹੒ٕज़Λ׆༻͠ɺ اۀϒϥϯυ΍༻్ʹ͋ͬͨԻ੠ϞσϧΛ࡞੒ ͢ΔαʔϏεΛఏڙ༧ఆ LINE CLOVA Voice $-07"5FYU"OBMZUJDT ςΩετղੳɺײ৘෼ੳٕज़ɻ Ի੠ೝࣝͰىͨ͜͠ςΩετ͔Βͷݕࡧ΍ ײ৘෼ੳͳͲʹ׆༻ɻ LINE CLOVA Text Analytics $-07"7JTJPO ෺ମೝࣝɺը૾ೝٕࣝज़ɻ LINEγϣοϐϯάͷʮSHOPPING LENSʯͰ׆༻ɻ LINE CLOVA Vision $-07"'BDF ߴਫ਼౓ͷإೝٕࣝज़ɻ eKYCʢΦϯϥΠϯຊਓ֬ೝʣ ΍إೝূʹΑΔड෇ͳͲʹ׆༻ɻ LINE CLOVA Face 4BB4ఏڙ 4BB4ఏڙ -*/&ͷ࣋ͭଟ༷ͳ"*ཁૉٕज़Λجʹ෯޿͍##޲͚ϓϩμΫτΛల։͍ͯ͠·͢ʢҰ෦4BB4ͱͯ͠ఏڙʣ
  7. -*/&$7-ͷ஫ྗٕज़  $79ٕज़ 7 ࣗવݴޠॲཧ ೖྗ Ի੠ σδλϧ ςΩετ ը૾ಈը

    3(#%5 ݴޠ ςΩετ ը૾ ਤද Ի੠ೝࣝ $713 ॲཧ ੜ੒ Ի੠߹੒ $( ςΩετ ग़ྗ 5F9ͳͲ ϚϧνϝσΟΞೖྗʹରԠ͢ΔϚϧνϞʔμϧॲཧ"*ٕज़ $7Y˓˓ٕज़͕ॏཁʹʂ ʢ$7Λத৺ͱͯ͠Έͨͱ͖ͷϚϧνϞʔμϧ"*ٕज़ͷҙຯͰԬຊࢯ͕$79ٕज़ͱ໋໊ʣ
  8. -*/&$7-ͷ஫ྗٕज़  $79ٕज़ 8 ࣗવݴޠॲཧ ೖྗ Ի੠ σδλϧ ςΩετ ը૾ಈը

    3(#%5 ݴޠ ςΩετ ը૾ ਤද Ի੠ೝࣝ $713 ॲཧ ੜ੒ Ի੠߹੒ $( ςΩετ ग़ྗ 5F9ͳͲ ϚϧνϝσΟΞೖྗʹରԠ͢ΔϚϧνϞʔμϧॲཧ"*ٕज़ $7Y˓˓ٕज़͕ॏཁʹʂ ʢ$7Λத৺ͱͯ͠Έͨͱ͖ͷϚϧνϞʔμϧ"*ٕज़ͷҙຯͰԬຊࢯ͕$79ٕज़ͱ໋໊ʣ
  9. Semantic Information S-Overtime 50% (count) 1 (unit price) 20,000 (price)

    20,000 PBI 1,818 Subtotal 18,181 Total 20,000 Cash 100,000 Change 80,000 Tax Included 10% Image จࣈೝࣝ͸ղܾ͞Εͨ໰୊ʁ/Pʂ %9ਪਐͷதͰ༷ʑͳாථυΩϡϝϯτͷσδλϧԽ͕ॏཁ͕ͩɺ7-ͷྑ໰ͷๅݿʂ %PDVNFOU6OEFSTUBOEJOH 0$3 Ћ
  10. $3"'5<#BFL $713> จࣈྖҬͱจࣈؒͷؔ܎Λద੾ʹ༧ଌͰ͖ΔωοτϫʔΫΛֶश ੜ੒ը૾ͱ࣮ը૾ͷ྆ํΛ༻ֶ͍ͯश Character Region Awareness for Text Detection

    [Baek+, CVPR2019]
  11. 41"%&TUSVDUVSFEEPDVNFOU,*&<)XBOH "$-> From Spatial Dependency Parsing for Semi-Structured Document Information

    Extraction [Hwang+, ACL2021] ,FZ 7BMVFͷؔ܎Λֶशͤ͞Δߏจղੳث QBSTFS Λ%USBOTGPSNFSͰֶश ͜ΕʹΑΓߴਫ਼౓ͷදநग़Λ࣮ݱ
  12. #304#FSU3FMZJOH0O4QBUJBMJUZ<)POH UPBQQFBS """*> ۭؒతͳ഑ஔ৘ใΛڭࢣͳֶ͠श͢Δ͜ͱͰߴਫ਼౓ԽগαϯϓϧԽɺ5SBOTGPSNFSͷయܕత ͳֶशํࣜͰ͋Δ݀ຒΊ໰୊ .-. Ͱ࣍ͷจࣈ͓ΑͼͦͷҐஔΛ༧ଌ͢ΔϞσϧΛֶश

  13. -BZPVUSFDPHOJUJPO<UPBQQFBS TPNFXIFSF TPNFEBZ> ݴޠϞσϧͱ0$3Λ׆༻ͯ͠ςΩετͷϨΠΞ΢τΛೝࣝ͢Δ ˠ ϑΟʔϧυݕࡧΛ࣮ݱ

  14. ը૾ͱΩϟϓγϣϯͰɺϏοάϞσϧʁ ˠ ೝࣝ΍ੜ੒ʹ ⼩学館⿂介の図鑑より ⼩学館⿂介の図鑑より 学研動物の図鑑より #JHWJTJPOMBOHVBHFNPEFM<UPBQQFBS TPNFXIFSF TPNFEBZ>

  15. $IBSBDUFSUZQF 5FSNJOPMPHZ (SBNNBS 'PSNMBZPVU 5PQJDTTUZMF %PDVNFOUUZQF %PNBJO LOPXMFEHF 1VSQPTF UBTL

    $VTUPNFS TQFDJGJD LOPXMFEHF $PNNPO LOPXMFEHF 7JTVBMQBUUFSOT $POUFYU 510 MFWFMPGGPOMZXJUI WJTVBMQBUUFSOT $PNCJOBUJPOXJUI/-1 CFDPNFTDSVDJBM $IBSBDUFS -BOHVBHF 8PSE ݴޠϞσϧΛ׆༻ͯ͠ɺͲΜͲΜਫ਼౓Λ্͛Δ #FZPOEDVSSFOU"*0$3$79EPDVNFOUJOUFMMJHFODF
  16. -*/&$7-ͷ஫ྗٕज़  $79ٕज़ 16 ࣗવݴޠॲཧ ೖྗ Ի੠ σδλϧ ςΩετ ը૾ಈը

    3(#%5 ݴޠ ςΩετ ը૾ ਤද Ի੠ೝࣝ $713 ॲཧ ੜ੒ Ի੠߹੒ $( ςΩετ ग़ྗ 5F9ͳͲ ϚϧνϝσΟΞೖྗʹରԠ͢ΔϚϧνϞʔμϧॲཧ"*ٕज़ $7Y˓˓ٕज़͕ॏཁʹʂ ʢ$7Λத৺ͱͯ͠Έͨͱ͖ͷϚϧνϞʔμϧ"*ٕज़ͷҙຯͰԬຊࢯ͕$79ٕज़ͱ໋໊ʣ
  17. ఺܈ͷߴ଎Ͱߴਫ਼౓ͳর߹ɺίϯςϯπͷੜ੒ɾ୳ࡧͷͨΊʹ·͢·͢ॏཁʹʂ %఺܈ղੳ

  18. Source Target GSLR (ours) Feature matching w/ RANSAC SLR Generalized

    Shuffled Linear Regression [Li+, ICCV2021] ఺܈ʹܽଛ΍Ξ΢τϥΠΞ͕ଘࡏͯ͠΋ߴ଎ʹর߹ (4-3'BTUQPJOUDMPVELFZQPJOU NBUDIJOH<-J *$$7> !"" !"# ⋯ !"% !#" !## ⋯ !#% ⋮ !'" ⋮ !'# ⋱ ⋮ ⋯ !'% ) = + ," ,# ⋮ ,' +-. ∈ {0, 1} 5 - +-. ≤ 1 5 . +-. ≤ 1 5 -,. +-. = 7 ରԠ఺ͷೖΕସΘΓ΍Ξ΢τϥΠ ΞɾܽଛશͯʹରԠՄೳ min ), + ;) − += # # ͜ΕΛઢܗׂ౰໰୊Λ༻͍ ܁Γฦ͠ղ๏Ͱղ͘
  19. %ϞσϧΛݴޠࢦࣔͰಈ͔͢ʁ %Ϟσϧʹ࿩Λͤͨ͞Γɺࣗવͳಈ͖Λͤͨ͞Γ͢Δ ͜Ε͔Βɾɾɾ

  20. -*/&$7-ͷ஫ྗٕज़  $79ٕज़ 20 ࣗવݴޠॲཧ ೖྗ Ի੠ σδλϧ ςΩετ ը૾ಈը

    3(#%5 ݴޠ ςΩετ ը૾ ਤද Ի੠ೝࣝ $713 ॲཧ ੜ੒ Ի੠߹੒ $( ςΩετ ग़ྗ 5F9ͳͲ ͜ͷ෦෼͸ޤ͏͝ظ଴ʂ
  21. $79ٕज़Ͱࠓ·Ͱʹͳ͍ιϦϡʔγϣϯΛੜΈग़͠·͢ʂ $7ͱɺ/-1ɺ7PJDF4QFFDIͳͲɺ-*/&ͷ"*ࢿ࢈Λ༥߹ͤͨ͞ΠϊϕʔγϣϯΛ࣮ݱ $79 $7✕ ˓˓ٕज़ .JYFE-*/&"*.J-"* .VMUJNPEBMJOQVUPVUQVU

  22. STRICTLY CONFIDENTIAL -*/&"*$PNQBOZͷ໨ࢦ͢ੈք ʮͻͱʹ΍͍͞͠"*ʯ͕ɺ ੜ׆΍ϏδωεʹજΉ൥Θ͠͞Λղফ͠ɺ ʮ͜Ε͔Βͷ͋ͨΓ·͑ʯΛ૑Γ·͢ɻ ΠϯλʔϯੜɾϦαʔνϟΤϯδχΞืू͓ͯ͠Γ·͢ɻ ͍ͬ͠ΐʹૉ੖Β͍͠কདྷΛ૑Γɺྺ࢙Λॻ͍͍͖ͯ·͠ΐ͏ʂ ͦΕ͕কདྷΛ΋ͬͱ΋Α͘༧૝͢Δํ๏Ͱ͢ʂ

  23. None
  24.  ʣ*$"441 ʣ*/5&341&&$) ʣ8"41"" ʣ #JH%BUB  ʢʣ*$"441  &64*1$0

     */5&341&&$)   %$"4&  "14*1"   $713  51%1  '-*$.-  -%3$  *$"441  *$3"  *6*  *$%&  *$$7  各分野最⾼峰の会議で認められるAI 基礎研究成果 ͜Ε·Ͱͷ੒Ռ
  25. ⾃由度が⾼い発話のリアルタイム認識で⾃然な会話の 書き起こしを実現! ։ൃதͷٕज़ 4QFFDI CLOVA note

  26. %// Ի੠߹੒ ʙײ৘Λॊೈʹ੍ޚՄೳͳԻ੠߹੒Λ࣮ݱʙ COntrollable, High-quality, And expRessIve TTS 明るさ 暗さ

    ! " # $ % & ' ։ൃதͷٕज़ʢ7PJDFʣ
  27. HyperCLOVA 1750億超のパラメータの⼤規模汎⽤⾔語モデルの開発 ։ൃதͷٕज़ʢ/-1ʣ

  28. 国⽴国会図書館デジタルアーカイブ プロジェクト 247万点2.23億ページ超のデジタル・アーカイブ化 ։ൃதͷٕज़ʢ$7-ʣ

  29. $-07"0$3 Point 1 ੈք࠷ߴਫ४ͷ"*0$3 Point 2 ͋ΒΏΔॻྨ΍ը૾Λૉૣ͘ςΩετԽ Point 3 खॻ͖ͷจࣈ΋ೝࣝՄೳ

    ԣॻ͖΍ॎॻ͖ɺؙ͘࿷ۂͨ͠จࣈͳͲѱ৚݅ԼͰͷಡΈऔΓɺଟݴޠͷ ೝࣝɺઐ໳༻ޠͷೝࣝͳͲͰߴ͍ਫ਼౓ͱධՁɻจॻղੳͱೝࣝʹؔ͢Δࠃ ࡍձٞ *$%"3 ͷ෼໺ʹͯੈք/PΛ֫ಘ͍ͯ͠·͢ɻ ϑΥʔϚοτ͕ܾ·͍ͬͯΔॻྨ͸΋ͪΖΜɺ͋ΒΏΔελΠϧͷॻྨΛ ਖ਼͘͠ςΩετԽ͠·͢ɻ$-07"0$3ʢྖऩॻɾ੥ٻॻɾϨγʔτಛ ԽܕʣͰ͸ɺϑΥʔϚοτͷࣄલొ࿥͕ෆཁɻ खॻ͖จࣈ΍ɺࣼΊʹͳͬͨจࣈ΋ߴਫ਼౓ͷೝূ͕Մೳ
  30. $POGJEFOUJBM -*/&"J$BMM Point 1 ϢʔβʔΛ଴ͨͤͳ͍ར༻ମݧ Point 2 ਓؒຯ͋;ΕΔࣗવͳର࿩ Point 3

    طଘγεςϜ΍-*/&ͱͷ࿈ܞ ࣌ؒ೔ɺडిମ੍Λ༻ҙͰ͖Δ͜ͱ͸΋ͪΖΜɺ൪߸ೖྗͰରԠ ಺༰ΛৼΓ෼͚Δ*73ʢ*OUFSBDUJWF7PJDF3FTQPOTFʣͱ͸ҟͳΓɺॊೈ ʹରԠ͠·͢ɻ ཈༲ͷ͋Δਓؒʹ͍ۙࣗવͳԻ੠ͰɺϢʔβʔʹετϨεΛֻ͚·ͤΜɻ ·ͨɺ"*ʹΑΔԻ੠ೝࣝͷֶशʹΑΓɺԻ੠ೝࣝͱର࿩ͷਫ਼౓͕޲্͠ɺ ରԠ඼࣭͕޲্͠·͢ɻ ͜Ε·ͰՍిडిޙʹߦ͍ͬͯͨΞφϩάͳσʔλ੔උۀ຿΋ɺγες Ϝ࿈ܞʹΑΓܰݮ͠·͢ɻ·ͨɺ-*/&΍4.4ͱ࿈ܞ͢Δ͜ͱͰɺ௨࿩ޙ ʹϢʔβʔʹࣗಈͰϝοηʔδΛૹ৴͢Δ͜ͱ΋ՄೳͰ͢ɻ
  31. -*/&F,:$ Point ߴਫ਼౓ͷΦϯϥΠϯຊਓ֬ೝ -*/& F,:$͸ɺ-*/&͕։ൃͨ͠"*ٕज़Λ૊Έ߹Θͤɺ҆શੑͱརศੑΛ ཱ྆ͨ͠ɺΦϯϥΠϯ্Ͱͷຊਓ֬ೝΛ׬݁͢ΔιϦϡʔγϣϯͰ͢ɻ "1*΍4%,ͳͲ๛෋ͳఏڙํ๏ʹΑΓɺར༻໨తʹ͋ͬͨΧελϚΠζ͕ ՄೳͰ͢ɻखଓ͖ͷ؆ུԽʹΑͬͯɺۀ຿ޮ཰ԽɾϢʔβʔ΁ͷརศੑ ఏڙɺͳΓ͢·͠ʹΑΔෆਖ਼ΞΫηεɾෆਖ਼ར༻ͷ๷ࢭΛ࣮ݱ͠·͢ɻ

  32. ੜ׆΍ϏδωεʹજΉ൥Θ͠͞Λղܾ͠ ͜Ε͔Βͷ͋ͨΓ·͑Λ૑Γग़͢ʂ Ұྲྀʹͩ͜ΘΔΠϯλʔφγϣφϧͳνʔϜ