Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Large and multimodal AI promoted by LINE

Large and multimodal AI promoted by LINE

LINEで推進するラージ&マルチモーダルAI
LINE AI開発室 室長/Computer Vision Labチームマネージャー
井尻善久( Ijiri Yoshihisa)

第4回DeepTechでの登壇資料です
https://sb-deeptech.connpass.com/event/197322/

A3966f193f4bef226a0d3e3c1f728d7f?s=128

LINE Developers
PRO

January 21, 2022
Tweet

More Decks by LINE Developers

Other Decks in Technology

Transcript

  1. -*/&Ͱਪਐ͢Δ ϥʔδˍϚϧνϞʔμϧ"* -*/&"*։ൃࣨ$7- :PTIJIJTB*+*3*

  2. > ઐ໳ɿίϯϐϡʔλϏδϣϯɾϩϘςΟΫε > झຯɿ > 0VUEPPSొࢁɾεΩʔɾୌ८ΓɾࣸਅࡱӨɾόΠΫτϥΠΞϧɾɾɾ > *OEPPSϐΞϊԋ૗ɾྺ࢙ɾᗉ੡ɾίʔώʔᖿઝɾञΛᅂΉ > ೥ΦϜϩϯೖࣾ

    > إͷݕग़ೝࣝͷσδΧϝɾܞଳి࿩ɺ؂ࢹΧϝϥԠ༻ > ෺ମݕग़ɾŤŞƄŸƃũŖŢŔƃɾ0$3ͷ'"޲͚঎඼Խ > ͠ͳ΍͔ͳ੍ޚΛ࣮ݱ͢Δࣗ཯ιϑτϩϘοτݚڀਪਐ > Ϧαʔνϕϯνϟʔ্ཱͪ͛ 0.30/4*/*$9 > ೥-*/&ೖࣾ > $PNQVUFS7JTJPO-BCͷ্ཱͪ͛ɺ"*։ൃࣨͷ૊৫Խ -*/&גࣜձࣾ "*Χϯύχʔ "*։ൃࣨ ࣨ௕ɺ$PNQVUFS7JTJPO-BC Ϛωʔδϟʔ :PTIJIJTB*KJSJ 1I% Twitter:@joyport; Facebook: yijiri
  3. -*/&"*ͷ 3%7JTJPO $POTFSWBUJWF %JTSVQUJWF 5JNF     *OUFSBDUJWFWJSUVBM

    FYQFSJFODF "VUPOPNPVT"* XPSLGMPX %JHJUBM.F .F"7"5"3 %JHJUBM*EFOUJUZ #FUUFS$BSF 5SVTUXPSUIZ"* "*'BJSOFTT &YQMBJOBCMF"* %BSL%BUB 0NOJQPUFOU"* (JHBOUJD-BOHVBHFNPEFM 6OMBCFMFE%BUB %BUB.BSLFUQMBDF (FOFSBUJWF*OUFMMJHFODF /FX&EVDBUJPO %FQFOEBCMF455 1SJWBDZQSFTFSWJOH 4FBN%JTDSJNJOBUPS -*/&ͷ࣋ͭଟ༷ͳ"*ཁૉٕज़Λجʹɺ෼໺ԣஅతͳٕज़Λ஫ྗٕज़ͱͯ͠શମײΛ࣋ͬͯݚڀ։ൃ͍ͯ͠·͢
  4. None
  5. "*Χϯύχʔ͕ఏڙ͍ͯ͠ΔαʔϏε

  6. $POGJEFOUJBM -*/&"J$BMM Point 1 ϢʔβʔΛ଴ͨͤͳ͍ར༻ମݧ Point 2 ਓؒຯ͋;ΕΔࣗવͳର࿩ Point 3

    طଘγεςϜ΍-*/&ͱͷ࿈ܞ ࣌ؒ೔ɺडిମ੍Λ༻ҙͰ͖Δ͜ͱ͸΋ͪΖΜɺ൪߸ೖྗͰରԠ ಺༰ΛৼΓ෼͚Δ*73ʢ*OUFSBDUJWF7PJDF3FTQPOTFʣͱ͸ҟͳΓɺॊೈ ʹରԠ͠·͢ɻ ཈༲ͷ͋Δਓؒʹ͍ۙࣗવͳԻ੠ͰɺϢʔβʔʹετϨεΛֻ͚·ͤΜɻ ·ͨɺ"*ʹΑΔԻ੠ೝࣝͷֶशʹΑΓɺԻ੠ೝࣝͱର࿩ͷਫ਼౓͕޲্͠ɺ ରԠ඼࣭͕޲্͠·͢ɻ ͜Ε·ͰՍిडిޙʹߦ͍ͬͯͨΞφϩάͳσʔλ੔උۀ຿΋ɺγες Ϝ࿈ܞʹΑΓܰݮ͠·͢ɻ·ͨɺ-*/&΍4.4ͱ࿈ܞ͢Δ͜ͱͰɺ௨࿩ޙ ʹϢʔβʔʹࣗಈͰϝοηʔδΛૹ৴͢Δ͜ͱ΋ՄೳͰ͢ɻ
  7. -*/&F,:$ Point ߴਫ਼౓ͷΦϯϥΠϯຊਓ֬ೝ -*/& F,:$͸ɺ-*/&͕։ൃͨ͠"*ٕज़Λ૊Έ߹Θͤɺ҆શੑͱརศੑΛ ཱ྆ͨ͠ɺΦϯϥΠϯ্Ͱͷຊਓ֬ೝΛ׬݁͢ΔιϦϡʔγϣϯͰ͢ɻ "1*΍4%,ͳͲ๛෋ͳఏڙํ๏ʹΑΓɺར༻໨తʹ͋ͬͨΧελϚΠζ͕ ՄೳͰ͢ɻखଓ͖ͷ؆ུԽʹΑͬͯɺۀ຿ޮ཰ԽɾϢʔβʔ΁ͷརศੑ ఏڙɺͳΓ͢·͠ʹΑΔෆਖ਼ΞΫηεɾෆਖ਼ར༻ͷ๷ࢭΛ࣮ݱ͠·͢ɻ

  8. $-07"0$3 Point 1 ੈք࠷ߴਫ४ͷ"*0$3 Point 2 ͋ΒΏΔॻྨ΍ը૾Λૉૣ͘ςΩετԽ Point 3 खॻ͖ͷจࣈ΋ೝࣝՄೳ

    ԣॻ͖΍ॎॻ͖ɺؙ͘࿷ۂͨ͠จࣈͳͲѱ৚݅ԼͰͷಡΈऔΓɺଟݴޠͷ ೝࣝɺઐ໳༻ޠͷೝࣝͳͲͰߴ͍ਫ਼౓ͱධՁɻจॻղੳͱೝࣝʹؔ͢Δࠃ ࡍձٞ *$%"3 ͷ෼໺ʹͯੈք/PΛ֫ಘ͍ͯ͠·͢ɻ ϑΥʔϚοτ͕ܾ·͍ͬͯΔॻྨ͸΋ͪΖΜɺ͋ΒΏΔελΠϧͷॻྨΛ ਖ਼͘͠ςΩετԽ͠·͢ɻ$-07"0$3ʢྖऩॻɾ੥ٻॻɾϨγʔτಛ ԽܕʣͰ͸ɺϑΥʔϚοτͷࣄલొ࿥͕ෆཁɻ खॻ͖จࣈ΍ɺࣼΊʹͳͬͨจࣈ΋ߴਫ਼౓ͷೝূ͕Մೳ
  9. -*/&$-07"ʮ1SPEVDUʯ $-07"$IBUCPU -*/&͔ΜͨΜϔϧϓ΍$-07"Ͱഓͬͨ ࣗવݴޠٕज़Λɺ'"2΍઀٬༻#PUʹ ల։Ͱ͖ΔαʔϏε LINE CLOVA Chatbot $-07"0$3 ࠃࡍձٞͰੈք࠷ߴਫ४ͱೝΊΒΕͨ

    OCRٕज़Λਃࠐॻ΍ྖऩॻͳͲͷಡΈऔΓɺ ࣗಈೖྗʹ׆༻Ͱ͖ΔαʔϏε LINE CLOVA OCR $-07"4QFFDI $-07"ͷԻ੠ೝٕࣝज़Λ׆༻͠ɺ ి࿩΍ಈըϝσΟΞͷԻ੠ॻ͖ى͜͠ɺ ి࿩ԠରͷࣗಈԽαʔϏεͳͲΛఏڙ LINE CLOVA Speech $-07"7PJDF $-07"ͷԻ੠߹੒ٕज़Λ׆༻͠ɺ اۀϒϥϯυ΍༻్ʹ͋ͬͨԻ੠ϞσϧΛ࡞੒ ͢ΔαʔϏεΛఏڙ༧ఆ LINE CLOVA Voice $-07"5FYU"OBMZUJDT ςΩετղੳɺײ৘෼ੳٕज़ɻ Ի੠ೝࣝͰىͨ͜͠ςΩετ͔Βͷݕࡧ΍ ײ৘෼ੳͳͲʹ׆༻ɻ LINE CLOVA Text Analytics $-07"7JTJPO ෺ମೝࣝɺը૾ೝٕࣝज़ɻ LINEγϣοϐϯάͷʮSHOPPING LENSʯͰ׆༻ɻ LINE CLOVA Vision $-07"'BDF ߴਫ਼౓ͷإೝٕࣝज़ɻ eKYCʢΦϯϥΠϯຊਓ֬ೝʣ ΍إೝূʹΑΔड෇ͳͲʹ׆༻ɻ LINE CLOVA Face 4BB4ఏڙ 4BB4ఏڙ -*/&ͷ࣋ͭଟ༷ͳ"*ཁૉٕज़Λجʹ෯޿͍##޲͚ϓϩμΫτΛల։͍ͯ͠·͢ʢҰ෦4BB4ͱͯ͠ఏڙʣ
  10. HyperCLOVA 1750億超のパラメータの⼤規模汎⽤⾔語モデルの開発 ։ൃதͷٕज़ʢ/-1ʣ

  11. 国⽴国会図書館デジタルアーカイブ プロジェクト 247万点2.23億ページ超のデジタル・アーカイブ化 ։ൃதͷٕज़ʢ$7-ʣ

  12. ⾃由度が⾼い発話のリアルタイム認識で⾃然な会話の 書き起こしを実現! ։ൃதͷٕज़ 4QFFDI CLOVA note

  13. %// Ի੠߹੒ ʙײ৘Λॊೈʹ੍ޚՄೳͳԻ੠߹੒Λ࣮ݱʙ COntrollable, High-quality, And expRessIve TTS 明るさ 暗さ

    ! " # $ % & ' ։ൃதͷٕज़ʢ7PJDFʣ
  14. -*/&"*։ൃͷಛ௃ 14 Large-scale Hyper-scale Multi-modal International LINE ✕ NAVER twin

    turbo
  15. "*Χϯύχʔ͕ఏڙ͍ͯ͠ΔαʔϏε Speech NLP Voice NLP CV NLP CV

  16. -*/&"*։ൃͷಛ௃ 16 Large-scale Hyper-scale Multi-modal International LINE ✕ NAVER twin

    turbo
  17. )ZQFSTDBMFNPEFM web Know- ledge base Purchase record Purchase record Trans-

    action record Speech docs Ad banner Sticker Search QA Shopping experience chatbot Conv. w/ stickers SCM Dialogue OCR Ad optimize … … Search model QA model Recom. Model Dialogue Model Demand Pred. model Speech Recog. model OCR model Effect Pred. model Sticker Recom. model … Inclusive multi-modal data Search QA … OCR Ad optimize … One big model Overlast, Tung, +
  18. େن໛Ϟσϧʹ͓͚Δ։ൃڝ૪ 開発機関 アルゴリズム パラメータ数 ⾔語 OpenAI GPT-2(Radford+, 2019) 1.5B English

    GPT-3 (Brown+, 2020) 175B English Google BERT (Devlin+, 2018) 0.34B English (many JP versions available) T5 (Raffel+, 2019; Xue+, 2020) 11B English SwitchTransformer (Fedus+, 2021) 1571B 101 languages Microsoft MT-NLG(2021) 530B English LINE HyperCLOVA (Kim+, 2021) 39B Japanese NAVER HyperCLOVA (Kim+, 2021) 82B Korean Overlast, Tung, +
  19. -*/&-BSHFTDBMF+1NPEFM Overlast, Tung, +

  20. 8IBU$IBOHFT$BO-BSHFTDBMF-BOHVBHF.PEFMT#SJOH *OUFOTJWF4UVEZPO)ZQFS$-07" <,JN &./-1> Megatron-LM (Shoeybi+, 2019) * Apache license

    2.0 Overlast, Tung, +
  21. େن໛ݴޠϞσϧͷԠ༻ (あいまい)検索 要約 質問回答 ⽂書分類 感情分析 翻訳 ⽂法チェック 対話⽣成 Overlast,

    Tung, +
  22. େن໛ݴޠϞσϧͷ՝୊ r ৽ͨͳλεΫ΍υϝΠϯ΁ͷదԠ ैདྷֶशϞσϧΛλεΫυϝΠϯಛԽͷֶशΛͤͯ͞ੑೳΛ֬อ Answer 推論 学習 データ タスク/ドメイン 特化データ

    Query Fine tuning ドメイン適応 タスク/ドメイン 特化モデル 学習 学習済み モデル Overlast, Tung, +
  23. ϓϩϯϓςΟϯά r ৽͍͠υϝΠϯదԠͷύϥμΠϜ ࠓޙυϝΠϯಛԽΛग़དྷΔݶΓͳ্ͨ͘͠ͰɺλεΫʹ͍ͭͯ͸ϓϩ ϯϓτͰࢦࣔ͢Δ͜ͱͰ࠶ֶशͳ͠ʹ໨తλεΫͷਪ࿦Λ࣮ࢪ ैདྷֶशϞσϧΛλεΫυϝΠϯಛԽͷֶशΛͤͯ͞ੑೳΛ֬อ Answer 推論 学習 データ

    タスク/ドメイン 特化データ Query Fine tuning ドメイン適応 タスク/ドメイン 特化モデル 学習 学習済み モデル Answer ドメインを選ばない ⼤規模学習データ Prompt with query 推論 ⼤規模学習 ⼤規模汎⽤ 学習済みモデル Overlast, Tung, +
  24. ϓϩϯϓςΟϯάͷ6* 解説から俳句を⽣成します。 IN: 蛙が古い池に⾶び込んだ時の⾳の様⼦を詠んだ句です。蛙が池に⾶び込む⾳を表現した単純な句 ではありますが、周囲の静寂や寂れた古池の様⼦、蛙が池に⾶び込む⽣の躍動のような情景がまざ まざと伝わってくる、趣のある句となっています。この句の季語は『蛙』で、これは春を表現して いる季語です。 OUT: 古池や蛙⾶こむ⽔のおと IN:

    ⼭形県にある⽴⽯寺(りっしゃくじ)でセミが鳴いている様⼦を詠まれた句です。この句は明確 な句訳はわかっていないので、少しミステリアスで詠み解くことにロマンがある俳句です。「閑 さ」と「蝉の声」という⼀⾒⽭盾する表現の意図が特に考えさせられますね。 OUT: 閑さや岩にしみ⼊蝉の声 IN: 8⽉末の暑い⽇の午後の会議にとても壮⼤なシステム開発の話をしようとしている様⼦を詠まれ た句です。単純な句ではありますが、サラリーマンなエンジニアが様々な懸念がある中で、それで もこの技術を形にすることで⼈⼯知能技術の未来を開きたいという希望をこめた気持ちを表現して いる。 OUT: Overlast, Tung, +
  25. ϓϩϯϓςΟϯάͷ6* 解説から俳句を⽣成します。 IN: 蛙が古い池に⾶び込んだ時の⾳の様⼦を詠んだ句です。蛙が池に⾶び込む⾳を表現した単純な句 ではありますが、周囲の静寂や寂れた古池の様⼦、蛙が池に⾶び込む⽣の躍動のような情景がまざ まざと伝わってくる、趣のある句となっています。この句の季語は『蛙』で、これは春を表現して いる季語です。 OUT: 古池や蛙⾶こむ⽔のおと IN:

    ⼭形県にある⽴⽯寺(りっしゃくじ)でセミが鳴いている様⼦を詠まれた句です。この句は明確 な句訳はわかっていないので、少しミステリアスで詠み解くことにロマンがある俳句です。「閑 さ」と「蝉の声」という⼀⾒⽭盾する表現の意図が特に考えさせられますね。 OUT: 閑さや岩にしみ⼊蝉の声 IN: 8⽉末の暑い⽇の午後の会議にとても壮⼤なシステム開発の話をしようとしている様⼦を詠まれ た句です。単純な句ではありますが、サラリーマンなエンジニアが様々な懸念がある中で、それで もこの技術を形にすることで⼈⼯知能技術の未来を開きたいという希望をこめた気持ちを表現して いる。 OUT: ⼋⽉の熱い砂の中へ⼿を⼊れる Overlast, Tung, +
  26. ϓϩϯϓςΟϯάͷ6* 解説から俳句を⽣成します。 IN: 蛙が古い池に⾶び込んだ時の⾳の様⼦を詠んだ句です。蛙が池に⾶び込む⾳を表現した単純な句 ではありますが、周囲の静寂や寂れた古池の様⼦、蛙が池に⾶び込む⽣の躍動のような情景がまざ まざと伝わってくる、趣のある句となっています。この句の季語は『蛙』で、これは春を表現して いる季語です。 OUT: 古池や蛙⾶こむ⽔のおと IN:

    ⼭形県にある⽴⽯寺(りっしゃくじ)でセミが鳴いている様⼦を詠まれた句です。この句は明確 な句訳はわかっていないので、少しミステリアスで詠み解くことにロマンがある俳句です。「閑 さ」と「蝉の声」という⼀⾒⽭盾する表現の意図が特に考えさせられますね。 OUT: 閑さや岩にしみ⼊蝉の声 IN: 8⽉末の暑い⽇の午後の会議にとても壮⼤なシステム開発の話をしようとしている様⼦を詠まれ た句です。単純な句ではありますが、サラリーマンなエンジニアが様々な懸念がある中で、それで もこの技術を形にすることで⼈⼯知能技術の未来を開きたいという希望をこめた気持ちを表現して いる。 OUT:⼣焼やプロジェクト炎上せり Overlast, Tung, +
  27. ϓϩϯϓςΟϯάʹΑΔ঎඼આ໌จͷੜ੒ Overlast, Tung, +

  28. ୈ̐ճ ର࿩γεςϜ ϥΠϒίϯϖςΟγϣϯ • ਓ޻஌ೳֶձ ݴޠɾԻ੠ཧղͱର࿩ॲཧݚڀձ 4*(4-6%ୈճର࿩γεςϜγϯϙδ΢Ϝ ର࿩γεςϜϥΠϒίϯϖςΟγϣϯ̐ • ʮϖϧιφҰ

    ੑͷ ྀͱ஌ࣝϕʔεΛ౷߹ͨ͠ )ZQFS$-07" Λ༻͍ͨ ର࿩γεςϜʯ ࢁ࡚ ࡔా ઒ຊ খྛ άΤϯ ্ଜ தொ ཥ ࠤ౻ https://dialog-system-live-competition.github.io/dslc4/ Overlast, Yamazaki, +
  29. ͲͷΑ͏ͳΞϧΰϦζϜʁ ੜ੒Τϯδϯͷपғʹෳ਺ϓϩϯϓτͱϑΟϧλϞδϡʔϧΛ഑ஔ͠ɺ ๬·͘͠ͳ͍Ԡ౴Λݕ஌ͨ͠৔߹ʹ͸ɺ֎ʹग़͢લʹ࠶ੜੑ͢Δʮ͜ͱ͹ΛબͿʯΤϯδϯ Overlast, Yamazaki, +

  30. େن໛ݴޠϞσϧͰԿ͕Մೳͱͳ͔ͬͨʁ͋Δ͍͸ͳΓͦ͏͔ʁ ⼗分に広い ドメインをサポート ⼈のようなスムーズな ⾔語⽣成 多様なタスクを 1/few-shotで実現

  31. ͜Ε͔Βͷେن໛ݴޠϞσϧ 情報の信憑性 倫理観の実装 偏⾒の排除 ⼀貫性 パーソナリティの付与 曖昧さの調整 概念の広がりの調整 ⻑い⽂脈の理解 指⽰語・関連性の理解

    多⾔語対応 ・・・
  32. -*/&"*։ൃͷಛ௃ 32 Hyper-scale Multi-modal International LINE ✕ NAVER twin turbo

  33. .VMUJNPEBM"* $7ɺ/-1ɺ7PJDF4QFFDIͳͲɺ-*/&ͷ"*ࢿ࢈Λ༥߹ͤͨ͞ΠϊϕʔγϣϯΛ࣮ݱ $79 $7✕ ˓˓ٕज़ .JYFE-*/&"*.J-"* .VMUJNPEBMJOQVUPVUQVU

  34. ϚϧνϞʔμϧͳ-*/&"* 34 ࣗવݴޠॲཧ ೖྗ Ի੠ σδλϧ ςΩετ ը૾ಈը 3(#%5 ݴޠ

    ςΩετ ը૾ ਤද Ի੠ೝࣝ $713 ॲཧ ੜ੒ Ի੠߹੒ $( ςΩετ ग़ྗ 5F9ͳͲ ϚϧνϝσΟΞೖྗʹରԠ͢ΔϚϧνϞʔμϧॲཧ"*ٕज़
  35. -*/&$7-ͷ஫ྗٕज़  $79ٕज़ 35 ࣗવݴޠॲཧ ೖྗ Ի੠ σδλϧ ςΩετ ը૾ಈը

    3(#%5 ݴޠ ςΩετ ը૾ ਤද Ի੠ೝࣝ $713 ॲཧ ੜ੒ Ի੠߹੒ $( ςΩετ ग़ྗ 5F9ͳͲ ϚϧνϝσΟΞೖྗʹରԠ͢ΔϚϧνϞʔμϧॲཧ"*ٕज़ $7Y˓˓ٕज़͕ॏཁʹʂ ʢ$7Λத৺ͱͯ͠Έͨͱ͖ͷϚϧνϞʔμϧ"*ٕज़ͷҙຯͰԬຊࢯ͕$79ٕज़ͱ໋໊ʣ
  36. Semantic Information S-Overtime 50% (count) 1 (unit price) 20,000 (price)

    20,000 PBI 1,818 Subtotal 18,181 Total 20,000 Cash 100,000 Change 80,000 Tax Included 10% Image จࣈೝࣝ͸ղܾ͞Εͨ໰୊ʁ/Pʂ %9ਪਐͷதͰ༷ʑͳாථυΩϡϝϯτͷσδλϧԽ͕ॏཁ͕ͩɺ7-ͷྑ໰ͷๅݿʂ %PDVNFOU6OEFSTUBOEJOH 0$3 Ћ Okamoto, +
  37. $3"'5<#BFL $713> จࣈྖҬͱจࣈؒͷؔ܎Λద੾ʹ༧ଌͰ͖ΔωοτϫʔΫΛֶश ੜ੒ը૾ͱ࣮ը૾ͷ྆ํΛ༻ֶ͍ͯश Character Region Awareness for Text Detection

    [Baek+, CVPR2019]
  38. 41"%&TUSVDUVSFEEPDVNFOU,*&<)XBOH "$-> From Spatial Dependency Parsing for Semi-Structured Document Information

    Extraction [Hwang+, ACL2021] ,FZ 7BMVFͷؔ܎Λֶशͤ͞Δߏจղੳث QBSTFS Λ%USBOTGPSNFSͰֶश ͜ΕʹΑΓߴਫ਼౓ͷදநग़Λ࣮ݱ
  39. #304#FSU3FMZJOH0O4QBUJBMJUZ<)POH UPBQQFBS """*> ۭؒతͳ഑ஔ৘ใΛڭࢣͳֶ͠श͢Δ͜ͱͰߴਫ਼౓ԽগαϯϓϧԽɺ5SBOTGPSNFSͷయܕత ͳֶशํࣜͰ͋Δ݀ຒΊ໰୊ .-. Ͱ࣍ͷจࣈ͓ΑͼͦͷҐஔΛ༧ଌ͢ΔϞσϧΛֶश

  40. -BZPVUSFDPHOJUJPO<UPBQQFBS TPNFXIFSF TPNFEBZ> ݴޠϞσϧͱ0$3Λ׆༻ͯ͠ςΩετͷϨΠΞ΢τΛೝࣝ͢Δ ˠ ϑΟʔϧυݕࡧΛ࣮ݱ Okamoto, +

  41. ը૾ͱΩϟϓγϣϯͰɺϏοάϞσϧʁ ˠ ೝࣝ΍ੜ੒ʹ ⼩学館⿂介の図鑑より ⼩学館⿂介の図鑑より 学研動物の図鑑より #JHWJTJPOMBOHVBHFNPEFM<UPBQQFBS TPNFXIFSF TPNFEBZ> Okamoto,

    +
  42. $IBSBDUFSUZQF 5FSNJOPMPHZ (SBNNBS 'PSNMBZPVU 5PQJDTTUZMF %PDVNFOUUZQF %PNBJO LOPXMFEHF 1VSQPTF UBTL

    $VTUPNFS TQFDJGJD LOPXMFEHF $PNNPO LOPXMFEHF 7JTVBMQBUUFSOT $POUFYU 510 MFWFMPGGPOMZXJUI WJTVBMQBUUFSOT $PNCJOBUJPOXJUI/-1 CFDPNFTDSVDJBM $IBSBDUFS -BOHVBHF 8PSE ݴޠϞσϧΛ׆༻ͯ͠ɺͲΜͲΜਫ਼౓Λ্͛Δ #FZPOEDVSSFOU"*0$3$79EPDVNFOUJOUFMMJHFODF
  43. -*/&$7-ͷ஫ྗٕज़  $79ٕज़ 43 ࣗવݴޠॲཧ ೖྗ Ի੠ σδλϧ ςΩετ ը૾ಈը

    3(#%5 ݴޠ ςΩετ ը૾ ਤද Ի੠ೝࣝ $713 ॲཧ ੜ੒ Ի੠߹੒ $( ςΩετ ग़ྗ 5F9ͳͲ ϚϧνϝσΟΞೖྗʹରԠ͢ΔϚϧνϞʔμϧॲཧ"*ٕज़ $7Y˓˓ٕज़͕ॏཁʹʂ ʢ$7Λத৺ͱͯ͠Έͨͱ͖ͷϚϧνϞʔμϧ"*ٕज़ͷҙຯͰԬຊࢯ͕$79ٕज़ͱ໋໊ʣ
  44. ఺܈ͷߴ଎Ͱߴਫ਼౓ͳর߹ɺίϯςϯπͷੜ੒ɾ୳ࡧͷͨΊʹ·͢·͢ॏཁʹʂ %఺܈ղੳ Fujiwara, +

  45. Source Target GSLR (ours) Feature matching w/ RANSAC SLR Generalized

    Shuffled Linear Regression [Li+, ICCV2021] ఺܈ʹܽଛ΍Ξ΢τϥΠΞ͕ଘࡏͯ͠΋ߴ଎ʹর߹ (4-3'BTUQPJOUDMPVELFZQPJOU NBUDIJOH<-J *$$7> !"" !"# ⋯ !"% !#" !## ⋯ !#% ⋮ !'" ⋮ !'# ⋱ ⋮ ⋯ !'% ) = + ," ,# ⋮ ,' +-. ∈ {0, 1} 5 - +-. ≤ 1 5 . +-. ≤ 1 5 -,. +-. = 7 ରԠ఺ͷೖΕସΘΓ΍Ξ΢τϥΠ ΞɾܽଛશͯʹରԠՄೳ min ), + ;) − += # # ͜ΕΛઢܗׂ౰໰୊Λ༻͍ ܁Γฦ͠ղ๏Ͱղ͘ Fujiwara, +
  46. %ϞσϧΛݴޠࢦࣔͰಈ͔͢ʁ %Ϟσϧʹ࿩Λͤͨ͞Γɺࣗવͳಈ͖Λͤͨ͞Γ͢Δ ͜Ε͔Βɾɾɾ Fujiwara, +

  47. -*/&$7-ͷ஫ྗٕज़  $79ٕज़ 47 ࣗવݴޠॲཧ ೖྗ Ի੠ σδλϧ ςΩετ ը૾ಈը

    3(#%5 ݴޠ ςΩετ ը૾ ਤද Ի੠ೝࣝ $713 ॲཧ ੜ੒ Ի੠߹੒ $( ςΩετ ग़ྗ 5F9ͳͲ ͜ͷ෦෼͸ޤ͏͝ظ଴ʂ
  48.  ʣ*$"441 ʣ*/5&341&&$) ʣ8"41"" ʣ #JH%BUB  ʢʣ*$"441  &64*1$0

     */5&341&&$)   %$"4&  "14*1"   $713  51%1  '-*$.-  -%3$  *$"441  *$3"  *6*  *$%&  *$$7  各分野最⾼峰の会議で認められるAI 基礎研究成果 ͜Ε·Ͱͷ੒Ռ
  49. $79ٕज़Ͱࠓ·Ͱʹͳ͍ιϦϡʔγϣϯΛੜΈग़͠·͢ʂ $7ͱɺ/-1ɺ7PJDF4QFFDIͳͲɺ-*/&ͷ"*ࢿ࢈Λ༥߹ͤͨ͞ΠϊϕʔγϣϯΛ࣮ݱ $79 $7✕ ˓˓ٕज़ .JYFE-*/&"*.J-"* .VMUJNPEBMJOQVUPVUQVU

  50. "*3 International team for R&D 50 JP CLOVA Engine Teams

    Leaders, Engineers, Interns JP AIR, Researcher, Interns AI Lab Researcher Aff. Researcher… CLOVA Engine Teams Leaders Engineers/Researchers KR Project TF Leader (PM), Tech Lead Researchers, Engineers JP Project TF Leader (PM), Tech Lead Researchers, Engineers Product Research
  51. STRICTLY CONFIDENTIAL -*/&"*$PNQBOZͷ໨ࢦ͢ੈք ʮͻͱʹ΍͍͞͠"*ʯ͕ɺ ੜ׆΍ϏδωεʹજΉ൥Θ͠͞Λղফ͠ɺ ʮ͜Ε͔Βͷ͋ͨΓ·͑ʯΛ૑Γ·͢ɻ ΠϯλʔϯੜɾϦαʔνϟΤϯδχΞืू͓ͯ͠Γ·͢ɻ ͍ͬ͠ΐʹૉ੖Β͍͠কདྷΛ૑Γɺྺ࢙Λॻ͍͍͖ͯ·͠ΐ͏ʂ ͦΕ͕কདྷΛ΋ͬͱ΋Α͘༧૝͢Δํ๏Ͱ͢ʂ

  52. None
  53. NLPの技術トレンドの変遷 Seq2Seq(2014) • RNN, LSTM based Transformer(2017) GPT-1(2018) BERT(2018) GPT-2

    (2019) GPT-3 (2020) BERT発展型(2019) • RoBERTa(2019) • AlBERT(2019) • DistilBERT(2019) MT-NLG (2021)