Large and multimodal AI promoted by LINE

LINEで推進するラージ＆マルチモーダルAI
LINE AI開発室 室長/Computer Vision Labチームマネージャー
井尻善久（ Ijiri Yoshihisa）

第4回DeepTechでの登壇資料です
https://sb-deeptech.connpass.com/event/197322/

Transcript

1. -*/&Ͱਪਐ͢Δ ϥʔδˍϚϧνϞʔμϧ"* -*/&
   "*։ൃࣨ$7- :PTIJIJTB
   *+*3*
2. > ઐ໳ɿίϯϐϡʔλϏδϣϯɾϩϘςΟΫε > झຯɿ > 0VUEPPS
   ొࢁɾεΩʔɾୌ८ΓɾࣸਅࡱӨɾόΠΫτϥΠΞϧɾɾɾ > *OEPPS
   ϐΞϊԋ૗ɾྺ࢙ɾᗉ੡ɾίʔώʔᖿઝɾञΛᅂΉ > ೥ΦϜϩϯೖࣾ > 
   إͷݕग़ೝࣝͷσδΧϝɾܞଳి࿩ɺ؂ࢹΧϝϥԠ༻ > 
   ෺ମݕग़ɾŤŞƄŸƃũŖŢŔƃɾ0$3ͷ'"޲͚঎඼Խ > 
   ͠ͳ΍͔ͳ੍ޚΛ࣮ݱ͢Δࣗ཯ιϑτϩϘοτݚڀਪਐ > 
   Ϧαʔνϕϯνϟʔ্ཱͪ͛ 0.30/
   4*/*$
   9 > ೥-*/&ೖࣾ > $PNQVUFS
   7JTJPO
   -BCͷ্ཱͪ͛ɺ"*։ൃࣨͷ૊৫Խ -*/&גࣜձࣾ "*Χϯύχʔ "*։ൃࣨ ࣨ௕ɺ$PNQVUFS
   7JTJPO
   -BC Ϛωʔδϟʔ :PTIJIJTB
   *KJSJ
   1I% Twitter:@joyport; Facebook: yijiri
3. -*/&
   "*
   ͷ 3%
   7JTJPO $POTFSWBUJWF %JTSVQUJWF 5JNF     *OUFSBDUJWF
   WJSUVBM
   FYQFSJFODF "VUPOPNPVT
   "*
   XPSLGMPX %JHJUBM
   .F .F
   "7"5"3 %JHJUBM
   *EFOUJUZ #FUUFS
   $BSF 5SVTUXPSUIZ
   "* "*
   'BJSOFTT &YQMBJOBCMF
   "* %BSL
   %BUB 0NOJQPUFOU
   "* (JHBOUJD
   -BOHVBHF
   NPEFM 6OMBCFMFE
   %BUB %BUB
   .BSLFUQMBDF (FOFSBUJWF
   *OUFMMJHFODF /FX
   &EVDBUJPO %FQFOEBCMF
   455 1SJWBDZ
   QSFTFSWJOH 4FBN
   %JTDSJNJOBUPS -*/&ͷ࣋ͭଟ༷ͳ"*ཁૉٕज़Λجʹɺ෼໺ԣஅతͳٕज़Λ஫ྗٕज़ͱͯ͠શମײΛ࣋ͬͯݚڀ։ൃ͍ͯ͠·͢
5. "*Χϯύχʔ͕ఏڙ͍ͯ͠ΔαʔϏε
6. $POGJEFOUJBM -*/&
   "J$BMM Point 1 ϢʔβʔΛ଴ͨͤͳ͍ར༻ମݧ Point 2 ਓؒຯ͋;ΕΔࣗવͳର࿩ Point 3 طଘγεςϜ΍-*/&ͱͷ࿈ܞ ࣌ؒ೔ɺडిମ੍Λ༻ҙͰ͖Δ͜ͱ͸΋ͪΖΜɺ൪߸ೖྗͰରԠ ಺༰ΛৼΓ෼͚Δ*73ʢ*OUFSBDUJWF
   7PJDF
   3FTQPOTFʣͱ͸ҟͳΓɺॊೈ ʹରԠ͠·͢ɻ ཈༲ͷ͋Δਓؒʹ͍ۙࣗવͳԻ੠ͰɺϢʔβʔʹετϨεΛֻ͚·ͤΜɻ ·ͨɺ"*ʹΑΔԻ੠ೝࣝͷֶशʹΑΓɺԻ੠ೝࣝͱର࿩ͷਫ਼౓͕޲্͠ɺ ରԠ඼࣭͕޲্͠·͢ɻ ͜Ε·ͰՍిडిޙʹߦ͍ͬͯͨΞφϩάͳσʔλ੔උۀ຿΋ɺγες Ϝ࿈ܞʹΑΓܰݮ͠·͢ɻ·ͨɺ-*/&΍4.4ͱ࿈ܞ͢Δ͜ͱͰɺ௨࿩ޙ ʹϢʔβʔʹࣗಈͰϝοηʔδΛૹ৴͢Δ͜ͱ΋ՄೳͰ͢ɻ
7. -*/&
   F,:$ Point ߴਫ਼౓ͷΦϯϥΠϯຊਓ֬ೝ -*/& F,:$͸ɺ-*/&͕։ൃͨ͠"*ٕज़Λ૊Έ߹Θͤɺ҆શੑͱརศੑΛ ཱ྆ͨ͠ɺΦϯϥΠϯ্Ͱͷຊਓ֬ೝΛ׬݁͢ΔιϦϡʔγϣϯͰ͢ɻ "1*΍4%,ͳͲ๛෋ͳఏڙํ๏ʹΑΓɺར༻໨తʹ͋ͬͨΧελϚΠζ͕ ՄೳͰ͢ɻखଓ͖ͷ؆ུԽʹΑͬͯɺۀ຿ޮ཰ԽɾϢʔβʔ΁ͷརศੑ ఏڙɺͳΓ͢·͠ʹΑΔෆਖ਼ΞΫηεɾෆਖ਼ར༻ͷ๷ࢭΛ࣮ݱ͠·͢ɻ
8. $-07"
   0$3 Point 1 ੈք࠷ߴਫ४ͷ"*0$3 Point 2 ͋ΒΏΔॻྨ΍ը૾Λૉૣ͘ςΩετԽ Point 3 खॻ͖ͷจࣈ΋ೝࣝՄೳ ԣॻ͖΍ॎॻ͖ɺؙ͘࿷ۂͨ͠จࣈͳͲѱ৚݅ԼͰͷಡΈऔΓɺଟݴޠͷ ೝࣝɺઐ໳༻ޠͷೝࣝͳͲͰߴ͍ਫ਼౓ͱධՁɻจॻղੳͱೝࣝʹؔ͢Δࠃ ࡍձٞ *$%"3
    ͷ෼໺ʹͯੈք/PΛ֫ಘ͍ͯ͠·͢ɻ ϑΥʔϚοτ͕ܾ·͍ͬͯΔॻྨ͸΋ͪΖΜɺ͋ΒΏΔελΠϧͷॻྨΛ ਖ਼͘͠ςΩετԽ͠·͢ɻ$-07"
   0$3ʢྖऩॻɾ੥ٻॻɾϨγʔτಛ ԽܕʣͰ͸ɺϑΥʔϚοτͷࣄલొ࿥͕ෆཁɻ खॻ͖จࣈ΍ɺࣼΊʹͳͬͨจࣈ΋ߴਫ਼౓ͷೝূ͕Մೳ
9. -*/&
   $-07"ʮ1SPEVDUʯ $-07"
   $IBUCPU -*/&͔ΜͨΜϔϧϓ΍$-07"Ͱഓͬͨ ࣗવݴޠٕज़Λɺ'"2΍઀٬༻#PUʹ ల։Ͱ͖ΔαʔϏε LINE CLOVA Chatbot $-07"
   0$3 ࠃࡍձٞͰੈք࠷ߴਫ४ͱೝΊΒΕͨ OCRٕज़Λਃࠐॻ΍ྖऩॻͳͲͷಡΈऔΓɺ ࣗಈೖྗʹ׆༻Ͱ͖ΔαʔϏε LINE CLOVA OCR $-07"
   4QFFDI $-07"ͷԻ੠ೝٕࣝज़Λ׆༻͠ɺ ి࿩΍ಈըϝσΟΞͷԻ੠ॻ͖ى͜͠ɺ ి࿩ԠରͷࣗಈԽαʔϏεͳͲΛఏڙ LINE CLOVA Speech $-07"
   7PJDF $-07"ͷԻ੠߹੒ٕज़Λ׆༻͠ɺ اۀϒϥϯυ΍༻్ʹ͋ͬͨԻ੠ϞσϧΛ࡞੒ ͢ΔαʔϏεΛఏڙ༧ఆ LINE CLOVA Voice $-07"
   5FYU
   "OBMZUJDT ςΩετղੳɺײ৘෼ੳٕज़ɻ Ի੠ೝࣝͰىͨ͜͠ςΩετ͔Βͷݕࡧ΍ ײ৘෼ੳͳͲʹ׆༻ɻ LINE CLOVA Text Analytics $-07"
   7JTJPO ෺ମೝࣝɺը૾ೝٕࣝज़ɻ LINEγϣοϐϯάͷʮSHOPPING LENSʯͰ׆༻ɻ LINE CLOVA Vision $-07"
   'BDF ߴਫ਼౓ͷإೝٕࣝज़ɻ eKYCʢΦϯϥΠϯຊਓ֬ೝʣ ΍إೝূʹΑΔड෇ͳͲʹ׆༻ɻ LINE CLOVA Face 4BB4ఏڙ 4BB4ఏڙ -*/&ͷ࣋ͭଟ༷ͳ"*ཁૉٕज़Λجʹ෯޿͍##޲͚ϓϩμΫτΛల։͍ͯ͠·͢ʢҰ෦4BB4ͱͯ͠ఏڙʣ
10. HyperCLOVA 1750億超のパラメータの⼤規模汎⽤⾔語モデルの開発 ։ൃதͷٕज़ʢ/-1ʣ
11. 国⽴国会図書館デジタルアーカイブ プロジェクト 247万点2.23億ページ超のデジタル・アーカイブ化 ։ൃதͷٕज़ʢ$7-ʣ
12. ⾃由度が⾼い発話のリアルタイム認識で⾃然な会話の 書き起こしを実現！ ։ൃதͷٕज़ 4QFFDI CLOVA note
13. %// Ի੠߹੒ ʙײ৘Λॊೈʹ੍ޚՄೳͳԻ੠߹੒Λ࣮ݱʙ COntrollable, High-quality, And expRessIve TTS 明るさ 暗さ ! " # $ % & ' ։ൃதͷٕज़ʢ7PJDFʣ
14. -*/&
    "*։ൃͷಛ௃ 14 Large-scale Hyper-scale Multi-modal International LINE ✕ NAVER twin turbo
15. "*Χϯύχʔ͕ఏڙ͍ͯ͠ΔαʔϏε Speech NLP Voice NLP CV NLP CV
16. -*/&
    "*։ൃͷಛ௃ 16 Large-scale Hyper-scale Multi-modal International LINE ✕ NAVER twin turbo
17. )ZQFSTDBMF
    NPEFM web Know- ledge base Purchase record Purchase record Trans- action record Speech docs Ad banner Sticker Search QA Shopping experience chatbot Conv. w/ stickers SCM Dialogue OCR Ad optimize … … Search model QA model Recom. Model Dialogue Model Demand Pred. model Speech Recog. model OCR model Effect Pred. model Sticker Recom. model … Inclusive multi-modal data Search QA … OCR Ad optimize … One big model Overlast, Tung, +
18. େن໛Ϟσϧʹ͓͚Δ։ൃڝ૪ 開発機関 アルゴリズム パラメータ数 ⾔語 OpenAI GPT-2(Radford+, 2019) 1.5B English GPT-3 (Brown+, 2020) 175B English Google BERT (Devlin+, 2018) 0.34B English (many JP versions available) T5 (Raffel+, 2019; Xue+, 2020) 11B English SwitchTransformer (Fedus+, 2021) 1571B 101 languages Microsoft MT-NLG(2021) 530B English LINE HyperCLOVA (Kim+, 2021) 39B Japanese NAVER HyperCLOVA (Kim+, 2021) 82B Korean Overlast, Tung, +
19. -*/&
    -BSHFTDBMF
    +1
    NPEFM Overlast, Tung, +
20. 8IBU
    $IBOHFT
    $BO
    -BSHFTDBMF
    -BOHVBHF
    .PEFMT
    #SJOH *OUFOTJWF
    4UVEZ
    PO
    )ZQFS$-07" <,JN
    &./-1> Megatron-LM (Shoeybi+, 2019) * Apache license 2.0 Overlast, Tung, +
21. େن໛ݴޠϞσϧͷԠ༻ （あいまい）検索 要約 質問回答 ⽂書分類 感情分析 翻訳 ⽂法チェック 対話⽣成 Overlast, Tung, +
22. େن໛ݴޠϞσϧͷ՝୊ r ৽ͨͳλεΫ΍υϝΠϯ΁ͷదԠ ैདྷ
    ֶशϞσϧΛλεΫυϝΠϯಛԽͷֶशΛͤͯ͞ੑೳΛ֬อ Answer 推論 学習 データ タスク/ドメイン 特化データ Query Fine tuning ドメイン適応 タスク/ドメイン 特化モデル 学習 学習済み モデル Overlast, Tung, +
23. ϓϩϯϓςΟϯά r ৽͍͠υϝΠϯదԠͷύϥμΠϜ ࠓޙ
    υϝΠϯಛԽΛग़དྷΔݶΓͳ্ͨ͘͠ͰɺλεΫʹ͍ͭͯ͸ϓϩ ϯϓτͰࢦࣔ͢Δ͜ͱͰ࠶ֶशͳ͠ʹ໨తλεΫͷਪ࿦Λ࣮ࢪ ैདྷ
    ֶशϞσϧΛλεΫυϝΠϯಛԽͷֶशΛͤͯ͞ੑೳΛ֬อ Answer 推論 学習 データ タスク/ドメイン 特化データ Query Fine tuning ドメイン適応 タスク/ドメイン 特化モデル 学習 学習済み モデル Answer ドメインを選ばない ⼤規模学習データ Prompt with query 推論 ⼤規模学習 ⼤規模汎⽤ 学習済みモデル Overlast, Tung, +
24. ϓϩϯϓςΟϯάͷ6* 解説から俳句を⽣成します。 IN: 蛙が古い池に⾶び込んだ時の⾳の様⼦を詠んだ句です。蛙が池に⾶び込む⾳を表現した単純な句 ではありますが、周囲の静寂や寂れた古池の様⼦、蛙が池に⾶び込む⽣の躍動のような情景がまざ まざと伝わってくる、趣のある句となっています。この句の季語は『蛙』で、これは春を表現して いる季語です。 OUT: 古池や蛙⾶こむ⽔のおと IN: ⼭形県にある⽴⽯寺（りっしゃくじ）でセミが鳴いている様⼦を詠まれた句です。この句は明確 な句訳はわかっていないので、少しミステリアスで詠み解くことにロマンがある俳句です。「閑 さ」と「蝉の声」という⼀⾒⽭盾する表現の意図が特に考えさせられますね。 OUT: 閑さや岩にしみ⼊蝉の声 IN: 8⽉末の暑い⽇の午後の会議にとても壮⼤なシステム開発の話をしようとしている様⼦を詠まれ た句です。単純な句ではありますが、サラリーマンなエンジニアが様々な懸念がある中で、それで もこの技術を形にすることで⼈⼯知能技術の未来を開きたいという希望をこめた気持ちを表現して いる。 OUT: Overlast, Tung, +
25. ϓϩϯϓςΟϯάͷ6* 解説から俳句を⽣成します。 IN: 蛙が古い池に⾶び込んだ時の⾳の様⼦を詠んだ句です。蛙が池に⾶び込む⾳を表現した単純な句 ではありますが、周囲の静寂や寂れた古池の様⼦、蛙が池に⾶び込む⽣の躍動のような情景がまざ まざと伝わってくる、趣のある句となっています。この句の季語は『蛙』で、これは春を表現して いる季語です。 OUT: 古池や蛙⾶こむ⽔のおと IN: ⼭形県にある⽴⽯寺（りっしゃくじ）でセミが鳴いている様⼦を詠まれた句です。この句は明確 な句訳はわかっていないので、少しミステリアスで詠み解くことにロマンがある俳句です。「閑 さ」と「蝉の声」という⼀⾒⽭盾する表現の意図が特に考えさせられますね。 OUT: 閑さや岩にしみ⼊蝉の声 IN: 8⽉末の暑い⽇の午後の会議にとても壮⼤なシステム開発の話をしようとしている様⼦を詠まれ た句です。単純な句ではありますが、サラリーマンなエンジニアが様々な懸念がある中で、それで もこの技術を形にすることで⼈⼯知能技術の未来を開きたいという希望をこめた気持ちを表現して いる。 OUT: ⼋⽉の熱い砂の中へ⼿を⼊れる Overlast, Tung, +
26. ϓϩϯϓςΟϯάͷ6* 解説から俳句を⽣成します。 IN: 蛙が古い池に⾶び込んだ時の⾳の様⼦を詠んだ句です。蛙が池に⾶び込む⾳を表現した単純な句 ではありますが、周囲の静寂や寂れた古池の様⼦、蛙が池に⾶び込む⽣の躍動のような情景がまざ まざと伝わってくる、趣のある句となっています。この句の季語は『蛙』で、これは春を表現して いる季語です。 OUT: 古池や蛙⾶こむ⽔のおと IN: ⼭形県にある⽴⽯寺（りっしゃくじ）でセミが鳴いている様⼦を詠まれた句です。この句は明確 な句訳はわかっていないので、少しミステリアスで詠み解くことにロマンがある俳句です。「閑 さ」と「蝉の声」という⼀⾒⽭盾する表現の意図が特に考えさせられますね。 OUT: 閑さや岩にしみ⼊蝉の声 IN: 8⽉末の暑い⽇の午後の会議にとても壮⼤なシステム開発の話をしようとしている様⼦を詠まれ た句です。単純な句ではありますが、サラリーマンなエンジニアが様々な懸念がある中で、それで もこの技術を形にすることで⼈⼯知能技術の未来を開きたいという希望をこめた気持ちを表現して いる。 OUT:⼣焼やプロジェクト炎上せり Overlast, Tung, +
27. ϓϩϯϓςΟϯάʹΑΔ঎඼આ໌จͷੜ੒ Overlast, Tung, +
28. ୈ̐ճ ର࿩γεςϜ ϥΠϒίϯϖςΟγϣϯ • ਓ޻஌ೳֶձ ݴޠɾԻ੠ཧղͱର࿩ॲཧݚڀձ 4*(4-6%
    ୈճର࿩γεςϜγϯϙδ΢Ϝ ର࿩γεςϜϥΠϒίϯϖςΟγϣϯ̐ • ʮϖϧιφҰ ੑͷ ྀͱ஌ࣝϕʔεΛ౷߹ͨ͠ )ZQFS$-07" Λ༻͍ͨ ର࿩γεςϜʯ ࢁ࡚
    ࡔా
    ઒ຊ
    খྛ
    άΤϯ
    ্ଜ
    தொ
    ཥ
    ࠤ౻ https://dialog-system-live-competition.github.io/dslc4/ Overlast, Yamazaki, +
29. ͲͷΑ͏ͳΞϧΰϦζϜʁ ੜ੒Τϯδϯͷपғʹෳ਺ϓϩϯϓτͱϑΟϧλϞδϡʔϧΛ഑ஔ͠ɺ ๬·͘͠ͳ͍Ԡ౴Λݕ஌ͨ͠৔߹ʹ͸ɺ֎ʹग़͢લʹ࠶ੜੑ͢Δʮ͜ͱ͹ΛબͿʯΤϯδϯ Overlast, Yamazaki, +
30. େن໛ݴޠϞσϧͰԿ͕Մೳͱͳ͔ͬͨʁ͋Δ͍͸ͳΓͦ͏͔ʁ ⼗分に広い ドメインをサポート ⼈のようなスムーズな ⾔語⽣成 多様なタスクを 1/few-shotで実現
31. ͜Ε͔Βͷେن໛ݴޠϞσϧ 情報の信憑性 倫理観の実装 偏⾒の排除 ⼀貫性 パーソナリティの付与 曖昧さの調整 概念の広がりの調整 ⻑い⽂脈の理解 指⽰語・関連性の理解 多⾔語対応 ・・・
32. -*/&
    "*։ൃͷಛ௃ 32 Hyper-scale Multi-modal International LINE ✕ NAVER twin turbo
33. .VMUJNPEBM
    "* $7ɺ/-1ɺ7PJDF4QFFDIͳͲɺ-*/&ͷ"*ࢿ࢈Λ༥߹ͤͨ͞ΠϊϕʔγϣϯΛ࣮ݱ $79 $7
    ✕ ˓˓ٕज़ .JYFE
    -*/&
    "*
    .J-"* .VMUJNPEBM
    JOQVUPVUQVU
34. ϚϧνϞʔμϧͳ-*/&
    "* 34 ࣗવݴޠॲཧ ೖྗ Ի੠ σδλϧ ςΩετ ը૾ಈը 3(#%5 ݴޠ ςΩετ ը૾ ਤද Ի੠ೝࣝ $7
    
    13 ॲཧ ੜ੒ Ի੠߹੒ $( ςΩετ ग़ྗ 5F9ͳͲ ϚϧνϝσΟΞೖྗʹରԠ͢ΔϚϧνϞʔμϧॲཧ"*ٕज़
35. -*/&
    $7-ͷ஫ྗٕज़  $79ٕज़ 35 ࣗવݴޠॲཧ ೖྗ Ի੠ σδλϧ ςΩετ ը૾ಈը 3(#%5 ݴޠ ςΩετ ը૾ ਤද Ի੠ೝࣝ $7
    
    13 ॲཧ ੜ੒ Ի੠߹੒ $( ςΩετ ग़ྗ 5F9ͳͲ ϚϧνϝσΟΞೖྗʹରԠ͢ΔϚϧνϞʔμϧॲཧ"*ٕज़ $7
    Y
    ˓˓ٕज़͕ॏཁʹʂ ʢ$7Λத৺ͱͯ͠Έͨͱ͖ͷϚϧνϞʔμϧ"*ٕज़ͷҙຯͰԬຊࢯ͕$79ٕज़ͱ໋໊ʣ
36. Semantic Information S-Overtime 50% (count) 1 (unit price) 20,000 (price) 20,000 PBI 1,818 Subtotal 18,181 Total 20,000 Cash 100,000 Change 80,000 Tax Included 10% Image จࣈೝࣝ͸ղܾ͞Εͨ໰୊ʁ/Pʂ %9ਪਐͷதͰ༷ʑͳாථυΩϡϝϯτͷσδλϧԽ͕ॏཁ͕ͩɺ7-ͷྑ໰ͷๅݿʂ %PDVNFOU
    6OEFSTUBOEJOH
    0$3 Ћ Okamoto, +
37. $3"'5
    <#BFL
    $713> จࣈྖҬͱจࣈؒͷؔ܎Λద੾ʹ༧ଌͰ͖ΔωοτϫʔΫΛֶश ੜ੒ը૾ͱ࣮ը૾ͷ྆ํΛ༻ֶ͍ͯश Character Region Awareness for Text Detection [Baek+, CVPR2019]
38. 41"%&
    TUSVDUVSFE
    EPDVNFOU
    ,*&
    <)XBOH
    "$-> From Spatial Dependency Parsing for Semi-Structured Document Information Extraction [Hwang+, ACL2021] ,FZ
    7BMVFͷؔ܎Λֶशͤ͞Δߏจղੳث QBSTFS Λ%USBOTGPSNFSͰֶश ͜ΕʹΑΓߴਫ਼౓ͷදநग़Λ࣮ݱ
39. #304
    #FSU
    3FMZJOH
    0O
    4QBUJBMJUZ
    <)POH
    UP
    BQQFBS
    """*> ۭؒతͳ഑ஔ৘ใΛڭࢣͳֶ͠श͢Δ͜ͱͰߴਫ਼౓ԽগαϯϓϧԽɺ5SBOTGPSNFSͷయܕత ͳֶशํࣜͰ͋Δ݀ຒΊ໰୊ .-. Ͱ࣍ͷจࣈ͓ΑͼͦͷҐஔΛ༧ଌ͢ΔϞσϧΛֶश
40. -BZPVU
    SFDPHOJUJPO
    <UP
    BQQFBS
    TPNFXIFSF
    TPNFEBZ> ݴޠϞσϧͱ0$3Λ׆༻ͯ͠ςΩετͷϨΠΞ΢τΛೝࣝ͢Δ ˠ ϑΟʔϧυݕࡧΛ࣮ݱ Okamoto, +
41. ը૾ͱΩϟϓγϣϯͰɺϏοάϞσϧʁ ˠ ೝࣝ΍ੜ੒ʹ ⼩学館⿂介の図鑑より ⼩学館⿂介の図鑑より 学研動物の図鑑より #JH
    WJTJPOMBOHVBHF
    NPEFM
    <UP
    BQQFBS
    TPNFXIFSF
    TPNFEBZ> Okamoto, +
42. $IBSBDUFS
    UZQF 5FSNJOPMPHZ (SBNNBS 'PSNMBZPVU 5PQJDTTUZMF %PDVNFOU
    UZQF %PNBJO
    LOPXMFEHF 1VSQPTF
    UBTL $VTUPNFS TQFDJGJD
    LOPXMFEHF $PNNPO
    LOPXMFEHF 7JTVBM
    QBUUFSOT $POUFYU
    510 MFWFM
    PGG
    POMZ
    XJUI
    WJTVBM
    QBUUFSOT $PNCJOBUJPO
    XJUI
    /-1 CFDPNFT
    DSVDJBM $IBSBDUFS -BOHVBHF 8PSE ݴޠϞσϧΛ׆༻ͯ͠ɺͲΜͲΜਫ਼౓Λ্͛Δ #FZPOE
    DVSSFOU
    "*0$3
    $79
    EPDVNFOU
    JOUFMMJHFODF
43. -*/&
    $7-ͷ஫ྗٕज़  $79ٕज़ 43 ࣗવݴޠॲཧ ೖྗ Ի੠ σδλϧ ςΩετ ը૾ಈը 3(#%5 ݴޠ ςΩετ ը૾ ਤද Ի੠ೝࣝ $7
    
    13 ॲཧ ੜ੒ Ի੠߹੒ $( ςΩετ ग़ྗ 5F9ͳͲ ϚϧνϝσΟΞೖྗʹରԠ͢ΔϚϧνϞʔμϧॲཧ"*ٕज़ $7
    Y
    ˓˓ٕज़͕ॏཁʹʂ ʢ$7Λத৺ͱͯ͠Έͨͱ͖ͷϚϧνϞʔμϧ"*ٕज़ͷҙຯͰԬຊࢯ͕$79ٕज़ͱ໋໊ʣ
44. ఺܈ͷߴ଎Ͱߴਫ਼౓ͳর߹ɺίϯςϯπͷੜ੒ɾ୳ࡧͷͨΊʹ·͢·͢ॏཁʹʂ %
    ఺܈ղੳ Fujiwara, +
45. Source Target GSLR (ours) Feature matching w/ RANSAC SLR Generalized Shuffled Linear Regression [Li+, ICCV2021] ఺܈ʹܽଛ΍Ξ΢τϥΠΞ͕ଘࡏͯ͠΋ߴ଎ʹর߹ (4-3
    'BTU
    QPJOU
    DMPVE
    
    LFZQPJOU NBUDIJOH
    <-J
    *$$7> !"" !"# ⋯ !"% !#" !## ⋯ !#% ⋮ !'" ⋮ !'# ⋱ ⋮ ⋯ !'% ) = + ," ,# ⋮ ,' +-. ∈ {0, 1} 5 - +-. ≤ 1 5 . +-. ≤ 1 5 -,. +-. = 7 ରԠ఺ͷೖΕସΘΓ΍Ξ΢τϥΠ ΞɾܽଛશͯʹରԠՄೳ min ), + ;) − += # # ͜ΕΛઢܗׂ౰໰୊Λ༻͍ ܁Γฦ͠ղ๏Ͱղ͘ Fujiwara, +
46. %ϞσϧΛݴޠࢦࣔͰಈ͔͢ʁ %Ϟσϧʹ࿩Λͤͨ͞Γɺࣗવͳಈ͖Λͤͨ͞Γ͢Δ ͜Ε͔Βɾɾɾ Fujiwara, +
47. -*/&
    $7-ͷ஫ྗٕज़  $79ٕज़ 47 ࣗવݴޠॲཧ ೖྗ Ի੠ σδλϧ ςΩετ ը૾ಈը 3(#%5 ݴޠ ςΩετ ը૾ ਤද Ի੠ೝࣝ $7
    
    13 ॲཧ ੜ੒ Ի੠߹੒ $( ςΩετ ग़ྗ 5F9ͳͲ ͜ͷ෦෼͸ޤ͏͝ظ଴ʂ
48. 
    ʣ
    *$"441
    ʣ*/5&341&&$)
    ʣ8"41""
    ʣ #JH%BUB  ʢʣ
    *$"441
     &64*1$0
    
    */5&341&&$)
    
    %$"4&
    
    "14*1"
    
    $713
    
    51%1 
    '-*$.- 
    
    -%3$  
    
    *$"441
    
    *$3"
    
    *6* 
    *$%&
     *$$7  各分野最⾼峰の会議で認められるAI 基礎研究成果 ͜Ε·Ͱͷ੒Ռ
49. $79ٕज़Ͱࠓ·Ͱʹͳ͍ιϦϡʔγϣϯΛੜΈग़͠·͢ʂ $7ͱɺ/-1ɺ7PJDF4QFFDIͳͲɺ-*/&ͷ"*ࢿ࢈Λ༥߹ͤͨ͞ΠϊϕʔγϣϯΛ࣮ݱ $79 $7
    ✕ ˓˓ٕज़ .JYFE
    -*/&
    "*
    .J-"* .VMUJNPEBM
    JOQVUPVUQVU
50. "*3 International team for R&D 50 JP CLOVA Engine Teams Leaders, Engineers, Interns JP AIR, Researcher, Interns AI Lab Researcher Aff. Researcher… CLOVA Engine Teams Leaders Engineers/Researchers KR Project TF Leader (PM), Tech Lead Researchers, Engineers JP Project TF Leader (PM), Tech Lead Researchers, Engineers Product Research
51. STRICTLY CONFIDENTIAL -*/&
    "*
    $PNQBOZͷ໨ࢦ͢ੈք ʮͻͱʹ΍͍͞͠"*ʯ͕ɺ ੜ׆΍ϏδωεʹજΉ൥Θ͠͞Λղফ͠ɺ ʮ͜Ε͔Βͷ͋ͨΓ·͑ʯΛ૑Γ·͢ɻ ΠϯλʔϯੜɾϦαʔνϟΤϯδχΞืू͓ͯ͠Γ·͢ɻ ͍ͬ͠ΐʹૉ੖Β͍͠কདྷΛ૑Γɺྺ࢙Λॻ͍͍͖ͯ·͠ΐ͏ʂ ͦΕ͕কདྷΛ΋ͬͱ΋Α͘༧૝͢Δํ๏Ͱ͢ʂ
53. NLPの技術トレンドの変遷 Seq2Seq(2014) • RNN, LSTM based Transformer(2017) GPT-1(2018) BERT(2018) GPT-2 (2019) GPT-3 (2020) BERT発展型(2019) • RoBERTa(2019) • AlBERT(2019) • DistilBERT(2019) MT-NLG (2021)