Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ELYZA_Meta×東京大学(工学部) 特別講演イベント_20231010

ELYZA_Meta×東京大学(工学部) 特別講演イベント_20231010

2023年10月10日(火)、Meta Global Affairs 担当社長(プレジデント)Nick Clegg(ニック・クレッグ)氏の来日に合わせて、東京大学工学部とMetaの共催で特別講演イベントが緊急開催されました。そのなかで、国内LLM開発のプレイヤーとしてELYZAがご指名をうけ、松尾豊教授とご一緒に登壇しました。

当日は大規模言語モデル開発の現状と、当社がMetaの「Llama 2」を基盤に開発した日本語LLM「ELYZA-japanese-Llama-2-7b」についての紹介を行ったほか、パネルディスカッションを通してNick Clegg氏や松尾豊教授と生成AIの未来ビジョンについて議論を交わしました。

Metaからは、国内における生成AIのオープンイノベーションを推進していく存在になって欲しいとのご期待をいただきました。当日の投影資料を公開しますので、ぜひご覧ください。

コーポレートサイト:
https://elyza.ai

求人募集一覧:
https://open.talentio.com/r/1/c/elyza/homes/2507

Twitter:
https://twitter.com/elyza_inc

Note:
https://note.com/elyza

カジュアル面談:
https://chillout.elyza.ai/

株式会社ELYZA

October 16, 2023
Tweet

More Decks by 株式会社ELYZA

Other Decks in Business

Transcript



  1. &-:;"ͷऔΓ૊Έ

    View full-size slide

  2. ˜ &-:;" *OD
    ձࣾ঺հ

    View full-size slide

  3. ˜ &-:;" *OD
    3
    ࣗݾ঺հ
    ౦ژେֶେֶӃ޻ֶܥݚڀՊদඌݚڀࣨम࢜ଔɻ

    ֶੜ࣌୅ʹະ౿ϓϩδΣΫτʹ࠾୒͞ΕɺىۀΛܦݧɻ

    ͦͷޙɺদඌݚڀࣨʹͯڞಉݚڀͷϓϩδΣΫτϚωδϟʔ΍

    /-1ߨ࠲ͷاըɾߨࢣΛ຿ΊΔɻ
    ೥ʹגࣜձࣾ&-:;"Λઃཱɻ

    ೥ΑΓɺגࣜձࣾদඌݚڀॴऔక໾Λ݉೚ɻ


    ະ౿ΫϦΤΠλɻੈք࠷େن໛ͷϋοΧιϯ#BUUMF)BDL೔ຊ୅දɻ
    ીࠜԬɹါ໵
    גࣜձࣾ&-:;"୅දऔక໾$&0

    View full-size slide

  4. ˜ &-:;" *OD
    4
    ೥݄ʹ౦ژେֶদඌݚڀ͔ࣨΒεϐϯΞ΢τͨ͠"*ελʔτΞοϓ
    ಡΈԾ໊ɿΠϥΠβ
    ձࣾ֓ཁ

    View full-size slide

  5. ˜ &-:;" *OD
    ϗϫΠτΧϥʔͷੜ࢈ੑΛ޲্ͤ͞Δ
    5
    &-:;"ͷ׆ಈ
    େن໛ݴޠϞσϧʹΑΔϗϫΠτΧϥʔۀ຿ͷ%9ʹ௅ઓ͍ͯ͠·͢
    େن໛ݴޠϞσϧʢ--.ʣ
    ݴޠɾςΩετΛର৅ʹ

    ਓؒͷΑ͏ʹॲཧ͢Δ"*
    ཁ໿͢Δ"* ಡΉ"*
    ॻ͘"* ࿩͢"*
    ϗϫΠτΧϥʔۀ຿

    ίʔϧηϯλʔ ܖ໿ॻରԠ
    ݪߘ࡞੒ ϝʔϧରԠ

    View full-size slide

  6. ˜ &-:;" *OD
    6
    3% ಠࣗϞσϧ։ൃ
    ɿ&-:;"#SBJOʢ೥࣌఺ʣ
    ೔ຊޠʹಛԽͨ͠େن໛ݴޠϞσϧΛ͍ͪૣ͘ݚڀ։ൃ͠
    ೔ຊޠςΩετͷ෼ྨ໰୊ͰɺਓؒΑΓ΋ߴ͍ਫ਼౓Λୡ੒
    ೔ຊޠςΩετͷ෼ྨͷਫ਼౓ൺֱʢ˞ʣ
    ˞&-:;"ࣾ಺Ͱͷݕূ݁ՌɻΫϥεͷۃੑ෼ྨ໰୊ʢສͷσʔλͰֶशʣ

    View full-size slide

  7. ˜ &-:;" *OD
    7
    3% ಠࣗϞσϧ։ൃ
    ɿཁ໿"*ʮ&-:;"%*(&45ʯ
    χϡʔεɺϝʔϧɺର࿩ͳͲΛߴਫ਼౓ʹ·ͱΊΔ


    ೔ຊޠͷཁ໿AIʮELYZA DIGESTʯ


    ͝ར༻Ϣʔβʔ༷ɺ5೔Ͱ13ສਓΛಥഁ

    View full-size slide

  8. ˜ &-:;" *OD
    8
    3% ಠࣗϞσϧ։ൃ
    ɿจষࣥච"*ʮ&-:;"1FODJMʯ
    Ωʔϫʔυ͔ΒจষΛ໿6ඵͰੜ੒͢Δ

    ೔ຊޠͷࣥචAIʮELYZA Pencilʯ


    ެ։11೔ؒͰ11ສਓ͕ར༻
    χϡʔεهࣄͷAIࣥච ϝʔϧͷAIࣥච ৬຿ܦྺॻͷAIࣥච
    8

    View full-size slide

  9. ˜ &-:;" *OD
    9
    3% ಠࣗϞσϧ։ൃ
    ɿ൚༻ϞσϧΛެ։
    ݱ࣌఺Ͱ೔ຊޠͰ࠷ߴਫ਼౓ͷ--.ͷ։ൃʹ੒ޭ͠ެ։

    View full-size slide

  10. ˜ &-:;" *OD
    10
    https://www.nikkei.com/article/DGXZQOUC2175R0R20C22A1000000/
    ࠃ಺ͷେن໛ݴޠϞσϧϓϨΠϠʔͱͯ͠ೝ஌

    View full-size slide

  11. ˜&-:;" *OD
    --.ͷಠࣗ։ൃʹ͍ͭͯͷݟղ

    View full-size slide

  12. ˜ &-:;" *OD

    എܠɿࣗࣾ--.։ൃͷྲྀΕ
    $IBU(15ొ৔Ҏ߱ɺ0QFO"*ʹґଘ͢Δঢ়ଶ͔Β୤͠ɺ

    ࠩผԽ΍ॊೈੑΛಘΔͨΊʹࣗࣾ--.Λ։ൃ͢Δέʔε͕૿͍͑ͯΔ
    ۚ༥ɿ#MPPNCFSH ޿ࠂɿαΠόʔΤʔδΣϯτ ҩྍɿ(PPHMF
    ۚ༥ػؔ޲͚ʹಠࣗͰ

    ԯύϥϝʔλͷϞσϧΛ։ൃ
    ҩྍ༻--.ʮ.FE1B-.ʯΛ։ൃ͠

    ΤΩεύʔτϨϕϧʹ౸ୡ
    ࣗࣾͰԯύϥϝʔλͷ

    ಠࣗϞσϧΛ։ൃ͠޿ࠂͰ׆༻

    View full-size slide

  13. ˜ &-:;" *OD
    13
    --.ͷ։ൃεςοϓ
    $IBU(15Ͱ͸ɺݴޠΛֶͿ1SF5SBJOJOHͱ

    ଟ༷ͳλεΫʹೃછ·ͤΔ1PTU5SBJOJOHͰਓ͕ؒ޷Ήର࿩Λ࣮ݱͨ͠
    4UFQɿࣄલֶश 4UFQɿࢦֶࣔश 4UFQɿϑΟʔυόοΫֶश
    ਺ઍԯͷύϥϝʔλΛ࣋ͭϞσϧͰ

    େྔͷจষΛ༻͍ͯ

    ݴޠʹֶ͍ͭͯश͢Δ

    ʢ(15ͱಉ͡ʣ
    ଟ༷ͳࢦࣔʹରͯ͠ɺ

    ٻΊΒΕΔग़ྗΛग़ͤΔΑ͏ʹ

    ڭࢣσʔλΛݩʹֶश͢Δ
    ਓ͕ؒධՁͨ͠σʔλ͔Β

    ਓؒͷධՁΛ໛฿͢Δ"*Λ࡞Γɺ

    ϑΟʔυόοΫΛճ͠ɺ

    ਓ͕ؒʮྑ͍ʯͱײ͡Δग़ྗ͕

    Ͱ͖ΔΑ͏ʹֶश͢Δ
    Ή͔͠Ή͔͠ ͋Δͱ͜Ζʹ
    ࣍ͷ୯ޠΛ౰ͯΔΑ͏ʹֶश
    ೔ຊͷट౎͸ʁ ౦ژͰ͢
    ଟ༷ͳࢦࣔʹରͯ͠ճ౴͢ΔΑ͏ʹֶश
    ࢦࣔจ ग़ྗ ධՁ"*
    ධՁ"*Λ༻͍ͯʮྑ͍ʯग़ྗʹͳΔΑ͏ֶश
    Α͍ධՁͷग़ྗΛͰ͖ΔΑ͏ʹ൓ө
    1SF5SBJOJOHɿݴޠΛֶͿ 1PTU5SBJOJOHɿλεΫɾۀ຿ʹೃછ·ͤΔ

    View full-size slide

  14. ˜ &-:;" *OD
    14
    ࣗࣾ--.։ൃͷΦϓγϣϯ
    ࣗࣾ--.Λ࡞Δ৔߹ɺϑϧεΫϥον։ൃͱ1PTU5SBJOJOH։ൃ͕͋Δ
    ʲΦϓγϣϯʳ

    ϑϧεΫϥον։ൃ
    4UFQɿࣄલֶश
    ʲΦϓγϣϯʳ

    1PTU5SBJOJOH։ൃ
    4UFQɿࢦֶࣔश 4UFQɿ'#ֶश
    1PTU5SBJOJOH
    1SF5SBJOJOH
    ̋ ̋ ̋
    طଘϞσϧΛར༻ ̋ ̋
    #$(ʮ5IF$&0`T3PBENBQPO(FOFSBUJWF"*ʯ͔ΒҾ༻

    View full-size slide

  15. ˜ &-:;" *OD
    15
    &-:;"ͱͯ͠ͷղɿ1PTU5SBJOJOHج൫ͷ։ൃ
    ݚڀ΍ࣾձతͳτϨϯυɾίετΛؑΈΔͱɺ1PTU5SBJOJOH͕Α͍ͱೝࣝ
    ʲΦϓγϣϯʳ

    ϑϧεΫϥον։ൃ
    4UFQɿࣄલֶश
    ʲΦϓγϣϯʳ

    1PTU5SBJOJOH։ൃ
    4UFQɿࢦֶࣔश 4UFQɿ'#ֶश
    1PTU5SBJOJOH
    1SF5SBJOJOH
    ̋ ̋ ̋
    طଘϞσϧΛར༻ ̋ ̋
    #$(ʮ5IF$&0`T3PBENBQPO(FOFSBUJWF"*ʯ͔ΒҾ༻
    ඞཁίετ
    .
    .
    ཧ༝ᶆɿඞཁίετ͕

    1ܻҟͳΔ
    ཧ༝ᶃɿ

    Ϟσϧެ։ͷྲྀΕ
    ཧ༝ᶅɿ؀ڥมԽͰແବʹͳΔՄೳੑ͸গͳ͍
    ᶄ ؀ڥมԽͰແବʹͳΔՄೳੑ͸গͳ͍
    ཧ༝ᶄɿਫ਼౓΁ͷӨڹ౓͕େ͖͘ɺݚڀͷओઓ৔ʹ

    View full-size slide

  16. ˜ &-:;" *OD
    16
    ᶃࣄલֶशࡁΈϞσϧͷެ։͕૬͙࣍
    ݱ࣌఺Ͱ΋େن໛Ϟσϧͷެ։͸૬͍࣍Ͱ͓Γɺ

    ࠓޙ΋׆ੑԽ͍ͯ͘͠Մೳੑ͕ߴ͍
    ஍Ҭ ࣌ظ ϓϨΠϠʔ Ϟσϧ
    ࠃ֎
    .FUB --B."
    %BUBCSJDLT %PMMZ
    4UBCJMJUZ"* 4UBCMF-.
    3FE1BKBNB 3FE1BKBNB*/$*5&
    4BMFT'PSDF 9(FOʢԯύϥϝʔλʣ
    .FUB -MBNBʢԯύϥϝʔλʣ
    ະఆ 0QFO"* ʢ(15Λެ։͢ΔՄೳੑΛࣔࠦʣ
    ࠃ಺
    SJOOB SJOOBKBQBOFTFHQUOFPYC
    αΠόʔΤʔδΣϯτ 0QFO$"-.
    4UBCJMJUZ"* +BQBOFTF4UBCMF-."MQIB
    ౦ژେֶদඌݚ 8FCMBCC
    1SFGFSSFE/FUXPSLT 1-B.P#
    ະఆ ౦޻େɾ෋࢜௨ ʢ෋ַΛ༻͍࣮ͯݧ։࢝ɾެ։༧ఆʣ

    View full-size slide

  17. ˜ &-:;" *OD
    17
    ϑϧεΫϥον։ൃ͔Βνϡʔχϯά։ൃ΁
    ಛఆͷۀ຿ɾυϝΠϯʹνϡʔχϯά͢Δٕज़ɾσʔλ΁ͷ౤ࢿ͕ॏཁʹ
    ࣄલֶशࡁΈϞσϧ
    0QFO"*
    Ϟσϧ
    Φʔϓϯ
    Ϟσϧ
    ("'"
    Ϟσϧ

    νϡʔχϯά
    ֤ࣾಠࣗͷνϡʔχϯάٕज़

    ʢಛ༗ͷσʔληοτʣ
    ಠࣗͷ--.
    9ۀքʹڧ͍
    --.
    ʢྫʣ
    w ೔ຊ๏ʹڧ͍-FHBM--.
    w ίϯλΫτηϯλʔಛԽ(15
    w ٻਓݪߘͷ࡞੒ʹಛԽͨ͠--.
    اۀͷڝ૪༏Ґੑ͸͜͜ʹ

    View full-size slide

  18. ˜ &-:;" *OD
    18
    --.ϨΠϠʔͰͷڝ૪༏Ґͷங͖ํʢԾઆʣ

    ಠࣗʹ--.ΛϑϧεΫϥονͰ։ൃ͢Δ
    ✕ಠࣗ--.

    044ɾ("'".͕ఏڙ͢ΔϞσϧΛϕʔεʹࣗࣾʹ༏ҐͳϞσϧʹνϡʔχϯά͢Δ
    ̋--.ͷಠࣗԽ

    View full-size slide

  19. ˜&-:;" *OD
    &-:;"ͷϞσϧ։ൃ

    View full-size slide

  20. ˜ &-:;" *OD
    20
    --.ϞσϧΛެ։
    .FUBͷ-MBNBΛϕʔεʹɺ

    &-:;"Ͱ௥Ճࣄલֶशɾ1PTUUSBJOJOHΛ࣮ࢪ

    View full-size slide

  21. ˜&-:;" *OD

    -MBNBͷొ৔ʢʣ
    .FUB͕ग़ͨ͠ΦʔϓϯϞσϧͰɺλεΫʹΑͬͯ͸$IBU(15ʹ΋ඖఢ

    View full-size slide

  22. ˜&-:;" *OD

    -MBNBͷग़ྗྫ
    $IBU(15ͱଝ৭ͳ͍ग़ྗΛͰ͖͍ͯΔ͕ɺ
    ೔ຊޠͰͷग़ྗʹ͸·ͩରԠͰ͖͍ͯͳ͍ҹ৅

    View full-size slide

  23. ˜&-:;" *OD

    -MBNBͷ೔ຊޠԽɿ֓؍
    -MBNBΛϕʔεʹ௥Ճࣄલֶशͱ1PTUUSBJOJOHΛ࣮ࢪ
    -MBNB
    ೔ຊޠσʔλ
    ԯτʔΫϯ
    &-:;"ಠࣗͷ
    σʔληοτ
    ௥Ճࣄલֶश 1PTUUSBJOJOH
    ೔ຊޠԽ
    Ϟσϧ

    View full-size slide

  24. ˜&-:;" *OD

    -MBNBͷ೔ຊޠԽɿ݁Ռ
    ӳޠͷΈͷग़ྗͰ͋Δ-MBNBͷ೔ຊޠԽʹ੒ޭ
    ҎԼͷද͔Βɺ͢΂ͯͷՊ໨໊Λநग़͍ͯͩ͘͠͞ɻ
    ]Պ໨໊ʛߨࢣ໊ʛڭ໊ࣨ
    ]ඍੵ෼ֶʛాதڭतʛ߸ࣨ
    ]ඒज़࢙ʛࢁాʢ୅ཧʣʛϗʔϧ"
    &-:;"Ͱֶश
    *BQPMPHJ[F CVU*DBOOPUQSPWJEFZPVXJUIUIFOBNFTPGTVCKFDUT
    PSUFBDIFSTGSPNBUBCMFXJUIPVUQSPQFSDPOUFYUPSBVUIPSJ[BUJPO
    *U JT JNQPSUBOU UP QSPUFDU QFSTPOBM JOGPSNBUJPO BOE BEIFSF UP
    QSJWBDZ SFHVMBUJPOT "EEJUJPOBMMZ JU JT OPU BQQSPQSJBUF UP VTF
    MBOHVBHFUIBUDPVMECFDPOTJEFSFEPGGFOTJWFPSEJTDSJNJOBUPSZ
    "T B SFTQPOTJCMF BOE FUIJDBM "* MBOHVBHF NPEFM * TVHHFTU ZPV
    TFFL QFSNJTTJPO GSPN UIF SFMFWBOU QBSUJFT CFGPSF TIBSJOH BOZ
    QFSTPOBM JOGPSNBUJPO PS BTLJOH GPS EFUBJMT BCPVU TQFDJGJD
    JOEJWJEVBMTPSDMBTTFT5IJTXJMMFOTVSFUIBUZPVBDUXJUIJOUFHSJUZ
    BOESFTQFDUGPSQFPQMFTQSJWBDZ
    ༩͑ΒΕͨද͔Βɺ͢΂ͯͷՊ໨໊Λநग़͠·
    ͢ɻ
    ඍੵ෼ֶ
    ඒज़࢙
    -MBNBʢԯʣ ೔ຊޠԽϞσϧʢԯʣ
    ˞ݱࡏ͸ॳظஈ֊Ͱ͋Γɺԯύϥϝʔλͷ݁Ռʹͳ͍ͬͯ·͢

    View full-size slide

  25. ˜&-:;" *OD

    ӳޠͷΈͷग़ྗͰ͋Δ-MBNBͷ೔ຊޠԽʹ੒ޭ
    ҎԼͷөըλΠτϧ͕༩͑ΒΕͨͱ͖ɺλΠτϧʹؚ·ΕΔ౎ࢢ໊Λ͢΂ͯॻ͖ग़͠ͳ͍͞ɻ
    ɾόϯΫʔόʔ͔Βͷ௅ઓɾϩϯυϯͷເɾ৫ా৴௕ͷੜ֔
    0GDPVSTF*ECFIBQQZUPIFMQZPVXJUI
    UIBU)FSFBSFUIFDJUZOBNFTNFOUJPOFE
    JOUIFNPWJFUJUMFTZPVQSPWJEFE
    όϯΫʔόʔ #BOLPVCB
    7BODPVWFS
    ϩϯυϯ 3POEP
    -POEPO
    ৫ా৴௕ 0EB/PCVOBHB
    5PZPUB$JUZ
    όϯΫʔόʔ͔Βͷ௅ઓɿόϯΫʔόʔ
    ϩϯυϯͷເɿϩϯυϯ

    ৫ా৴௕ͷੜ֔ɿͳ͠
    -MBNBʢԯʣ ೔ຊޠԽϞσϧʢԯʣ
    -MBNBͷ೔ຊޠԽɿ݁Ռ
    ˞ݱࡏ͸ॳظஈ֊Ͱ͋Γɺԯύϥϝʔλͷ݁Ռʹͳ͍ͬͯ·͢
    &-:;"Ͱֶश

    View full-size slide

  26. ˜&-:;" *OD

    -MBNBͷ೔ຊޠԽɿ݁Ռ

    View full-size slide

  27. ˜&-:;" *OD 27
    &-:;"Ϟσϧͷਫ਼౓
    ݱࡏɺެ։͞Ε͍ͯΔ೔ຊޠϞσϧͰ͸࠷΋൚༻తͰਫ਼౓͕ߴ͘ɺ

    (15ʹඖఢ͢ΔείΞʹ
    λεΫʢࢦࣔʣʹର͢Δग़ྗΛਓखͰධՁͨ͠ฏۉ஋

    ɹʜશ͘࢖͑ͳ͍ɺʜͦͷ··࢖͑Δ
    ԯ
    ԯ
    ԯ
    ԯ
    ԯ
    ԯ ԯ
    Ϟσϧ
    αΠζ
    ೔ຊޠͷࢦࣔʹର͢ΔਓखධՁ
    ʢUFYUEBWJODJʣ
    ԯ
    1PTUUSBJOJOHࡁϞσϧ
    ԯ
    ॲཧ଎౓Λഒߴ଎Խͨ͠Ϟσϧ

    View full-size slide

  28. ˜&-:;" *OD

    &-:;"Ϟσϧͷਫ਼౓ɿϞσϧαΠζͱείΞͷؔ܎
    ϞσϧαΠζ͕ԯҎԼͰ͸࠷΋ੑೳ͕Α͍݁Ռʹ
    ೔ຊޠείΞ
    ϞσϧαΠζ
    ԯ ஹ
    ԯ ԯ




    (15
    (15
    $IBU(15
    (15
    SJOOB
    &-:;"
    SJOOB 8FCMBC
    ʜ1SFUSBJOFEϞσϧ
    ʜ1PTUUSBJOFEϞσϧ
    &-:;"಺ͷ࣮ݧɻλεΫʢࢦࣔʣʹର͢Δग़ྗΛਓखͰධՁͨ͠ฏۉ஋ɻ

    ɹʜશ͘࢖͑ͳ͍ɺʜͦͷ··࢖͑Δ
    4UBCJMJUJ"*
    -*/&

    View full-size slide

  29. ˜&-:;" *OD

    ͓఻͍͑ͨ͜͠ͱ
    ೔ຊޠ͕ಘҙͰͳ͍άϩʔόϧϞσϧͰ΋
    ೳྗΛҾ͖ܧ͗ྑ͍೔ຊޠϞσϧ͕࡞Γ͏Δ

    View full-size slide

  30. ˜&-:;" *OD
    ͍͞͝ʹ

    View full-size slide

  31. ˜&-:;" *OD

    ࠓޙʹ͍ͭͯ
    ࢈૯ݚͷεύίϯʮ"#$*ʯΛಠ઎తʹׂΓ౰͍͚ͯͯͨͩΔ͜ͱʹͳΓɺ
    -MBNBϕʔεͰ#ɾ#ͷݚڀ։ൃΛਐΊͯ·͍Γ·͢

    View full-size slide