【Gemini本発売記念】npaka によるマルチモーダルとローカルLLMの現在と未来

by npaka

Slide 1

Slide 1 text

No content

Slide 2

Slide 2 text

2 ࣗݾ঺հ ɾ෍ཹ઒ӳҰ ;Δ͔ΘͻͰ͔ͣ ɾϋϯυϧOQBLB ɾגࣜձࣾθϧϖϜ ɾϓϩάϥϜྺ೥ ɾΠϯλʔωοτྺ೥ ɾٕज़ॻྺ೥ ɹɹ೥ؒ࡭ϖʔεͰ࡭΄Ͳ

Slide 3

Slide 3 text

3 OPUF

Slide 4

Slide 4 text

4 ೥୅ ɾΠϯλʔωοτɾਓ޻ੜ໋ɾਓ޻ແ೴ ɾ+BWB ɾ.JOE4UPSNT

Slide 5

Slide 5 text

5 ೥୅ ɾΨϥέʔɾεϚʔτϑΥϯ ɾ.JDSPTPGU3PCPUJDT4UVEJP ɾJ40#05ɾωοτλϯαʔɾ&.."

Slide 6

Slide 6 text

6 ೥୅ ɾਂ૚ֶशɾڧԽֶश ɾ%FFQ.JOE"MQIB(P ɾ0QFO"*(ZNɾ#BTFMJOFT ɾUPJP

Slide 7

Slide 7 text

7 ೥୅ ɾੜ੒"*ɾ--.ɾ"*ΤʔδΣϯτ ɾϚϧνϞʔμϧɾϩʔΧϧ--. ɾύʔιφϧ"*Ξγελϯτ ɾύʔιφϧ"*ϩϘοτ

Slide 8

Slide 8 text

8 ΞδΣϯμ

Slide 9

Slide 9 text

9 ΞδΣϯμ (FNJOJͷ࠷৽ٕज़৘ใ ɹ(FNJOJຊͷ঺հ ɹ(FNJOJͷ࠷৽৘ใ ɹ-BOH$IBJOɾ-MBNB*OEFYͷ࠷৽৘ใ ϚϧνϞʔμϧͱϩʔΧϧ--.ͷݱࡏͱະདྷ ɹϚϧνϞʔμϧͷݱࡏͱະདྷ ɹϩʔΧϧ--.ͷݱࡏͱະདྷ

Slide 10

Slide 10 text

10 (FNJOJͷ࠷৽ٕज़৘ใ

Slide 11

Slide 11 text

11 (FNJOJຊͷ঺հ

Slide 12

Slide 12 text

12 (FNJOJຊͷ঺հ ɾϘʔϯσδλϧΦϯϥΠϯϒοΫετΞ IUUQTXHOPCTTIPQQSPKQ QJE ɾBNB[PO ԁ IUUQTXXXBNB[PODPKQEQ (PPHMF(FNJOJʗ -MBNB*OEFYʗ-BOH$IBJO ਓ޻஌ೳϓϩάϥϛϯά࣮ફೖ໳

Slide 13

Slide 13 text

13 (FNJOJຊͷ໨࣍ ষ(FNJOJͷ֓ཁͱ͸͡Ίํ ষ(FNJOJͷར༻๏ ষ1ZUIPO։ൃ؀ڥͷ४උ ষ(FNJOJ"1*ʢ1ZUIPOฤʣ ষ(FNJOJ"1*ʢ"OESPJEฤʣ ষ(FNJOJ"1*ʢJ04ฤʣ ষ-MBNB*OEFY ষ-BOH$IBJO ೥݄ͷେܕΞοϓσʔτʹରԠʂ

Slide 14

Slide 14 text

14 (FNJOJͷ࠷৽৘ใ

Slide 15

Slide 15 text

15 (FNJOJͷϦϦʔε೥ද ೥ ݄೔1B-. ݄೔#BSE ݄೔1B-. ݄೔(FNJOJ6MUSBɾ1SPɾ/BOP ೥ ݄೔#BSEΛ(FNJOJʹվ໊ ݄೔(FNJOJ1SPϓϨϏϡʔ൛ ݄೔(FNJOJ'MBTIϓϨϏϡʔ൛ ݄೔(FNJOJ1SPɾ'MBTI҆ఆ൛

Slide 16

Slide 16 text

16 (FNJOJͷϞσϧҰཡ ɾ(FNJOJ6MUSBɾ(FNJOJ1SP ɾ(FNJOJ1SPɾ(FNJOJ'MBTI ɾ(FNJOJ/BOP

Slide 17

Slide 17 text

17 ೔ຊޠੑೳͷϕϯνϚʔΫͰτοϓ ೥݄

Slide 18

Slide 18 text

18 ສτʔΫϯͷίϯςΩετ΢Οϯυ΢

Slide 19

Slide 19 text

19 ϚϧνϞʔμϧ

Slide 20

Slide 20 text

20 (FNJOJͱ(15ͷରൺ ɾ(FNJOJ ɾ(FNJOJ ɾ(PPHFM"*(FNJOJ"1* ɾ(PPHMF"*4UVEJP ɾ7FSUFY"*(FNJOJ"1* ɾ7FSUFY"*4UVEJP ɾ$IBU(15 ɾ(15P ɾ0QFO"*"1* ɾ1MBZHSPVOE ɾ"[VSF0QFO"*4FSWJDF ɾ"[VSF0QFO"*4UVEJP

Slide 21

Slide 21 text

21 ϩʔΧϧ--. ɾ(FNJOJ/BOP ɾ(FNNB ɾ$PEF(FNNBɾ3FDDVSFOU(FNNBɾ1BMJ(FNNB

Slide 22

Slide 22 text

22 -BOH$IBJOɾ -MBNB*OEFYͷ࠷৽৘ใ

Slide 23

Slide 23 text

23 -BOH$IBJOͱ-MBNB*OEFY ɾ-BOH$IBJO"*ΤʔδΣϯτ ɾ-MBNB*OEFY3"( ɾ--.ΞϓϦΛߏங͢ΔϑϨʔϜϫʔΫ ɾ--.ΞϓϦͷະདྷΛߟ͑ΔίϛϡχςΟ

Slide 24

Slide 24 text

24 -BOH$IBJO ɾMBOHDIBJODPSF ɹMBOHDIBJODPNNVOJUZ ɹMBOHDIBJO ɹͷύοέʔδʹ෼཭ ɾ$IBJOΠϯλϑΣʔε ɹɹˣ ɹ-$&- ɹ-BOH(SBQI

Slide 25

Slide 25 text

25 ΤʔδΣϯτ

Slide 26

Slide 26 text

26 ೝ஌ΞʔΩςΫνϟ --.͕ͲͷΑ͏ʹ৘ใΛॲཧ͠Ԡ౴Λੜ੒͢Δ͔Λ ཧղ͢ΔͨΊͷ࿮૊Έ

Slide 27

Slide 27 text

27 -MBNB*OEFY ɾMMBNBJOEFYDPSFͱݸผͷ*OUFHSBUJPOʹ෼཭ ɾݸผͷ*OUFHSBUJPOΛ-MBNB)VCͰ؅ཧ ɾ4FSWJDF$POUFYUˠ4FUUJOHT

Slide 28

Slide 28 text

28 3"( 3FUSJFWBM"VHNFOUFE(FOFSBUJPO

Slide 29

Slide 29 text

29 ϩϯάίϯςΩετ--. ʹରԠͨ͠3"(ͷ৽ΞʔΩςΫνϟ ɾνϟϯΫͷௐ੔͕༰қʹͳΔ ɾࢥߟ࿈࠯ΤʔδΣϯτͷௐ੔͕༰қʹͳΔ ɾཁ໿͕༰қʹͳΔ ɾهԱͷߏங͕༰қʹͳΓΔ ɾ.τʔΫϯ͸େن໛ͳจॻίʔύεʹ͸े෼Ͱ͸ͳ͍ ɾຒΊࠐΈϞσϧͷίϯςΩετ௕͸୹͍·· ɾίετͱϨΠςϯγʔ

Slide 30

Slide 30 text

30 ϚϧνϞʔμϧͱ ϩʔΧϧ--.ͷݱࡏͱະདྷ

Slide 31

Slide 31 text

31 ϚϧνϞʔμϧͷ ݱࡏͱະདྷ

Slide 32

Slide 32 text

32 ϚϧνϞʔμϧͷݱࡏ

Slide 33

Slide 33 text

33 ϚϧνϞʔμϧ ৘ใ΍ίϛϡχέʔγϣϯʹ͓͍ͯɺ ෳ਺ͷҟͳΔײ֮΍ഔମΛ૊Έ߹Θͤͯ࢖༻͢Δ͜ͱ ɾςΩετ ɾϏδϡΞϧʢը૾ɾಈըʣ ɾΦʔσΟΦʢԻ੠ʣ ɾϋϓςΟΫε ৮֮ ɾͦͷଞͷੈքΛཧղ͢ΔͨΊͷ৘ใ

Slide 34

Slide 34 text

Slide 35

Slide 35 text

35 "VEJPUP5FYU (FNJOJ Ի੠͔ΒςΩετੜ੒

Slide 36

Slide 36 text

36 *NBHFɾ5FYUUP*NBHF (15P ը૾ɾςΩετ͔Βը૾ੜ੒

Slide 37

Slide 37 text

37 *NBHFɾ5FYUUP7JEFP %SFBN.BDIJOF ը૾ɾςΩετ͔Βಈըੜ੒

Slide 38

Slide 38 text

TextɾAudio-to-Audio (Suno) ςΩετɾΦʔσΟΦ͔ΒՎੜ੒

Slide 39

Slide 39 text

VideoɾText-to-Audio (DeepMind) ಈըɾςΩετ͔ΒΦʔσΟΦੜ੒

Slide 40

Slide 40 text

40 ϚϧνϞʔμϧͷະདྷ

Slide 41

Slide 41 text

41 ϚϧνϞʔμϧͷະདྷ ϚϧνϞʔμϧʹΑͬͯੈքͷཧղ͕ਐΉ ˣ ਓ޻஌ೳ͕ເͷதͰֶशͰ͖ΔΑ͏ʹͳΔ ˣ ະདྷ༧ଌ͕Մೳͳ௕ظใुΛ࠷େԽ͢Δ "*ΤʔδΣϯτͷొ৔

Slide 42

Slide 42 text

42 ೥Ҏલͷ %FFQ.JOEͱ0QFO"*

Slide 43

Slide 43 text

43 ڧԽֶशYήʔϜ"* 0QFO"*'JWF "MQIB4UBS

Slide 44

Slide 44 text

44 ڧԽֶशYήʔϜ ɾήʔϜ͸ݱ࣮ੈքͷλεΫͷϞσϧԽ ɾήʔϜΛ߈ུͰ͖Δ"* ɾݱ࣮ੈքͷλεΫΛ͜ͳͤΔ"*

Slide 45

Slide 45 text

45 ڧԽֶश ΤʔδΣϯτ͕؀ڥͱ૬ޓ࡞༻͠ͳ͕Β ؀ڥ͔ΒͷใुΛड͚ͯߦಈΛֶश ୹ظใुΑΓ௕ظใु͕ॏཁ

Slide 46

Slide 46 text

46 ڧԽֶशͷେ͖ͳ໰୊ 1. ඇৗʹଟ͘ͷֶशσʔλΛඞཁͱ͢Δɻ 2. ؀ڥ΍λεΫͷมԽʹ͏·͘ରԠͰ͖ͳ͍ɻ ਓ޻஌ೳ͕ເͷதͰֶश ੈքϞσϧ

Slide 47

Slide 47 text

47 ਓ͸ޒײͰײͨ͡ੈքͷ৘ใͷஅยΛݩʹ ಄ͷதͰԾ૝ੈքΛߏங͢Δ ੈքϞσϧ

Slide 48

Slide 48 text

48 ೥ҎલͷੈքϞσϧ Car RacingͱDoom͸ֶशͰ͖ͨ ιχοΫ͸ݫ͍͠

Slide 49

Slide 49 text

49 ϚϧνϞʔμϧ͸ੈքϞσϧͷ࣮ݱͷجૅ ෺ཧੈքΛγϛϡϨʔτ͠ɺͦͷੈքͰߦಈ΋Մೳ 4PSB

Slide 50

Slide 50 text

50 ϚϧνϞʔμϧͷະདྷ ࠶ܝ ϚϧνϞʔμϧʹΑͬͯݱ࣮ੈքͷཧղ͕ਐΉ ˣ ਓ޻஌ೳ͕ເͷதͰֶशͰ͖ΔΑ͏ʹͳΔ ˣ ະདྷ༧ଌ͕Մೳͳ௕ظใुΛ࠷େԽ͢Δ "*ΤʔδΣϯτͷొ৔

Slide 51

Slide 51 text

51 ϩʔΧϧ--.ͷ ݱࡏͱະདྷ

Slide 52

Slide 52 text

52 ϩʔΧϧ--.ͷݱࡏ

Slide 53

Slide 53 text

53 ϩʔΧϧ--. ओʹΤοδσόΠε্Ͱಈ࡞͢Δ খن໛ͳݴޠϞσϧ ɾϓϥΠόγʔอޢ ɾΦϑϥΠϯಈ࡞ ɾΧελϚΠζੑ ɾ௿ίετ

Slide 54

Slide 54 text

54 ϩʔΧϧ--.ͷϦϦʔε೥ද ೥ ݄೔-MBNB ݄೔"MQBDB ݄೔-MBNBDQQ ݄೔"MQBDB-P3" ݄೔3FE1BKBNB ݄೔-MBNB ݄೔0QFO*OUFSQSFUFS ݄೔.JTUSBMW ݄೔(FNJOJ/BOP ೥ ݄೔$PNNBOE3 ݄೔.JYUSBMW ݄೔$PNNBOE3 ݄೔-MBNB ݄೔.JTUSBMW ݄೔"QQMF*OUFMMJHFODF ݄೔,"3",63*-.Y# ݄೔-MBNB&-:;"+1#

Slide 55

Slide 55 text

1$ɾεϚʔτϑΥϯʹඪ४౥ࡌ ɾ(FNJOJ/BOP ɹ(PPHMF"OESPJEɾ$ISPNF ɾ"QQMF*OUFMMJHFODFͷΦϯσόΠεج൫Ϟσϧ ɹ"QQMFJ1IPFOɾJ1BEɾ.BD ɾ1IJ4JMJDB ɹ.JDSPTPGU$PQJMPU1$ɹ

Slide 56

Slide 56 text

ίϐϖײ֮Ͱ"*Λར༻ (FNJOJ/BOP "QQMF*OUFMMJHFODF

Slide 57

Slide 57 text

57 ϩʔΧϧ--.ͷະདྷ

Slide 58

Slide 58 text

58 ϩʔΧϧ--.ͷະདྷ ϩʔΧϧ--.ͷੑೳ޲্ ˣ ύʔιφϧ"*Ξγελϯτͷൃల ˣ ύʔιφϧ"*ϩϘοτΞγελϯτͷൃల Project Astra Figure 01

Slide 59

Slide 59 text

59 ɾաڈͷ΍ΓͱΓΛهԱ͠ɺ ɹͦΕʹج͍ͮͯԠ౴ΛΧελϚΠζ ύʔιφϥΠζ ϦΞϧλΠϜͳಈըɾԻ੠ ೖྗςΩετ ϓϥΠόγʔ͕ΑΓॏཁʹʂ

Slide 60

Slide 60 text

60 ύʔιφϥΠζ ϓϥΠόγʔͱΧελϚΠζੑͷ؍఺Ͱ ύʔιφϥΠζ͸ϩʔΧϧ--.Ͱ͋Δ͜ͱ͕ॏཁ ɾϓϥΠόγʔอޢ ɾΦϑϥΠϯಈ࡞ ɾΧελϚΠζੑ ɾ௿ίετ

Slide 61

Slide 61 text

61 ϩʔΧϧ--.Ͱ͸଍Γͳ͍λεΫ͸֎෦πʔϧͰॲཧ ࠓ͸ੑೳతʹϩʔΧϧ--.͸ݫ͍͠ Ϣʔβʔ͕σʔλఏڙΛڐՄͨ͠৔߹ͷΈ ֎෦πʔϧͰॲཧ "QQMF*OUFMMJHFODFͷ αʔόʔج൫Ϟσϧ $IBU(15 (FNJOJ

Slide 62

Slide 62 text

62 ύʔιφϥΠζʹ͸هԱͷ؅ཧ͕ॏཁ ɾݸਓ৘ใ͸ϩʔΧϧͰอ࣋ ɾ೔ͷऴΘΓʹ͸هԱͷ੔ཧ͕ඞཁ (FOFSBUJWF"HFOUT

Slide 63

Slide 63 text

63 ϩʔΧϧ--.ͷະདྷ ࠶ܝ ϩʔΧϧ--.ͷੑೳ޲্ ˣ ύʔιφϧ"*Ξγελϯτͷൃల ˣ ύʔιφϧ"*ϩϘοτΞγελϯτͷൃల Project Astra Figure 01

Slide 64

Slide 64 text

64 ͓͠·͍