Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【Gemini本発売記念】npaka による マルチモーダルとローカルLLMの現在と未来
Search
npaka
June 27, 2024
Programming
3
1.9k
【Gemini本発売記念】npaka による マルチモーダルとローカルLLMの現在と未来
npaka
June 27, 2024
Tweet
Share
More Decks by npaka
See All by npaka
【OpenAI本出版記念】npakaによるOpenAI最新技術情報と技術情報キャッチアップ術
npaka
9
2k
どうなる?2024年のLLM
npaka
3
770
Other Decks in Programming
See All in Programming
[JAWS-UG横浜 #80] うわっ…今年のServerless アップデート、少なすぎ…?
maroon1st
0
120
shadcn/uiを使ってReactでの開発を加速させよう!
lef237
0
310
rails newと同時に型を書く
aki19035vc
6
730
アクターシステムに頼らずEvent Sourcingする方法について
j5ik2o
6
710
BEエンジニアがFEの業務をできるようになるまでにやったこと
yoshida_ryushin
0
220
カスタムエフェクトプラグインで Atom Craft をいい感じにする@ADX / ADX LE勉強会 vol.1
cox2
0
110
GitHub CopilotでTypeScriptの コード生成するワザップ
starfish719
26
6k
Запуск 1С:УХ в крупном энтерпрайзе: мечта и реальность ПМа
lamodatech
0
960
ChatGPT とつくる PHP で OS 実装
memory1994
PRO
3
190
Fixstars高速化コンテスト2024準優勝解法
eijirou
0
190
traP の部内 ISUCON とそれを支えるポータル / PISCON Portal
ikura_hamu
0
210
Simple組み合わせ村から大都会Railsにやってきた俺は / Coming to Rails from the Simple
moznion
3
2.7k
Featured
See All Featured
Large-scale JavaScript Application Architecture
addyosmani
510
110k
Rails Girls Zürich Keynote
gr2m
94
13k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
120k
Why You Should Never Use an ORM
jnunemaker
PRO
54
9.2k
A designer walks into a library…
pauljervisheath
205
24k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
26
1.9k
Practical Orchestrator
shlominoach
186
10k
Music & Morning Musume
bryan
46
6.3k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
28
4.5k
Building Adaptive Systems
keathley
38
2.4k
For a Future-Friendly Web
brad_frost
176
9.5k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
3
360
Transcript
None
2 ࣗݾհ ɾཹӳҰ ;Δ͔ΘͻͰ͔ͣ ɾϋϯυϧOQBLB ɾגࣜձࣾθϧϖϜ ɾϓϩάϥϜྺ
ɾΠϯλʔωοτྺ ɾٕज़ॻྺ ɹɹؒϖʔεͰ΄Ͳ
3 OPUF
4 ɾΠϯλʔωοτɾਓੜ໋ɾਓແ ɾ+BWB ɾ.JOE4UPSNT
5 ɾΨϥέʔɾεϚʔτϑΥϯ ɾ.JDSPTPGU3PCPUJDT4UVEJP ɾJ40#05ɾωοτλϯαʔɾ&.."
6 ɾਂֶशɾڧԽֶश ɾ%FFQ.JOE"MQIB(P ɾ0QFO"*(ZNɾ#BTFMJOFT ɾUPJP
7 ɾੜ"*ɾ--.ɾ"*ΤʔδΣϯτ ɾϚϧνϞʔμϧɾϩʔΧϧ--. ɾύʔιφϧ"*Ξγελϯτ ɾύʔιφϧ"*ϩϘοτ
8 ΞδΣϯμ
9 ΞδΣϯμ (FNJOJͷ࠷৽ٕज़ใ ɹ(FNJOJຊͷհ ɹ(FNJOJͷ࠷৽ใ ɹ-BOH$IBJOɾ-MBNB*OEFYͷ࠷৽ใ ϚϧνϞʔμϧͱϩʔΧϧ--.ͷݱࡏͱະདྷ ɹϚϧνϞʔμϧͷݱࡏͱະདྷ ɹϩʔΧϧ--.ͷݱࡏͱະདྷ
10 (FNJOJͷ࠷৽ٕज़ใ
11 (FNJOJຊͷհ
12 (FNJOJຊͷհ ɾϘʔϯσδλϧΦϯϥΠϯϒοΫετΞ IUUQTXHOPCTTIPQQSPKQ QJE ɾBNB[PO ԁ IUUQTXXXBNB[PODPKQEQ
(PPHMF(FNJOJʗ -MBNB*OEFYʗ-BOH$IBJO ਓೳϓϩάϥϛϯά࣮ફೖ
13 (FNJOJຊͷ࣍ ষ(FNJOJͷ֓ཁͱ͡Ίํ ষ(FNJOJͷར༻๏ ষ1ZUIPO։ൃڥͷ४උ ষ(FNJOJ"1*ʢ1ZUIPOฤʣ ষ(FNJOJ"1*ʢ"OESPJEฤʣ ষ(FNJOJ"1*ʢJ04ฤʣ ষ-MBNB*OEFY ষ-BOH$IBJO
݄ͷେܕΞοϓσʔτʹରԠʂ
14 (FNJOJͷ࠷৽ใ
15 (FNJOJͷϦϦʔεද ݄1B-. ݄#BSE ݄1B-. ݄(FNJOJ6MUSBɾ1SPɾ/BOP ݄#BSEΛ(FNJOJʹվ໊ ݄(FNJOJ1SPϓϨϏϡʔ൛
݄(FNJOJ'MBTIϓϨϏϡʔ൛ ݄(FNJOJ1SPɾ'MBTI҆ఆ൛
16 (FNJOJͷϞσϧҰཡ ɾ(FNJOJ6MUSBɾ(FNJOJ1SP ɾ(FNJOJ1SPɾ(FNJOJ'MBTI ɾ(FNJOJ/BOP
17 ຊޠੑೳͷϕϯνϚʔΫͰτοϓ ݄
18 ສτʔΫϯͷίϯςΩετΟϯυ
19 ϚϧνϞʔμϧ
20 (FNJOJͱ(15ͷରൺ ɾ(FNJOJ ɾ(FNJOJ ɾ(PPHFM"*(FNJOJ"1* ɾ(PPHMF"*4UVEJP ɾ7FSUFY"*(FNJOJ"1* ɾ7FSUFY"*4UVEJP ɾ$IBU(15 ɾ(15P
ɾ0QFO"*"1* ɾ1MBZHSPVOE ɾ"[VSF0QFO"*4FSWJDF ɾ"[VSF0QFO"*4UVEJP
21 ϩʔΧϧ--. ɾ(FNJOJ/BOP ɾ(FNNB ɾ$PEF(FNNBɾ3FDDVSFOU(FNNBɾ1BMJ(FNNB
22 -BOH$IBJOɾ -MBNB*OEFYͷ࠷৽ใ
23 -BOH$IBJOͱ-MBNB*OEFY ɾ-BOH$IBJO"*ΤʔδΣϯτ ɾ-MBNB*OEFY3"( ɾ--.ΞϓϦΛߏங͢ΔϑϨʔϜϫʔΫ ɾ--.ΞϓϦͷະདྷΛߟ͑ΔίϛϡχςΟ
24 -BOH$IBJO ɾMBOHDIBJODPSF ɹMBOHDIBJODPNNVOJUZ ɹMBOHDIBJO ɹͷύοέʔδʹ ɾ$IBJOΠϯλϑΣʔε ɹɹˣ ɹ-$&- ɹ-BOH(SBQI
25 ΤʔδΣϯτ
26 ೝΞʔΩςΫνϟ --.͕ͲͷΑ͏ʹใΛॲཧ͠ԠΛੜ͢Δ͔Λ ཧղ͢ΔͨΊͷΈ
27 -MBNB*OEFY ɾMMBNBJOEFYDPSFͱݸผͷ*OUFHSBUJPOʹ ɾݸผͷ*OUFHSBUJPOΛ-MBNB)VCͰཧ ɾ4FSWJDF$POUFYUˠ4FUUJOHT
28 3"( 3FUSJFWBM"VHNFOUFE(FOFSBUJPO
29 ϩϯάίϯςΩετ--. ʹରԠͨ͠3"(ͷ৽ΞʔΩςΫνϟ ɾνϟϯΫͷௐ͕༰қʹͳΔ ɾࢥߟ࿈ΤʔδΣϯτͷௐ͕༰қʹͳΔ ɾཁ͕༰қʹͳΔ ɾهԱͷߏங͕༰қʹͳΓΔ ɾ.τʔΫϯେنͳจॻίʔύεʹेͰͳ͍ ɾຒΊࠐΈϞσϧͷίϯςΩετ͍·· ɾίετͱϨΠςϯγʔ
30 ϚϧνϞʔμϧͱ ϩʔΧϧ--.ͷݱࡏͱະདྷ
31 ϚϧνϞʔμϧͷ ݱࡏͱະདྷ
32 ϚϧνϞʔμϧͷݱࡏ
33 ϚϧνϞʔμϧ ใίϛϡχέʔγϣϯʹ͓͍ͯɺ ෳͷҟͳΔײ֮ഔମΛΈ߹Θͤͯ༻͢Δ͜ͱ ɾςΩετ ɾϏδϡΞϧʢը૾ɾಈըʣ ɾΦʔσΟΦʢԻʣ ɾϋϓςΟΫε ৮֮
ɾͦͷଞͷੈքΛཧղ͢ΔͨΊͷใ
34 7JEFPUP5FYU (FNJOJ (c) copyright 2008, Blender Foundation / www.bigbuckbunny.org
and licensed under the Creative Commons Attribution 3.0 License. ಈը͔ΒςΩετੜ
35 "VEJPUP5FYU (FNJOJ Ի͔ΒςΩετੜ
36 *NBHFɾ5FYUUP*NBHF (15P ը૾ɾςΩετ͔Βը૾ੜ
37 *NBHFɾ5FYUUP7JEFP %SFBN.BDIJOF ը૾ɾςΩετ͔Βಈըੜ
TextɾAudio-to-Audio (Suno) ςΩετɾΦʔσΟΦ͔ΒՎੜ
VideoɾText-to-Audio (DeepMind) ಈըɾςΩετ͔ΒΦʔσΟΦੜ
40 ϚϧνϞʔμϧͷະདྷ
41 ϚϧνϞʔμϧͷະདྷ ϚϧνϞʔμϧʹΑͬͯੈքͷཧղ͕ਐΉ ˣ ਓೳ͕ເͷதͰֶशͰ͖ΔΑ͏ʹͳΔ ˣ ະདྷ༧ଌ͕ՄೳͳظใुΛ࠷େԽ͢Δ "*ΤʔδΣϯτͷొ
42 Ҏલͷ %FFQ.JOEͱ0QFO"*
43 ڧԽֶशYήʔϜ"* 0QFO"*'JWF "MQIB4UBS
44 ڧԽֶशYήʔϜ ɾήʔϜݱ࣮ੈքͷλεΫͷϞσϧԽ ɾήʔϜΛ߈ུͰ͖Δ"* ɾݱ࣮ੈքͷλεΫΛ͜ͳͤΔ"*
45 ڧԽֶश ΤʔδΣϯτ͕ڥͱ૬ޓ࡞༻͠ͳ͕Β ڥ͔ΒͷใुΛड͚ͯߦಈΛֶश ظใुΑΓظใु͕ॏཁ
46 ڧԽֶशͷେ͖ͳ 1. ඇৗʹଟ͘ͷֶशσʔλΛඞཁͱ͢Δɻ 2. ڥλεΫͷมԽʹ͏·͘ରԠͰ͖ͳ͍ɻ ਓೳ͕ເͷதͰֶश ੈքϞσϧ
47 ਓޒײͰײͨ͡ੈքͷใͷஅยΛݩʹ ಄ͷதͰԾੈքΛߏங͢Δ ੈքϞσϧ
48 ҎલͷੈքϞσϧ Car RacingͱDoomֶशͰ͖ͨ ιχοΫݫ͍͠
49 ϚϧνϞʔμϧੈքϞσϧͷ࣮ݱͷجૅ ཧੈքΛγϛϡϨʔτ͠ɺͦͷੈքͰߦಈՄೳ 4PSB
50 ϚϧνϞʔμϧͷະདྷ ࠶ܝ ϚϧνϞʔμϧʹΑͬͯݱ࣮ੈքͷཧղ͕ਐΉ ˣ ਓೳ͕ເͷதͰֶशͰ͖ΔΑ͏ʹͳΔ ˣ ະདྷ༧ଌ͕ՄೳͳظใुΛ࠷େԽ͢Δ "*ΤʔδΣϯτͷొ
51 ϩʔΧϧ--.ͷ ݱࡏͱະདྷ
52 ϩʔΧϧ--.ͷݱࡏ
53 ϩʔΧϧ--. ओʹΤοδσόΠε্Ͱಈ࡞͢Δ খنͳݴޠϞσϧ ɾϓϥΠόγʔอޢ ɾΦϑϥΠϯಈ࡞ ɾΧελϚΠζੑ ɾίετ
54 ϩʔΧϧ--.ͷϦϦʔεද ݄-MBNB ݄"MQBDB ݄-MBNBDQQ ݄"MQBDB-P3" ݄3FE1BKBNB ݄-MBNB ݄0QFO*OUFSQSFUFS
݄.JTUSBMW ݄(FNJOJ/BOP ݄$PNNBOE3 ݄.JYUSBMW ݄$PNNBOE3 ݄-MBNB ݄.JTUSBMW ݄"QQMF*OUFMMJHFODF ݄,"3",63*-.Y# ݄-MBNB&-:;"+1#
1$ɾεϚʔτϑΥϯʹඪ४ࡌ ɾ(FNJOJ/BOP ɹ(PPHMF"OESPJEɾ$ISPNF ɾ"QQMF*OUFMMJHFODFͷΦϯσόΠεج൫Ϟσϧ ɹ"QQMFJ1IPFOɾJ1BEɾ.BD ɾ1IJ4JMJDB ɹ.JDSPTPGU$PQJMPU 1$ɹ
ίϐϖײ֮Ͱ"*Λར༻ (FNJOJ/BOP "QQMF*OUFMMJHFODF
57 ϩʔΧϧ--.ͷະདྷ
58 ϩʔΧϧ--.ͷະདྷ ϩʔΧϧ--.ͷੑೳ্ ˣ ύʔιφϧ"*Ξγελϯτͷൃల ˣ ύʔιφϧ"*ϩϘοτΞγελϯτͷൃల Project Astra Figure
01
59 ɾաڈͷΓͱΓΛهԱ͠ɺ ɹͦΕʹج͍ͮͯԠΛΧελϚΠζ ύʔιφϥΠζ ϦΞϧλΠϜͳಈըɾԻ ೖྗςΩετ ϓϥΠόγʔ͕ΑΓॏཁʹʂ
60 ύʔιφϥΠζ ϓϥΠόγʔͱΧελϚΠζੑͷ؍Ͱ ύʔιφϥΠζϩʔΧϧ--.Ͱ͋Δ͜ͱ͕ॏཁ ɾϓϥΠόγʔอޢ ɾΦϑϥΠϯಈ࡞ ɾΧελϚΠζੑ ɾίετ
61 ϩʔΧϧ--.ͰΓͳ͍λεΫ֎෦πʔϧͰॲཧ ࠓੑೳతʹϩʔΧϧ--.ݫ͍͠ Ϣʔβʔ͕σʔλఏڙΛڐՄͨ͠߹ͷΈ ֎෦πʔϧͰॲཧ "QQMF*OUFMMJHFODFͷ αʔόʔج൫Ϟσϧ $IBU(15 (FNJOJ
62 ύʔιφϥΠζʹهԱͷཧ͕ॏཁ ɾݸਓใϩʔΧϧͰอ࣋ ɾͷऴΘΓʹهԱͷཧ͕ඞཁ (FOFSBUJWF"HFOUT
63 ϩʔΧϧ--.ͷະདྷ ࠶ܝ ϩʔΧϧ--.ͷੑೳ্ ˣ ύʔιφϧ"*Ξγελϯτͷൃల ˣ ύʔιφϧ"*ϩϘοτΞγελϯτͷൃల Project Astra
Figure 01
64 ͓͠·͍