Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【Gemini本発売記念】npaka による マルチモーダルとローカルLLMの現在と未来
Search
npaka
June 27, 2024
Programming
3
1.9k
【Gemini本発売記念】npaka による マルチモーダルとローカルLLMの現在と未来
npaka
June 27, 2024
Tweet
Share
More Decks by npaka
See All by npaka
【OpenAI本出版記念】npakaによるOpenAI最新技術情報と技術情報キャッチアップ術
npaka
9
2k
どうなる?2024年のLLM
npaka
3
790
Other Decks in Programming
See All in Programming
推しメソッドsource_locationのしくみを探る - はじめてRubyのコードを読んでみた
nobu09
2
130
『テスト書いた方が開発が早いじゃん』を解き明かす #phpcon_nagoya
o0h
PRO
8
2.3k
ファインディLT_ポケモン対戦の定量的分析
fufufukakaka
0
910
DRFを少しずつ オニオンアーキテクチャに寄せていく DjangoCongress JP 2025
nealle
2
260
仕様変更に耐えるための"今の"DRY原則を考える
mkmk884
9
3.1k
パスキーのすべて ── 導入・UX設計・実装の紹介 / 20250213 パスキー開発者の集い
kuralab
3
880
Introduction to kotlinx.rpc
arawn
0
750
Amazon Q Developer Proで効率化するAPI開発入門
seike460
PRO
0
120
Jakarta EE meets AI
ivargrimstad
0
290
PHP ステートレス VS ステートフル 状態管理と並行性 / php-stateless-stateful
ytake
0
110
Ça bouge du côté des animations CSS !
goetter
2
140
SwiftUI Viewの責務分離
elmetal
PRO
2
260
Featured
See All Featured
Unsuck your backbone
ammeep
669
57k
Large-scale JavaScript Application Architecture
addyosmani
511
110k
For a Future-Friendly Web
brad_frost
176
9.6k
Designing Experiences People Love
moore
140
23k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.1k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
33
2.8k
Become a Pro
speakerdeck
PRO
26
5.2k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
49k
Typedesign – Prime Four
hannesfritz
40
2.5k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
330
21k
StorybookのUI Testing Handbookを読んだ
zakiyama
28
5.5k
Java REST API Framework Comparison - PWX 2021
mraible
29
8.4k
Transcript
None
2 ࣗݾհ ɾཹӳҰ ;Δ͔ΘͻͰ͔ͣ ɾϋϯυϧOQBLB ɾגࣜձࣾθϧϖϜ ɾϓϩάϥϜྺ
ɾΠϯλʔωοτྺ ɾٕज़ॻྺ ɹɹؒϖʔεͰ΄Ͳ
3 OPUF
4 ɾΠϯλʔωοτɾਓੜ໋ɾਓແ ɾ+BWB ɾ.JOE4UPSNT
5 ɾΨϥέʔɾεϚʔτϑΥϯ ɾ.JDSPTPGU3PCPUJDT4UVEJP ɾJ40#05ɾωοτλϯαʔɾ&.."
6 ɾਂֶशɾڧԽֶश ɾ%FFQ.JOE"MQIB(P ɾ0QFO"*(ZNɾ#BTFMJOFT ɾUPJP
7 ɾੜ"*ɾ--.ɾ"*ΤʔδΣϯτ ɾϚϧνϞʔμϧɾϩʔΧϧ--. ɾύʔιφϧ"*Ξγελϯτ ɾύʔιφϧ"*ϩϘοτ
8 ΞδΣϯμ
9 ΞδΣϯμ (FNJOJͷ࠷৽ٕज़ใ ɹ(FNJOJຊͷհ ɹ(FNJOJͷ࠷৽ใ ɹ-BOH$IBJOɾ-MBNB*OEFYͷ࠷৽ใ ϚϧνϞʔμϧͱϩʔΧϧ--.ͷݱࡏͱະདྷ ɹϚϧνϞʔμϧͷݱࡏͱະདྷ ɹϩʔΧϧ--.ͷݱࡏͱະདྷ
10 (FNJOJͷ࠷৽ٕज़ใ
11 (FNJOJຊͷհ
12 (FNJOJຊͷհ ɾϘʔϯσδλϧΦϯϥΠϯϒοΫετΞ IUUQTXHOPCTTIPQQSPKQ QJE ɾBNB[PO ԁ IUUQTXXXBNB[PODPKQEQ
(PPHMF(FNJOJʗ -MBNB*OEFYʗ-BOH$IBJO ਓೳϓϩάϥϛϯά࣮ફೖ
13 (FNJOJຊͷ࣍ ষ(FNJOJͷ֓ཁͱ͡Ίํ ষ(FNJOJͷར༻๏ ষ1ZUIPO։ൃڥͷ४උ ষ(FNJOJ"1*ʢ1ZUIPOฤʣ ষ(FNJOJ"1*ʢ"OESPJEฤʣ ষ(FNJOJ"1*ʢJ04ฤʣ ষ-MBNB*OEFY ষ-BOH$IBJO
݄ͷେܕΞοϓσʔτʹରԠʂ
14 (FNJOJͷ࠷৽ใ
15 (FNJOJͷϦϦʔεද ݄1B-. ݄#BSE ݄1B-. ݄(FNJOJ6MUSBɾ1SPɾ/BOP ݄#BSEΛ(FNJOJʹվ໊ ݄(FNJOJ1SPϓϨϏϡʔ൛
݄(FNJOJ'MBTIϓϨϏϡʔ൛ ݄(FNJOJ1SPɾ'MBTI҆ఆ൛
16 (FNJOJͷϞσϧҰཡ ɾ(FNJOJ6MUSBɾ(FNJOJ1SP ɾ(FNJOJ1SPɾ(FNJOJ'MBTI ɾ(FNJOJ/BOP
17 ຊޠੑೳͷϕϯνϚʔΫͰτοϓ ݄
18 ສτʔΫϯͷίϯςΩετΟϯυ
19 ϚϧνϞʔμϧ
20 (FNJOJͱ(15ͷରൺ ɾ(FNJOJ ɾ(FNJOJ ɾ(PPHFM"*(FNJOJ"1* ɾ(PPHMF"*4UVEJP ɾ7FSUFY"*(FNJOJ"1* ɾ7FSUFY"*4UVEJP ɾ$IBU(15 ɾ(15P
ɾ0QFO"*"1* ɾ1MBZHSPVOE ɾ"[VSF0QFO"*4FSWJDF ɾ"[VSF0QFO"*4UVEJP
21 ϩʔΧϧ--. ɾ(FNJOJ/BOP ɾ(FNNB ɾ$PEF(FNNBɾ3FDDVSFOU(FNNBɾ1BMJ(FNNB
22 -BOH$IBJOɾ -MBNB*OEFYͷ࠷৽ใ
23 -BOH$IBJOͱ-MBNB*OEFY ɾ-BOH$IBJO"*ΤʔδΣϯτ ɾ-MBNB*OEFY3"( ɾ--.ΞϓϦΛߏங͢ΔϑϨʔϜϫʔΫ ɾ--.ΞϓϦͷະདྷΛߟ͑ΔίϛϡχςΟ
24 -BOH$IBJO ɾMBOHDIBJODPSF ɹMBOHDIBJODPNNVOJUZ ɹMBOHDIBJO ɹͷύοέʔδʹ ɾ$IBJOΠϯλϑΣʔε ɹɹˣ ɹ-$&- ɹ-BOH(SBQI
25 ΤʔδΣϯτ
26 ೝΞʔΩςΫνϟ --.͕ͲͷΑ͏ʹใΛॲཧ͠ԠΛੜ͢Δ͔Λ ཧղ͢ΔͨΊͷΈ
27 -MBNB*OEFY ɾMMBNBJOEFYDPSFͱݸผͷ*OUFHSBUJPOʹ ɾݸผͷ*OUFHSBUJPOΛ-MBNB)VCͰཧ ɾ4FSWJDF$POUFYUˠ4FUUJOHT
28 3"( 3FUSJFWBM"VHNFOUFE(FOFSBUJPO
29 ϩϯάίϯςΩετ--. ʹରԠͨ͠3"(ͷ৽ΞʔΩςΫνϟ ɾνϟϯΫͷௐ͕༰қʹͳΔ ɾࢥߟ࿈ΤʔδΣϯτͷௐ͕༰қʹͳΔ ɾཁ͕༰қʹͳΔ ɾهԱͷߏங͕༰қʹͳΓΔ ɾ.τʔΫϯେنͳจॻίʔύεʹेͰͳ͍ ɾຒΊࠐΈϞσϧͷίϯςΩετ͍·· ɾίετͱϨΠςϯγʔ
30 ϚϧνϞʔμϧͱ ϩʔΧϧ--.ͷݱࡏͱະདྷ
31 ϚϧνϞʔμϧͷ ݱࡏͱະདྷ
32 ϚϧνϞʔμϧͷݱࡏ
33 ϚϧνϞʔμϧ ใίϛϡχέʔγϣϯʹ͓͍ͯɺ ෳͷҟͳΔײ֮ഔମΛΈ߹Θͤͯ༻͢Δ͜ͱ ɾςΩετ ɾϏδϡΞϧʢը૾ɾಈըʣ ɾΦʔσΟΦʢԻʣ ɾϋϓςΟΫε ৮֮
ɾͦͷଞͷੈքΛཧղ͢ΔͨΊͷใ
34 7JEFPUP5FYU (FNJOJ (c) copyright 2008, Blender Foundation / www.bigbuckbunny.org
and licensed under the Creative Commons Attribution 3.0 License. ಈը͔ΒςΩετੜ
35 "VEJPUP5FYU (FNJOJ Ի͔ΒςΩετੜ
36 *NBHFɾ5FYUUP*NBHF (15P ը૾ɾςΩετ͔Βը૾ੜ
37 *NBHFɾ5FYUUP7JEFP %SFBN.BDIJOF ը૾ɾςΩετ͔Βಈըੜ
TextɾAudio-to-Audio (Suno) ςΩετɾΦʔσΟΦ͔ΒՎੜ
VideoɾText-to-Audio (DeepMind) ಈըɾςΩετ͔ΒΦʔσΟΦੜ
40 ϚϧνϞʔμϧͷະདྷ
41 ϚϧνϞʔμϧͷະདྷ ϚϧνϞʔμϧʹΑͬͯੈքͷཧղ͕ਐΉ ˣ ਓೳ͕ເͷதͰֶशͰ͖ΔΑ͏ʹͳΔ ˣ ະདྷ༧ଌ͕ՄೳͳظใुΛ࠷େԽ͢Δ "*ΤʔδΣϯτͷొ
42 Ҏલͷ %FFQ.JOEͱ0QFO"*
43 ڧԽֶशYήʔϜ"* 0QFO"*'JWF "MQIB4UBS
44 ڧԽֶशYήʔϜ ɾήʔϜݱ࣮ੈքͷλεΫͷϞσϧԽ ɾήʔϜΛ߈ུͰ͖Δ"* ɾݱ࣮ੈքͷλεΫΛ͜ͳͤΔ"*
45 ڧԽֶश ΤʔδΣϯτ͕ڥͱ૬ޓ࡞༻͠ͳ͕Β ڥ͔ΒͷใुΛड͚ͯߦಈΛֶश ظใुΑΓظใु͕ॏཁ
46 ڧԽֶशͷେ͖ͳ 1. ඇৗʹଟ͘ͷֶशσʔλΛඞཁͱ͢Δɻ 2. ڥλεΫͷมԽʹ͏·͘ରԠͰ͖ͳ͍ɻ ਓೳ͕ເͷதͰֶश ੈքϞσϧ
47 ਓޒײͰײͨ͡ੈքͷใͷஅยΛݩʹ ಄ͷதͰԾੈքΛߏங͢Δ ੈքϞσϧ
48 ҎલͷੈքϞσϧ Car RacingͱDoomֶशͰ͖ͨ ιχοΫݫ͍͠
49 ϚϧνϞʔμϧੈքϞσϧͷ࣮ݱͷجૅ ཧੈքΛγϛϡϨʔτ͠ɺͦͷੈքͰߦಈՄೳ 4PSB
50 ϚϧνϞʔμϧͷະདྷ ࠶ܝ ϚϧνϞʔμϧʹΑͬͯݱ࣮ੈքͷཧղ͕ਐΉ ˣ ਓೳ͕ເͷதͰֶशͰ͖ΔΑ͏ʹͳΔ ˣ ະདྷ༧ଌ͕ՄೳͳظใुΛ࠷େԽ͢Δ "*ΤʔδΣϯτͷొ
51 ϩʔΧϧ--.ͷ ݱࡏͱະདྷ
52 ϩʔΧϧ--.ͷݱࡏ
53 ϩʔΧϧ--. ओʹΤοδσόΠε্Ͱಈ࡞͢Δ খنͳݴޠϞσϧ ɾϓϥΠόγʔอޢ ɾΦϑϥΠϯಈ࡞ ɾΧελϚΠζੑ ɾίετ
54 ϩʔΧϧ--.ͷϦϦʔεද ݄-MBNB ݄"MQBDB ݄-MBNBDQQ ݄"MQBDB-P3" ݄3FE1BKBNB ݄-MBNB ݄0QFO*OUFSQSFUFS
݄.JTUSBMW ݄(FNJOJ/BOP ݄$PNNBOE3 ݄.JYUSBMW ݄$PNNBOE3 ݄-MBNB ݄.JTUSBMW ݄"QQMF*OUFMMJHFODF ݄,"3",63*-.Y# ݄-MBNB&-:;"+1#
1$ɾεϚʔτϑΥϯʹඪ४ࡌ ɾ(FNJOJ/BOP ɹ(PPHMF"OESPJEɾ$ISPNF ɾ"QQMF*OUFMMJHFODFͷΦϯσόΠεج൫Ϟσϧ ɹ"QQMFJ1IPFOɾJ1BEɾ.BD ɾ1IJ4JMJDB ɹ.JDSPTPGU$PQJMPU 1$ɹ
ίϐϖײ֮Ͱ"*Λར༻ (FNJOJ/BOP "QQMF*OUFMMJHFODF
57 ϩʔΧϧ--.ͷະདྷ
58 ϩʔΧϧ--.ͷະདྷ ϩʔΧϧ--.ͷੑೳ্ ˣ ύʔιφϧ"*Ξγελϯτͷൃల ˣ ύʔιφϧ"*ϩϘοτΞγελϯτͷൃల Project Astra Figure
01
59 ɾաڈͷΓͱΓΛهԱ͠ɺ ɹͦΕʹج͍ͮͯԠΛΧελϚΠζ ύʔιφϥΠζ ϦΞϧλΠϜͳಈըɾԻ ೖྗςΩετ ϓϥΠόγʔ͕ΑΓॏཁʹʂ
60 ύʔιφϥΠζ ϓϥΠόγʔͱΧελϚΠζੑͷ؍Ͱ ύʔιφϥΠζϩʔΧϧ--.Ͱ͋Δ͜ͱ͕ॏཁ ɾϓϥΠόγʔอޢ ɾΦϑϥΠϯಈ࡞ ɾΧελϚΠζੑ ɾίετ
61 ϩʔΧϧ--.ͰΓͳ͍λεΫ֎෦πʔϧͰॲཧ ࠓੑೳతʹϩʔΧϧ--.ݫ͍͠ Ϣʔβʔ͕σʔλఏڙΛڐՄͨ͠߹ͷΈ ֎෦πʔϧͰॲཧ "QQMF*OUFMMJHFODFͷ αʔόʔج൫Ϟσϧ $IBU(15 (FNJOJ
62 ύʔιφϥΠζʹهԱͷཧ͕ॏཁ ɾݸਓใϩʔΧϧͰอ࣋ ɾͷऴΘΓʹهԱͷཧ͕ඞཁ (FOFSBUJWF"HFOUT
63 ϩʔΧϧ--.ͷະདྷ ࠶ܝ ϩʔΧϧ--.ͷੑೳ্ ˣ ύʔιφϧ"*Ξγελϯτͷൃల ˣ ύʔιφϧ"*ϩϘοτΞγελϯτͷൃల Project Astra
Figure 01
64 ͓͠·͍