RでLangChainっぽいことを やってる話【画像生成(猫)編】

230715 @ Tokyo.R 107th

今日のテーマは？？
・ RでLangChainっぽいこと
・ (サブ) GPT-4を使ったR関数の可視化
・ Rで画像生成(txt2img)した話

モチベーションは？？
・ できるだけ、R で完結したい。

今日話さないこと
・ 細かい実装の話
[ブログ記事] Rで、OpenAI APIの "DALL·E 2" モデルを使って『テキストから画像生成（txt2img）』を試してみた件
https://skume.net/entry/2023/07/15/024905#google_vignette

[GitHub] kumeS/chatAI4R
https://github.com/kumeS/chatAI4R

Transcript

1. !TLVNF
   3Ͱ-BOH$IBJOͬΆ͍͜ͱΛ
   ΍ͬͯΔ࿩ʲը૾ੜ੒ ೣ
   ฤʳ
   !5PLZP3 UI
   

   View Slide

2. ࣗݾ঺հ
   ٱถ ܛ࢚ ,VNF 4BUPTIJ
   !େࡕ৓ͷۙ͘
   ઐ໳όΠΦΠϯϑΥ ੜ෺৘ใֶ
   ͱਓ޻஌ೳͬΆ͍͜ͱ
   ܦྺΞΧσϛΞݚڀऀ ๭3ݚڀॴ ೥
   ɺେֶ ೥ /&%0ϓϩ
   
   
   ݱࡏ%/"γʔέϯαʔΛചͬͯΔ֎ࢿͷϝʔΧʔ ೥͘Β͍
   
   ۙگ
   3ͱ DIBU(15 --.Ͱ༡ΜͰָ͠ΜͰΔ
   ɾ 5PLZP3 ௌߨ ճ͘Β͍ɺॳൃද ೥݄Ҏ߱
   
   ɾ $3"/#JPDPOEVDUPSύοέʔδ։ൃऀ
   ɾ #JPz1BDLzBUIPO όΠΦܥύοέʔδ։ൃऀձٞ
   ओ࠵
   3ྺ೥͘Β͍
   

   View Slide

3. <+BQBO3 -5>(PPHMF*NBHF"SSBZύοέʔδ
   Λ࡞ͬͨ࿩
   IUUQTHJUIVCDPNLVNF4(PPHMF*NBHF"SSBZ
   IUUQTDSBOSQSPKFDUPSHXFCQBDLBHFT(PPHMF*NBHF"SSBZJOEFYIUNM
   IUUQTTQFBLFSEFDLDPNTLVNFKBQBOSW
   ը૾ͷऔಘʢΞϨΠʣ
   ը૾Λ࣍ݩΞϨΠςϯιϧͱͯ֨͠ೲ
   ը૾਺ ෯ϐΫηϧ਺ ߴ͞ϐΫηϧ਺ νϟωϧ਺
   
   ՄࢹԽ
   දࣔ݁Ռ
   ˞YNMɺSWFTUɺ*NBHFɺS5FOTPSͱ͔Ͱ࣮૷
   

   View Slide

4. ࠓ೔ͷςʔϚ͸ʁʁ
   ɾ 3Ͱ-BOH$IBJOͬΆ͍͜ͱ
   ɾ αϒ
   (15Λ࢖ͬͨ3ؔ਺ͷՄࢹԽ
   ɾ 3Ͱը૾ੜ੒ UYUJNH
   ͨ͠࿩
   ࠓ೔࿩͞ͳ͍͜ͱ
   ɾ ࡉ͔͍࣮૷ͷ࿩
   ൃදޙɺεϥΠυڞ༗͠·͢
   <ϒϩάهࣄ>3Ͱɺ0QFO"*"1*ͷ %"--u&ϞσϧΛ࢖ͬͯʰςΩετ
   ͔Βը૾ੜ੒ʢUYUJNHʣʱΛࢼͯ͠Έͨ݅
   <(JU)VC>LVNF4DIBU"*3
   Ϟνϕʔγϣϯ͸ʁʁ
   ɾ Ͱ͖Δ͚ͩɺ3 Ͱ׬͍݁ͨ͠ɻ
   

   View Slide

5. -BOH$IBJOͱ͸ʁ
   ɾ (15ͳͲͷେن໛ݴޠϞσϧ --.
   ͷػೳΛ֦ுͰ͖Δ1ZUIPOϥΠϒϥϦ
   IUUQTHJUIVCDPNIXDIBTFMBOHDIBJO
   ɾ $POUSJCVUPSTӽ͑ͷڊେϓϩδΣΫτ
   ։ൃίϯηϓτ͕͔ͳΓࢀߟʹͳΔ
   

   View Slide

6. -BOH$IBJOϓϩδΣΫτͷࣄྫ
   <ग़య>;FOOهࣄ ·͢Έ!ΤϯδχΞ
   αΫοͱ࢝ΊΔϓϩϯϓτΤϯδχΞϦϯάʲ-BOH$IBJO $IBU(15ʳ $IBQUFS-BOH$IBJOͷ֓ཁͱ࢖͍ํ
   IUUQT[FOOEFWVNJ@NPSJCPPLTQSPNQUFOHJOFFSWJFXFSMBOHDIBJO@PWFSWJFX
   

   View Slide

7. ։ൃதͷ3ύοέʔδΛ࢖ͬͯը૾ੜ੒ͨ͠
   <(JU)VC>LVNF4DIBU"*3
   DIBU"*3$IBUCBTFE"SUJGJDJBM*OUFMMJHFODFGPS3
   %FW൛Πϯετʔϧ
   ࠓճ࢖͏3ؔ਺ͷΈͷΠϯετʔϧ࣮ߦ͢ΔεΫϦϓτ
   TPVSDF IUUQTHJTUHJUIVCVTFSDPOUFOUDPNLVNF4CBBCBDDEDCBGECFSBXC
   EEGDCGEDGDBGFHFOFSBUF*NBHF@GPS@HJTU3
   
   

   View Slide

8. "1*LFZͷઃఆ͸๨Εͣʹ
   <(JU)VC>LVNF4DIBU"*3
   "1*LFZͷઃఆ
   

   View Slide

9. (154,3*7&ϓϥάΠϯͰ
   ؔ਺ͷ࣮ߦϓϩηεΛՄࢹԽ
   <ϒϩάهࣄ>3Ͱɺ0QFO"*"1*ͷ %"--u&ϞσϧΛ࢖ͬͯʰςΩετ͔
   Βը૾ੜ੒ʢUYUJNHʣʱΛࢼͯ͠Έͨ݅
   HFOFSBUF*NBHF3ؔ਺ %JTQMBZؔ਺
   %"--u& μϦ πʔ
   ͷ 8FC"1*Λ࢖༻
   ˞QYը૾ੜ੒ຕ͋ͨΓ ໿ԁ ͔͔Γ·͢
   

   View Slide

10. ը૾ੜ੒ͷ࣮ࢪྫ
    
    ࣗ࡞ϓϩϯϓτXIJUFDBUJTMBOETFBPDFBOKVMZ IPLLBJEP CFBSIBQQZ
    ೔ຊޠ༁നೣͷౡ ւ ւ ݄ ๺ւಓ ۽ ޾ͤ
    ࢄาͯͨ͠Β͍ͦ͏ͳೣ
    ΛεϚϗͯࡱӨ
    <ϒϩάهࣄ>3Ͱɺ0QFO"*"1*ͷ %"--u&ϞσϧΛ࢖ͬͯʰςΩετ͔
    Βը૾ੜ੒ʢUYUJNHʣʱΛࢼͯ͠Έͨ݅
    

    View Slide

11. ը૾ੜ੒ͷ࣮ࢪྫ
    
    ϓϩϯϓτlXIJUFDBUJTMBOETFBPDFBOKVMZ IPLLBJEP CFBSIBQQZzΛೖྗ
    ςΩετʹͯ͠ɺ(15͕࡞੒ͨ͠ϓϩϯϓτ
    ·͔͞ͷೣ͕ઓ͍ग़͢ɻɻɻظ଴஋͕ߴ͔͚ͬͨͩʹɺ(15͘Μ͸
    ૝૾Λ௒͍͖͑ͯ·͢Ͷɻ <ϒϩάهࣄ>3Ͱɺ0QFO"*"1*ͷ %"--u&ϞσϧΛ࢖ͬͯʰς
    Ωετ͔Βը૾ੜ੒ʢUYUJNHʣʱΛࢼͯ͠Έͨ݅
    

    View Slide

12. ը૾ੜ੒ͷ࣮ࢪྫ
    
    ϓϩϯϓτlXIJUFDBUJTMBOETFBPDFBOKVMZ IPLLBJEP CFBSIBQQZzΛೖྗʹɺ
    QIPUPSFBMJTUJDϓϥάΠϯͰϓϩϯϓτੜ੒ͯ͠(15Ͱ࠷దԽͨ͠ϓϩϯϓτ
    <ϒϩάهࣄ>3Ͱɺ0QFO"*"1*ͷ %"--u&ϞσϧΛ࢖ͬͯʰς
    Ωετ͔Βը૾ੜ੒ʢUYUJNHʣʱΛࢼͯ͠Έͨ݅
    .JEKPVSOFZ༻ 1IPUPSFBMJTUJDը૾
    ͷϓϩϯϓτ࡞੒ࢧԉπʔϧ
    ΍΍ը࣭ѱͰ͕͢ɺࣸਅՈͬΆ͍ը૾ੜ੒ʹ੒ޭ͠·ͨ͠
    

    View Slide

13. &OKPZ3
    

    View Slide