Delta Lakeを用いた LLM処理基盤 / Delta Lake with LLM on Dataplatform

Delta Lakeを用いた LLM処理基盤

Transcript

1. %FMUB
   -BLFΛ༻͍ͨ
   --.ॲཧج൫ͱ׆༻ࣄྫ ౡాխ೥ 2023/12 Forkwell × Databricksʰ σʔλج൫ × LLM ʱษڧձ
2. ࣗݾ঺հ w ౡాխ೥
   !TNENUT
   w σʔλϓϥοτϑΥʔϜઃܭऀ
   w גࣜձࣾ4BMFT/PX
   ٕज़ސ໰
   w %BUBCSJDLT
   +&%"*
   .BTUFS
   w ʮ-BLFIPVTFϓϥοτϑΥʔϜͷ࡞Γํʯͷஶऀ
3. 4BMFT/PX w ʮσʔλͱςΫϊϩδʔͰɺಇ͖ํΛมֵ͢ΔɻʯΛϛογϣϯʹܝ͛Δ4BB4اۀ
   w ೔ຊࢢ৔ʹ͓͚Δʮ4BB4
   
   %BUBCBTFʯͷઌۦ͚ͱͯ͠ɺ4BB4ɿ4BMFT/PXͱɺɹɹɹɹɹ
   Φ΢ϯυϝσΟΞɿ4BMFT/PX
   %#Λల։
   w 4BMFT/PX͸ɺࠃ಺ສࣾΛ௒͑Δاۀʹؔ͢Δࣄۀ಺༰ɺ࠾༻ɺࢿۚௐୡɺϓϨεϦ Ϧʔεɺలࣔձग़లͳͲͷϦΞϧλΠϜੑͷߴ͍৘ใΛߴ଎ʹݕࡧՄೳͱ͢ΔαʔϏε
4. %FMUB
   -BLF
   ͱ
   ϝμϦΦϯΞʔΩςΫνϟ w %FMUB
   -BLF
   ɿ
   "QBDIF
   4QBSLɺ5SJOPͳͲ͔Β*0Ͱ͖ΔετϨʔδͷ࣮૷
   
   w λΠϜτϥϕϧػೳɺ"$*%ಛੑͷอ࣋ɺ.FSHFจͳͲΛαϙʔτ
   w ϝμϦΦϯΞʔΩςΫνϟɿσʔλΛந৅౓ॱʹॲཧ͢ΔΞʔΩςΫνϟߏ੒
   w #SPO[F
   
   4JMWFS
   
   (PMEͷॱ൪ʹཚࡶͳσʔλ͔Βҙຯͷ͋Δ৘ใʹ౷߹
   w ࠨ͔Βӈ͸ࢀর͠ͳ͍͜ͱͰσʔλॲཧͱσʔλߏ଄ͷҰ؏ੑΛҡ࣋͢Δ
   w ݪଇͱͯ͠(PMEεςʔδͷσʔλΛ.-ʢ--.ʣ΍౷ܭϞσϧ౳ʹར༻͢Δ
5. ΞʔΩςΫνϟߏ੒ w %BUBCSJDLTʹΑΔ&5-ॲཧͱ4DSBQZʹΑΔ$SBXMFS͕جຊࠎ֨
   w "NB[PO
   4্ʹ%FMUB
   -BLFʢ-BLFIPVTFϓϥοτϑΥʔϜʣΛߏங
   w 1PTUHSF42-
   
   3%4ʢ"VSPSBʣΛςϯϙϥϦσʔλྖҬͱͯ͠ซ༻
   w όονॲཧͷঢ়ଶ؅ཧ΍ΫϨϯδϯάલͷσʔλΛ֨ೲ͠ɺ%FMUB
   -BLFʹҠಈ
   w "VSPSB͸5J#·Ͱࣗಈ֦ுॖখͰ͖Δ42-ΤϯδϯͷͨΊѻ͍΍͍͢
6. σʔλϓϥοτϑΥʔϜʹ͓͚Δཁ݅ w σʔλϓϥοτϑΥʔϜʹ͓͚Δཁ݅ͱ͸ɺ࣍ͷཁ݅ʹେผ͞ΕΔ
   w ;Δ·͍ཁ݅ɿΞϓϦέʔγϣϯͰୡ੒͍ͨ͠;Δ·͍͕ఆٛ͞ΕΔ
   w σʔλཁ݅ɿ;Δ·͍ཁ݅ͰඞཁͱͳΔσʔλ͕ఆٛ͞ΕΔ
7. --.ͱࣄۀυϝΠϯ w 4BMFT/PXͷ--.׆༻ʹ͓͚Δɺʮ;Δ·͍ཁ݅ʯͱʮσʔλཁ݅ʯ
   w ;Δ·͍ཁ݅ɿ೔ຊͷશاۀͷձࣾ֓ཁΛ4BMFT/PX্ʹද͍ࣔͨ͠
   w σʔλཁ݅ɹɿԿΒ͔ͷํ๏Ͱʮձࣾ֓ཁʯΛੜ੒ɺ֨ೲ͍ͨ͠
8. 4BMFT/PXʹٻΊΒΕΔσʔλཁ݅ w 4BMFT/PXͷσʔλཁ݅͸ɺʮߴ඼࣭σʔλʯ͕ઈରతʹٻΊΒΕΔ
   w ߴ඼࣭σʔλʹ͸࣍ͷΑ͏ͳཁؚ͕݅·ΕΔ
   w ࠷৽ͷσʔλɺ͔ͭɺޡΓ͕ແ͍
   w ׬શੑʢΠϯςάϥϦςΟʣ͕͋Δʢॏෳ΍ܽଛ͕ແ͍ʣ
   w จষʹ͓͍ͯ͸ɺओޠ΍໨తޠͷܽଛ͕ແ͍ɺҙຯ͕໌ྎɺޡࣈͷগͳ͞ͳͲ
   w ʮߴ඼࣭ʯͳձࣾ֓ཁΛʮਓʯ͕ੜ੒͢Δʹ͸ίετ͕՝୊ͱͳΔ
   w ਓʹΑΔ೔ຊશاۀ໿ສࣾ෼ͷձࣾ֓ཁจͷੜ੒͸ίετֻ͕͔Γ͗͢Δ
   w --.ͷ׆༻Ͱ͸ɺʮσʔλ඼࣭ͷ୲อʯͱʮίετͷ཈੍ʯͷ؍఺͔ΒखஈΛݕ౼͢Δ
   w σʔλ඼࣭ͷ୲อɿ
   ੜ੒
   
   ධՁ
   ʹΑΓาཹ·Γ཰Λࢉग़
   w ίετͷ཈੍ɿ
   ਓ݅අ
   WT
   "1*ར༻අ༻ͷൺֱ
9. --.ʹΑΔΦϖϨʔγϣϯվળ Πϯϓοτ จॻੜ੒ ධՁ ϦϦʔε ਓʹΑΔରԠɿ
   ਓ͕จॻੜ੒ͯ͠ɺਓ͕ධՁͯ͠ϦϦʔε͢Δ Πϯϓοτ จॻ࡞੒ ධՁ ϦϦʔε --.ʹΑΔରԠɿ
   --.͕จॻੜ੒ͯ͠ɺ--.͕ධՁͯ͠ϦϦʔε͢Δ w --.͸ਓʹΑΔΦϖϨʔγϣϯΛϦϓϨΠε͢ΔϞϊͱ͔ͯͭ͠͏
   w ೖྗ
   
   ੜ੒
   
   ධՁ
   
   ϦϦʔεͷ޻ఔͷ͏ͪɺੜ੒ͱධՁΛஔ͖͔͑ΒΕΔͱ૝ఆ
   w ਓͱ--.Λൺֱͯ͠ɺίετɺ඼࣭ɺ޻਺ͳͲͷ࣠Ͱൺֱ࣮ݧ͕ඞཁ
   w ࠓճͷ࣮ݧͰ͸ɺੜ੒ͱධՁͷาཹ·Γ཰ΛݕূΛ͢Δ
10. --.ʹΑΔੜ੒ͱาཹ·Γ཰ͷ൑அ w --.Ͱੜ੒ͨ͠จॻΛɺ--.ͰධՁͤ͞Δ
    w ੜ੒ϓϩϯϓτʮҎԼͷจষ͔Βୈࡾऀࢹ఺Ͱձࣾ֓ཁจΛੜ੒͍ͯͩ͘͠͞ɻఏڙ αʔϏε΍اۀઆ໌ʹॏ఺Λஔ͖ɺຊจதʹແ͍΋ͷ͸Ұ੾࢖༻͠ͳ͍Ͱ͍ͩ͘͞ɻʯ
    w ධՁϓϩϯϓτʮاۀͷࣄۀɾ঎඼ɾαʔϏε͕໌֬ͳ৔߹ʹ఺ɺاۀ৘ใ͕ୈࡾऀ ࢹ఺Ͱॻ͔Ε͍ͯΔ৔߹ʹ఺ɺೖྗจॻʹձࣾ֓ཁͱແؔ܎ͳ෺ؚ͕·Ε͍ͯͳ͍৔ ߹ʹ఺ɺ߹ܭ఺Ͱ࠾఺͍ͯͩ͘͠͞ɻ·ͨɺ೔ຊޠͱͯ͠ద੾Ͱ͸ͳ͍৔߹͸఺ͱ ͍ͯͩ͘͠͞ɻʯ
    ɹɹ˞ੜ੒ϓϩϯϓτͱධՁϓϩϯϓτ͸ུ֓ʢ࣮ࡍʹར༻ͨ͠෺Ͱ͸ͳ͍ʣ
    w ࣮ݧͰ͸ɺੜ੒͸0QFO"*
    HQUUVSCPɺධՁ͸(PPHMF
    1B-.Ͱߦ͏
    w ੜ੒ͱҟͳΔ--.ͰධՁ͢Ε͹ɺճ౴ͷ٬؍ੑͱਖ਼౴ੑ͕ߴ·Δ͜ͱΛظ଴
    w ධՁ݁Ռͷ඼࣭ͷ࠷ऴ֬ೝ͸ɺਓͷखʹΑΓߦ͏
    w ࣌ؒ΍ίετ౳ͷ౎߹ʹΑΓɺ্هҎ֎ͷ૊߹ͤͰͷൺֱ࣮ݧ͸͍ͯ͠ͳ͍ Πϯϓοτ จॻ࡞੒ ධՁ ֬ೝ
11. νΣοΫΦϖϨʔγϣϯ ʮגࣜձࣾ999͸ɺ೥ʹઃཱ͞Εͨ૯߹খചۀͰ͢ɻ
    ɹզʑ͸ɺళฮΛॴ༗͓ͯ͠ΓʢҎԼུʣʯ ʮ఺ʯ ʮධՁͰ͸఺ͱݴ͍ͬͯΔ͕ɺҰਓশؚ͕·ΕΔͨΊɺ/(ɻʯ w ਓͷखʹΑΔ࠷ऴ֬ೝͷ݁Ռɺੜ੒จॻʹओޠͷޡΓ͕සൃ͞ΕɺධՁ͔Β΋࿙Ε͍ͯͨ
    w ੜ੒͞ΕͨςΩετʹ͸ɺҰਓশͰ͋Δʮզʑʯؚ͕·Εɺୈࡾऀࢹ఺ʹͳ͍ͬͯͳ͍
    w ੜ੒ܥͰୈࡾऀࢹ఺ͰͷهࡌΛࢦࣔɺධՁܥͰ΋ୈࡾऀࢹ఺ͰͷධՁΛࢦ͍ࣔͯ͠Δ
    w ੜ੒ܥͰจ๏ϛεɺධՁܥͰ࠾఺ϛεͷ໰୊͕֬ೝ͞Εͨ
    w ϓϩϯϓτΤϯδχΞϦϯά΍Πϯϓοτͷमਖ਼Ͱվળ͞ΕΔ͕ʮ׬શʯʹ͸ղফ͠ͳ͍
12. าཹ·Γ཰ͷࢉग़ʢ࣌఺ʣ ˙಺༰͕ਖ਼͍͔͠ͷ؍఺Ͱਓ͕֬ೝ ˙೔ຊޠͱͯ͠ਖ਼͍͔͠ͷ؍఺Ͱਓ͕֬ೝ --.ʹΑΔධՁ఺ ਖ਼͍͠ ޡΓ ਖ਼ׂ͍͠߹            ˋ
         --.ʹΑΔධՁ఺ ਖ਼͍͠ ޡΓ ਖ਼ׂ͍͠߹                 w --.ʹΑΔධՁͷ࠷ߴ఺఺Ͱ͸ɺ಺༰͕ਖ਼ׂ͍͠߹͕໿ˋɺશମͷาཹ·Γ཰͸໿ˋ
    w าཹ·Γ཰
    
    ධՁ఺ͷਖ਼͍݅͠਺ʢ݅ʣ
    
    શମ݅਺ʢ݅ʣ
    ໿ˋ
    w ࠷ߴ఺Ͱ΋ਓͷνΣοΫͰ͸ɺ໿ˋʢ݅
    ݅ ݅ ʣͷޡΓ͕ൃݟ͞Εͨ
13. --.ͷग़ྗ݁Ռʹର͢Δߟ࡯ w ੜ੒Ͱ͸ɺҧ࿨ײͷ͋Δʮ஌ࣝʯΛؚΉจষʢձࣾ֓ཁจʣΛੜ੒͍ͯ͠Δ
    w Ͳͷձࣾʹ΋౰ͯ͸·ΔҰൠతͳ಺༰
    w ఺ɿʮϓϨεϦϦʔε΍ٻਓ৘ใ΋ܝࡌ͍ͯ͠·͢ɻʯ
    w ෳ਺஍Ҭʹల։͍ͯ͠ΔձࣾͰ஍Ҭൣғ͕ݶఆ͞Ε͍ͯΔ
    w ఺ɿʮࡳຈͰ࿝ਓϗʔϜͱհޢαʔϏεΛల։͓ͯ͠Γʙʯ
    w ࣄۀ಺༰͕ͳ͘ɺܦӦཧ೦ͷղઆͱͳ͍ͬͯΔ
    w ఺ɿʮۚ༥ػؔͱͯ͠ߦಈྗΈͳ͗ΔίϛϡχςΟόϯΫΛ࣮ݱ͠·͢ʂʯ w ӕΛ෇͍͍ͯΔʢτοϓγΣΞͰ͸ͳ͍ʣ
    w ఺ɿʮѪ஌ݝʹຊࣾΛஔ͘YYYͷτοϓγΣΞاۀͰ͢ɻʯ
    w യવͱ͍͗ͯ͢͠Δ
    w ఺ɿʮϢχʔΫͳ੡඼Λѻ͏ࠃ಺ϚʔέςΟϯάاۀͰ͢ɻʯ
14. --.Λຊ൪ద༻͢ΔͳΒͲͷύλʔϯʁ Πϯϓοτ จॻ࡞੒ ධՁ ֬ೝ ϦϦʔε --.ʴਓͷ֬ೝɿ
    --.͕จॻੜ੒ͯ͠ɺ--.͕ධՁ͠ɺਓ͕֬ೝͯ͠ϦϦʔε͢Δ Πϯϓοτ จॻੜ੒ ධՁ ϦϦʔε ਓʹΑΔରԠɿ
    ਓ͕จॻੜ੒ͯ͠ɺਓ͕ධՁͯ͠ϦϦʔε͢Δ Πϯϓοτ จॻ࡞੒ ධՁ ϦϦʔε --.ʹΑΔରԠɿ
    --.͕จॻੜ੒ͯ͠ɺ--.͕ධՁͯ͠ϦϦʔε͢Δ
15. ύλʔϯผͷൺֱ w ਓʹΑΔରԠɿ
    w ίετ
    
    ݅౰ͨΓͷඅ༻
    
    ॲཧ݅਺
    w ݅౰ͨΓͷඅ༻
    ʹ
    ࣌څ
    
    ࣌ؒ౰ͨΓͷॲཧ݅਺
    w ࣌څ
    
    ԁɺ݅ฏۉ෼ͱԾఆ͢Δͱɺ݅౰ͨΓԁ
    w ૯ֹɿສ݅
    
    ԁ
    
    ʢ࡞੒
    
    ධՁʣ
    
    ສԁ
    w ޻਺ɿ೔࣌ؒ࿑ಇɺ݄೔ۈ຿ͷΞϧόΠτ͕ɺਓͰ໿೥͔͔ΔݟࠐΈ
    ߴֹͳίετʹՃ͑ɺਓһ֬อ΍๲େͳ޻਺͕໰୊ɹɹɹɹ㱺ίετ✕ɿ඼࣭˓ɿ޻਺✕
    w --.ʹΑΔରԠɿ
    w ίετ
    
    "1*ίετ
    
    ϓϩϯϓτ࡞੒ਓ݅අ
    w ݅౰ͨΓͷඅ༻
    
    "1*ίʔϧճʢੜ੒
    
    ධՁʣ
    ࠷େͰԁͱԾఆ
    w ສ݅ͷ࠷ߴ఺֫ಘʹඞཁͳ฼ूஂ
    
    ສ
    
    ʢาཹ·Γ཰ʣ
    
    ໿ສ݅
    w "1*ίετ
    
    ສ݅
    
    ԁ
    
    ສԁ
    w ϓϩϯϓτ࡞੒ਓ݅අ
    
    ࡞ۀਓ਺ͱظؒΛؑΈͯτʔλϧສԁݟࠐΈ
    w ૯ֹɿສԁ
    
    ສԁ
    
    ສԁ
    ૬ରతʹ҆Ձ͕ͩɺग़ྗσʔλ඼࣭ͱධՁਫ਼౓͕՝୊ɹɹɹ㱺ίετ˓ɿ඼࣭✕ɿ޻਺˓
    w --.
    
    ਓʹΑΔ֬ೝɿ
    w ίετ
    
    "1*ίετ
    
    ϓϩϯϓτ࡞੒ਓ݅අ
    
    ֬ೝඅ༻
    w ֬ೝඅ༻
    
    ສ݅
    
    ԁʢධՁ
    
    ඍमਖ਼ʣ
    ສԁ
    w ૯ֹɿສԁ
    
    ສԁ
    
    ສԁ
    
    ສԁ
    ίετͱ඼࣭͕όϥϯε͞ΕΔ͕ɺߴֹͳ֬ೝඅ༻͕՝୊ɹ㱺ίετ˚ɿ඼࣭˓ɿ޻਺˚
    
16. --.ͷ࣮ӡ༻ʹ޲͚ͯ w σʔλͱ--.ΛγʔϜϨεʹ઀ଓ͢Δॲཧج൫͸ɺ%FMUB
    -BLFͰ༰қʹ࣮ݱͰ͖Δ
    w ϝμϦΦϯΞʔΩςΫνϟͷઃܭࢥ૝͸ɺ--.ʹ઀ଓ͠΍͍͢
    w (PMEεςʔδʹ͋ΔॴఆͷσʔλΛҰׅͰ--.ʹධՁͤ͞ΔͳͲ΋Մೳ
    w ੜ੒ܥͱධՁܥΛ෼͚Δߏ੒͸ɺਓʹΑΔνΣοΫ޻਺ͷ࡟ݮʹͭͳ͕Δ
    w ੜ੒ܥɺධՁܥͷϛε͸͋Δఔ౓৫ΓࠐΉඞཁ͕͋Δʢ࣮ݧͰ͸ਖ਼౴཰ˋʣ
    w ಘ఺͕௿͍෺͸ഁغɺಘ఺͕ߴ͍෺͸νΣοΫͱमਖ਼Λࢪͯ͠ϦϦʔε
    w ࣌఺ͷ--.Ͱ͸ɺੜ੒ͱධՁڞʹϋϧγωʔγϣϯʢޡ৘ใͷੜ੒ʣͷ໰୊͕͋ͬͨ
    w --.ʹੜ੒ͤͨ͞จষ͕ɺຊ౰ʹʮߴ඼࣭ʯͰ͋Δ͔͸ɺ--.͚ͩͰ͸൑அͰ͖ͳ͍
    w ಘ఺͕ߴ͍෺ʹ΋/(ؚ͕·ΕΔͨΊɺݱঢ়ͷ--.͸ʮਓʯʹΑΔνΣοΫ͕ඞཁ
    w ࣮ӡ༻Ͱ͸ɺʮਓʯʹΑΔߍਖ਼࣌ʹɺߴ඼࣭ͳจॻੜ੒ΛΞγετ͢Δͷʹ໾ཱͭʢ$PQJMPUʣ
    w Ξγετ͞Ε͍ͯΔ͏ͪʹɺʮਓʯͷจষྗ΍ޠኮྗ͕޲্͢Δ
    w --.͸ਓͷΦϖϨʔγϣϯΛʮΞγετʯ͢ΔϞϊͱͯ͠࢖͏ͱྑ͍
    w --.͸ɺӕΛؚΉʮ஌ࣝͷੜ੒૷ஔʯͱͯ͠ɺɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ ਓͷʮ஌ܙʯͷੜ੒ΛڧྗʹΞγετ͢Δ
17. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠
18. "QQFOEJYɿ%*,8Ϟσϧͱ--.׆༻ w %*,8ϐϥϛουͷ֓೦Λಋೖ͢Δͱ৘ใωοτϫʔΫʢσʔλʣͷཧղ͕༰қʹͳΔ
    w σʔλ͸ɺ%BUBʢσʔλʣ*OGPSNBUJPOʢ৘ใʣ
    ,OPXMFEHFʢ஌ࣝʣ
    8JTEPNʢ஌ܙʣ ͷॱʹॲཧ΍ֶशΛܦͯ৘ใωοτϫʔΫ͕ߴີ౓Խ͢Δ
    w ͢ͳΘͪɺσʔλΛ༻͍ͯॲཧ΍ֶश͢Δ͜ͱͰϥϯμϜੑ͕ݮগ͠ɺ৘ใωοτϫʔΫ ͕ߴີ౓Խ͢Δ͜ͱͰɺՁ஋΍ҙຯͷ͋Δ৘ใͱͯ͠ར༻ՄೳͱͳΔ
    w ,OPXMFEHFʢ஌ࣝʣ͸੩తͳֶश݁Ռɺ8JTEPNʢ஌ܙʣ͸ಈతͳՄೳੑ΁ͷ໛ࡧͰ͋Δ
    w ݱஈ֊Ͱͷ"*΍--.͕࣮ݱͰ͖ΔྖҬ͸ɺ੩తͳ,OPXMFEHFʢ஌ࣝʣྖҬʹཹ·Δ
    w ͨͱ͑͹ɺݱ࣌఺ͷ--.͸໌೔ͷఱؾΛ༧૝͢Δ͜ͱ͕ग़དྷͳ͍
    w ͨͩ͠ɺ8FCΫϩʔϦϯάͨ݁͠Ռͱ૊Έ߹ΘͤΕ͹ग़ྗՄೳʢ༧૝͸͍ͯ͠ͳ͍ʣ
    w ϝμϦΦϯΞʔΩςΫνϟͱ--.Λ૊Έ߹ΘͤΔ৔߹͸ɺ
    w Πϯϓοτɿ4JMWFSʢ3F fi OFE
    %BUBʣPS
    (PMEʢ'FBUVSF"HH
    %BUBʣ
    w Ξ΢τϓοτɿԿΒ͔ͷ໾ʹཱͭ,OPXMFEHFʢ஌ࣝʣ
    w ݱ࣌఺ͷ--.͸ɺ஌ࣝͷੜ੒ʹ͸ޮՌత͕ͩɺ஌ܙʹ͸ࢸ͍ͬͯͳ͍