Share
Embed
Delta Lakeを用いた LLM処理基盤 / Delta Lake with LLM on Dataplatform
Delta Lakeを用いた LLM処理基盤
Masatoshi Shimada
December 14, 2023
Transcript
18 slides
-
ࣗݾհ w ౡాխ!TNENUT w σʔλϓϥοτϑΥʔϜઃܭऀ w גࣜձࣾ4BMFT/PXٕज़ސ w %BUBCSJDLT+&%"*.BTUFS w
ʮ-BLFIPVTFϓϥοτϑΥʔϜͷ࡞Γํʯͷஶऀ -
%FMUB-BLFͱϝμϦΦϯΞʔΩςΫνϟ w %FMUB-BLFɿ"QBDIF4QBSLɺ5SJOPͳͲ͔Β*0Ͱ͖ΔετϨʔδͷ࣮ w λΠϜτϥϕϧػೳɺ"$*%ಛੑͷอ࣋ɺ.FSHFจͳͲΛαϙʔτ w ϝμϦΦϯΞʔΩςΫνϟɿσʔλΛநॱʹॲཧ͢ΔΞʔΩςΫνϟߏ w #SPO[F4JMWFS(PMEͷॱ൪ʹཚࡶͳσʔλ͔Βҙຯͷ͋Δใʹ౷߹ w
ࠨ͔Βӈࢀর͠ͳ͍͜ͱͰσʔλॲཧͱσʔλߏͷҰ؏ੑΛҡ࣋͢Δ w ݪଇͱͯ͠(PMEεςʔδͷσʔλΛ.-ʢ--.ʣ౷ܭϞσϧʹར༻͢Δ -
4BMFT/PXʹٻΊΒΕΔσʔλཁ݅ w 4BMFT/PXͷσʔλཁ݅ɺʮߴ࣭σʔλʯ͕ઈରతʹٻΊΒΕΔ w ߴ࣭σʔλʹ࣍ͷΑ͏ͳཁؚ͕݅·ΕΔ w ࠷৽ͷσʔλɺ͔ͭɺޡΓ͕ແ͍ w શੑʢΠϯςάϥϦςΟʣ͕͋Δʢॏෳܽଛ͕ແ͍ʣ w
จষʹ͓͍ͯɺओޠతޠͷܽଛ͕ແ͍ɺҙຯ͕໌ྎɺޡࣈͷগͳ͞ͳͲ w ʮߴ࣭ʯͳձࣾ֓ཁΛʮਓʯ͕ੜ͢Δʹίετ͕՝ͱͳΔ w ਓʹΑΔຊશاۀສࣾͷձࣾ֓ཁจͷੜίετֻ͕͔Γ͗͢Δ w --.ͷ׆༻Ͱɺʮσʔλ࣭ͷ୲อʯͱʮίετͷ੍ʯͷ؍͔ΒखஈΛݕ౼͢Δ w σʔλ࣭ͷ୲อɿੜ ධՁʹΑΓาཹ·ΓΛࢉग़ w ίετͷ੍ɿਓ݅අWT"1*ར༻අ༻ͷൺֱ -
--.ʹΑΔΦϖϨʔγϣϯվળ Πϯϓοτ จॻੜ ධՁ ϦϦʔε ਓʹΑΔରԠɿਓ͕จॻੜͯ͠ɺਓ͕ධՁͯ͠ϦϦʔε͢Δ Πϯϓοτ จॻ࡞ ධՁ ϦϦʔε
--.ʹΑΔରԠɿ--.͕จॻੜͯ͠ɺ--.͕ධՁͯ͠ϦϦʔε͢Δ w --.ਓʹΑΔΦϖϨʔγϣϯΛϦϓϨΠε͢ΔϞϊͱ͔ͯͭ͠͏ w ೖྗੜධՁϦϦʔεͷఔͷ͏ͪɺੜͱධՁΛஔ͖͔͑ΒΕΔͱఆ w ਓͱ--.Λൺֱͯ͠ɺίετɺ࣭ɺͳͲͷ࣠Ͱൺֱ࣮ݧ͕ඞཁ w ࠓճͷ࣮ݧͰɺੜͱධՁͷาཹ·ΓΛݕূΛ͢Δ -
--.ʹΑΔੜͱาཹ·Γͷஅ w --.Ͱੜͨ͠จॻΛɺ--.ͰධՁͤ͞Δ w ੜϓϩϯϓτʮҎԼͷจষ͔ΒୈࡾऀࢹͰձࣾ֓ཁจΛੜ͍ͯͩ͘͠͞ɻఏڙ αʔϏεاۀઆ໌ʹॏΛஔ͖ɺຊจதʹແ͍ͷҰ༻͠ͳ͍Ͱ͍ͩ͘͞ɻʯ w ධՁϓϩϯϓτʮاۀͷࣄۀɾɾαʔϏε͕໌֬ͳ߹ʹɺاۀใ͕ୈࡾऀ ࢹͰॻ͔Ε͍ͯΔ߹ʹɺೖྗจॻʹձࣾ֓ཁͱແؔͳؚ͕·Ε͍ͯͳ͍ ߹ʹɺ߹ܭͰ࠾͍ͯͩ͘͠͞ɻ·ͨɺຊޠͱͯ͠దͰͳ͍߹ͱ
͍ͯͩ͘͠͞ɻʯ ɹɹ˞ੜϓϩϯϓτͱධՁϓϩϯϓτུ֓ʢ࣮ࡍʹར༻ͨ͠Ͱͳ͍ʣ w ࣮ݧͰɺੜ0QFO"*HQUUVSCPɺධՁ(PPHMF1B-.Ͱߦ͏ w ੜͱҟͳΔ--.ͰධՁ͢Εɺճͷ٬؍ੑͱਖ਼ੑ͕ߴ·Δ͜ͱΛظ w ධՁ݁Ռͷ࣭ͷ࠷ऴ֬ೝɺਓͷखʹΑΓߦ͏ w ࣌ؒίετͷ߹ʹΑΓɺ্هҎ֎ͷ߹ͤͰͷൺֱ࣮ݧ͍ͯ͠ͳ͍ Πϯϓοτ จॻ࡞ ධՁ ֬ೝ -
νΣοΫΦϖϨʔγϣϯ ʮגࣜձࣾ999ɺʹઃཱ͞Εͨ૯߹খചۀͰ͢ɻ ɹզʑɺళฮΛॴ༗͓ͯ͠ΓʢҎԼུʣʯ ʮʯ ʮධՁͰͱݴ͍ͬͯΔ͕ɺҰਓশؚ͕·ΕΔͨΊɺ/(ɻʯ w ਓͷखʹΑΔ࠷ऴ֬ೝͷ݁ՌɺੜจॻʹओޠͷޡΓ͕සൃ͞ΕɺධՁ͔Β࿙Ε͍ͯͨ w ੜ͞ΕͨςΩετʹɺҰਓশͰ͋Δʮզʑʯؚ͕·Εɺୈࡾऀࢹʹͳ͍ͬͯͳ͍ w
ੜܥͰୈࡾऀࢹͰͷهࡌΛࢦࣔɺධՁܥͰୈࡾऀࢹͰͷධՁΛࢦ͍ࣔͯ͠Δ w ੜܥͰจ๏ϛεɺධՁܥͰ࠾ϛεͷ͕֬ೝ͞Εͨ w ϓϩϯϓτΤϯδχΞϦϯάΠϯϓοτͷमਖ਼Ͱվળ͞ΕΔ͕ʮશʯʹղফ͠ͳ͍ -
าཹ·Γͷࢉग़ʢ࣌ʣ ˙༰͕ਖ਼͍͔͠ͷ؍Ͱਓ͕֬ೝ ˙ຊޠͱͯ͠ਖ਼͍͔͠ͷ؍Ͱਓ͕֬ೝ --.ʹΑΔධՁ ਖ਼͍͠ ޡΓ ਖ਼ׂ͍͠߹
ˋ --.ʹΑΔධՁ ਖ਼͍͠ ޡΓ ਖ਼ׂ͍͠߹ w --.ʹΑΔධՁͷ࠷ߴͰɺ༰͕ਖ਼ׂ͍͠߹͕ˋɺશମͷาཹ·Γˋ w าཹ·ΓධՁͷਖ਼͍݅͠ʢ݅ʣશମ݅ʢ݅ʣˋ w ࠷ߴͰਓͷνΣοΫͰɺˋʢ݅ ݅ ݅ ʣͷޡΓ͕ൃݟ͞Εͨ -
--.ͷग़ྗ݁Ռʹର͢Δߟ w ੜͰɺҧײͷ͋ΔʮࣝʯΛؚΉจষʢձࣾ֓ཁจʣΛੜ͍ͯ͠Δ w Ͳͷձࣾʹͯ·ΔҰൠతͳ༰ w ɿʮϓϨεϦϦʔεٻਓใܝࡌ͍ͯ͠·͢ɻʯ w ෳҬʹల։͍ͯ͠ΔձࣾͰҬൣғ͕ݶఆ͞Ε͍ͯΔ w
ɿʮࡳຈͰਓϗʔϜͱհޢαʔϏεΛల։͓ͯ͠Γʙʯ w ࣄۀ༰͕ͳ͘ɺܦӦཧ೦ͷղઆͱͳ͍ͬͯΔ w ɿʮۚ༥ػؔͱͯ͠ߦಈྗΈͳ͗ΔίϛϡχςΟόϯΫΛ࣮ݱ͠·͢ʂʯ w ӕΛ͍͍ͯΔʢτοϓγΣΞͰͳ͍ʣ w ɿʮѪݝʹຊࣾΛஔ͘YYYͷτοϓγΣΞاۀͰ͢ɻʯ w യવͱ͍͗ͯ͢͠Δ w ɿʮϢχʔΫͳΛѻ͏ࠃϚʔέςΟϯάاۀͰ͢ɻʯ -
--.Λຊ൪ద༻͢ΔͳΒͲͷύλʔϯʁ Πϯϓοτ จॻ࡞ ධՁ ֬ೝ ϦϦʔε --.ʴਓͷ֬ೝɿ--.͕จॻੜͯ͠ɺ--.͕ධՁ͠ɺਓ͕֬ೝͯ͠ϦϦʔε͢Δ Πϯϓοτ จॻੜ ධՁ
ϦϦʔε ਓʹΑΔରԠɿਓ͕จॻੜͯ͠ɺਓ͕ධՁͯ͠ϦϦʔε͢Δ Πϯϓοτ จॻ࡞ ධՁ ϦϦʔε --.ʹΑΔରԠɿ--.͕จॻੜͯ͠ɺ--.͕ධՁͯ͠ϦϦʔε͢Δ -
ύλʔϯผͷൺֱ w ਓʹΑΔରԠɿ w ίετ݅ͨΓͷඅ༻ ॲཧ݅ w ݅ͨΓͷඅ༻ʹ࣌څ࣌ؒͨΓͷॲཧ݅ w ࣌څԁɺ݅ฏۉͱԾఆ͢Δͱɺ݅ͨΓԁ
w ૯ֹɿສ݅ ԁ ʢ࡞ ධՁʣສԁ w ɿ࣌ؒ࿑ಇɺ݄ۈͷΞϧόΠτ͕ɺਓͰ͔͔ΔݟࠐΈ ߴֹͳίετʹՃ͑ɺਓһ֬อେͳ͕ɹɹɹɹ㱺ίετ✕ɿ࣭˓ɿ✕ w --.ʹΑΔରԠɿ w ίετ"1*ίετ ϓϩϯϓτ࡞ਓ݅අ w ݅ͨΓͷඅ༻"1*ίʔϧճʢੜ ධՁʣ࠷େͰԁͱԾఆ w ສ݅ͷ࠷ߴ֫ಘʹඞཁͳूஂສʢาཹ·Γʣສ݅ w "1*ίετສ݅ ԁສԁ w ϓϩϯϓτ࡞ਓ݅අ࡞ۀਓͱظؒΛؑΈͯτʔλϧສԁݟࠐΈ w ૯ֹɿສԁ ສԁສԁ ૬ରతʹ҆Ձ͕ͩɺग़ྗσʔλ࣭ͱධՁਫ਼͕՝ɹɹɹ㱺ίετ˓ɿ࣭✕ɿ˓ w --. ਓʹΑΔ֬ೝɿ w ίετ"1*ίετ ϓϩϯϓτ࡞ਓ݅අ ֬ೝඅ༻ w ֬ೝඅ༻ສ݅ ԁʢධՁ ඍमਖ਼ʣສԁ w ૯ֹɿສԁ ສԁ ສԁສԁ ίετͱ࣭͕όϥϯε͞ΕΔ͕ɺߴֹͳ֬ೝඅ༻͕՝ɹ㱺ίετ˚ɿ࣭˓ɿ˚ -
--.ͷ࣮ӡ༻ʹ͚ͯ w σʔλͱ--.ΛγʔϜϨεʹଓ͢Δॲཧج൫ɺ%FMUB-BLFͰ༰қʹ࣮ݱͰ͖Δ w ϝμϦΦϯΞʔΩςΫνϟͷઃܭࢥɺ--.ʹଓ͍͢͠ w (PMEεςʔδʹ͋ΔॴఆͷσʔλΛҰׅͰ--.ʹධՁͤ͞ΔͳͲՄೳ w ੜܥͱධՁܥΛ͚ΔߏɺਓʹΑΔνΣοΫͷݮʹͭͳ͕Δ w
ੜܥɺධՁܥͷϛε͋Δఔ৫ΓࠐΉඞཁ͕͋Δʢ࣮ݧͰਖ਼ˋʣ w ಘ͕͍ഁغɺಘ͕ߴ͍νΣοΫͱमਖ਼Λࢪͯ͠ϦϦʔε w ࣌ͷ--.ͰɺੜͱධՁڞʹϋϧγωʔγϣϯʢޡใͷੜʣͷ͕͋ͬͨ w --.ʹੜͤͨ͞จষ͕ɺຊʹʮߴ࣭ʯͰ͋Δ͔ɺ--.͚ͩͰஅͰ͖ͳ͍ w ಘ͕ߴ͍ʹ/(ؚ͕·ΕΔͨΊɺݱঢ়ͷ--.ʮਓʯʹΑΔνΣοΫ͕ඞཁ w ࣮ӡ༻ͰɺʮਓʯʹΑΔߍਖ਼࣌ʹɺߴ࣭ͳจॻੜΛΞγετ͢Δͷʹཱͭʢ$PQJMPUʣ w Ξγετ͞Ε͍ͯΔ͏ͪʹɺʮਓʯͷจষྗޠኮྗ্͕͢Δ w --.ਓͷΦϖϨʔγϣϯΛʮΞγετʯ͢ΔϞϊͱͯ͠͏ͱྑ͍ w --.ɺӕΛؚΉʮࣝͷੜஔʯͱͯ͠ɺɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ ਓͷʮܙʯͷੜΛڧྗʹΞγετ͢Δ -
"QQFOEJYɿ%*,8Ϟσϧͱ--.׆༻ w %*,8ϐϥϛουͷ֓೦Λಋೖ͢ΔͱใωοτϫʔΫʢσʔλʣͷཧղ͕༰қʹͳΔ w σʔλɺ%BUBʢσʔλʣ*OGPSNBUJPOʢใʣ,OPXMFEHFʢࣝʣ8JTEPNʢܙʣ ͷॱʹॲཧֶशΛܦͯใωοτϫʔΫ͕ߴີԽ͢Δ w ͢ͳΘͪɺσʔλΛ༻͍ͯॲཧֶश͢Δ͜ͱͰϥϯμϜੑ͕ݮগ͠ɺใωοτϫʔΫ ͕ߴີԽ͢Δ͜ͱͰɺՁҙຯͷ͋Δใͱͯ͠ར༻ՄೳͱͳΔ w
,OPXMFEHFʢࣝʣ੩తͳֶश݁Ռɺ8JTEPNʢܙʣಈతͳՄೳੑͷࡧͰ͋Δ w ݱஈ֊Ͱͷ"*--.͕࣮ݱͰ͖ΔྖҬɺ੩తͳ,OPXMFEHFʢࣝʣྖҬʹཹ·Δ w ͨͱ͑ɺݱ࣌ͷ--.໌ͷఱؾΛ༧͢Δ͜ͱ͕ग़དྷͳ͍ w ͨͩ͠ɺ8FCΫϩʔϦϯάͨ݁͠ՌͱΈ߹ΘͤΕग़ྗՄೳʢ༧͍ͯ͠ͳ͍ʣ w ϝμϦΦϯΞʔΩςΫνϟͱ--.ΛΈ߹ΘͤΔ߹ɺ w Πϯϓοτɿ4JMWFSʢ3F fi OFE%BUBʣPS(PMEʢ'FBUVSF"HH%BUBʣ w ΞτϓοτɿԿΒ͔ͷʹཱͭ,OPXMFEHFʢࣝʣ w ݱ࣌ͷ--.ɺࣝͷੜʹޮՌత͕ͩɺܙʹࢸ͍ͬͯͳ͍