Upgrade to Pro — share decks privately, control downloads, hide ads and more …

dbtvault on snowflake

numa
May 10, 2022

dbtvault on snowflake

dbt Tokyo Meetup #3 にて発表した資料
配信アーカイブ:https://youtu.be/SYsiRFR2LGw

numa

May 10, 2022
Tweet

More Decks by numa

Other Decks in Technology

Transcript

  1. ࣗݾ঺հ ˜$IVSB%"5"JOD ͪΎΒσʔλגࣜձࣾ $50 ɾ໊લɿඛপ ༤ଠʢ!GPVSTVFʣ ɾಛٕɿσʔλΤϯδχΞϦϯά ɾ࢓ࣄɿσʔλʹ·ͭΘΔΤτητϥ ೥ʹ Ϋϥ΢υ%8

    ͷ 4OPXGMBLFࣾ ͔Β %"5")&300' :&"3ʹબ͹ΕͨΓͯ͠·͢ ೥΋%BUB4VQFSIFSP ʹબ͹ΕͨΒ͍͠ ˞%8σʔλ΢ΣΞϋ΢ε
  2. ˜ $IVSB%"5"JOD %BUB7BVMU ͸&%8ͷ։ൃʹඞཁͳྖҬΛΧόʔ͍ͯ͠Δ %BUB7BVMUͷൣғ ࣮૷޻ఔ ৄࡉઃܭ޻ఔ جຊઃܭ޻ఔ • ૚ΞʔΩςΫνϟ

     4UBHJOH "SFB -BZFS  %BUB 8BSFIPVTF -BZFS  3BX 7BVMU  #VTJOFTT7BVMU  *OGPNBUJPO.BSU -BZFS σʔλϞσϦϯά • )VCT • -JOLT • 5SBOTBDUJPOBM-JOLT • 4BUFMMJUFT • &GGFDUJWF4BUFMMJUFT • .VMUJ"DUJWF4BUFMJUFT • &YUFOEFE5SBDLJOH 4BUFMMJUFT • 1*5 5BCMFT • #SJEHF 5BCMFT ࣮૷ςΫχοΫ • )BTIFEOBUVSBMLFZ • %BUB EJGG CZ IBTI • 3FDPSE TPVSDFTZTUFN • 3FDPSE-PBEEBUF • 4$% 5ZQF ʜFUD
  3. ˜ $IVSB%"5"JOD ECUWBVMU ͸ϝλσʔλ DPOGJHT QSPQFSUJFT Λݩʹ NBDSPT Ͱ %BUB

    7BVMU ͷ&5-ίʔ υ 42- Λੜ੒͢Δύοέʔδ ECUWBVMU ͷ࢓૊Έ ECU Ϟσϧ ECUWBVMMU༻ϝλʔσʔλͱϚΫϩ \ TFUZBNM@NFUBEBUB ^ TPVSDF@NPEFM TUH@XFC@DVTUPNFS@IBTI FE TSD@QL $6450.&3@), TSD@OL$6450.&3@*% TSD@MEUT -0"%@%"5&5*.& TSD@TPVSDF 3&$03%@4063$& \ FOETFU^  ECU SVO 8*5)SPX@SBOL@"4 4&-&$5 $6450.&3@),  $6450.&3@*%  -0"%@%"5&  3&$03%@4063$& 308@/6.#&3  07&3 1"35*5*0/ #:$6450.&3@), 03%&3#: -0"%@%"5&"4$ %BUB7BVMU ༻ͷ42- ̍  
  4. ˜ $IVSB%"5"JOD • 4UBHJOH-BZFS͔Β %BUB 8BSFIPVTF -BZFS ΁ϩʔυ͢ Δ 42-

    Λੜ੒ͯ͘͠ΕΔ • खॻ͖Ͱ͸ͳ͘ϚΫϩ͕ 42- Λੜ੒͢ΔͷͰҰ؏ੑͱਖ਼֬ ͞Λอূͯ͘͠ΕΔ • %BUB8BSFIPVTF ͝ͱͷ42- ͷࠩ෼Λٵऩͯ͘͠ΕΔ • σʔλϩʔυʹ͓͚Δฒྻ౓ ͷࢦఆΛϢʔβఆٛͰߦ͑Δ ECUWBVMU ࠾༻ͷ 1SPT $POT 1SPT $POT • ։ൃ͸·ͩΞʔϦʔεςʔδ ʢʣ • ରԠ͢Δ%BUB8BSFIPVTFʹݶ Γ͕༗Δ • %BUB8BSFIPVTF ʹΑͬͯ͸ ඇରԠͷػೳ͕͋Δ • ೔ຊޠυΩϡϝϯτ͸جຊత ʹͳ͍ʢ੝Γ্͍͛ͨ 😭ʣ
  5. ˜ $IVSB%"5"JOD ྫɿ͋Εʁ .VMUJ"DUJWF4BUFMJUFT ͬͯͲ͏΍࣮ͬͯ૷͢ΔΜ͚ͩͬʁ ECUWBVMU ։ൃͰࠔͬͨͱ͖ʹ͢Δ͜ͱ  .FUBEBUB3FGFSFODFಡΉ •

    :".- ͷ਽ܗతͳͷ͕͜͜ʹ͋ΔͷͰ࣋ͬͯ͘Δ  .BDSPT ಡΉ • ϚΫϩͷߏจɺϚΫϩʹ༩͑ΔҾ਺ͷܕͳͲ͕͋ΔͷͰɺ:".-Λख௚͢͠Δ  5VUPSJBMT ಡΉ • ϚΫϩʹ༩͑ΔҾ਺ͷҙຯ΍ৄࡉ͕ॻ͍ͯ͋ΔͷͰɺ̎·ͰͰΘ͔Βͳ͔ͬͨΒಡΉͱྑ ͍  #FTU1SBDUJDF ಡΉ • ΋͠ɺ͋Εʁ͜ΕͰྑ͍Μ͚ͩͬʁͬͯͳͬͨΒɺҰԠಡΜͰ͓͜͏ • ެࣜͰ͸ࣄલʹಡΜͰ͓͘͜ͱΛਪ঑͞Ε͍ͯΔ͚Ͳɺਖ਼௚֮͑ͯͳ͍ͷͰɺͨ·ʹಡ΋ ͏
  6. ˜ $IVSB%"5"JOD ྫɿ͋Εʁ .VMUJ"DUJWF4BUFMJUFT ͬͯͲ͏΍࣮ͬͯ૷͢ΔΜ͚ͩͬʁ ECUWBVMU ։ൃͰࠔͬͨͱ͖ʹ͢Δ͜ͱ  .FUBEBUB3FGFSFODFಡΉ •

    :".- ͷ਽ܗతͳͷ͕͜͜ʹ͋ΔͷͰ࣋ͬͯ͘Δ  .BDSPT ಡΉ • ϚΫϩͷߏจɺϚΫϩʹ༩͑ΔҾ਺ͷܕͳͲ͕͋ΔͷͰɺ:".-Λख௚͢͠Δ  5VUPSJBMT ಡΉ • ϚΫϩʹ༩͑ΔҾ਺ͷҙຯ΍ৄࡉ͕ॻ͍ͯ͋ΔͷͰɺ̎·ͰͰΘ͔Βͳ͔ͬͨΒಡΉͱྑ ͍  #FTU1SBDUJDF ಡΉ • ΋͠ɺ͋Εʁ͜ΕͰྑ͍Μ͚ͩͬʁͬͯͳͬͨΒɺҰԠಡΜͰ͓͜͏ • ެࣜͰ͸ࣄલʹಡΜͰ͓͘͜ͱΛਪ঑͞Ε͍ͯΔ͚Ͳɺਖ਼௚֮͑ͯͳ͍ͷͰɺͨ·ʹಡ΋ ͏ ࠶ܝ
  7. ˜ $IVSB%"5"JOD ECUWBVMU ͕༻ҙͯ͠ΔςʔϒϧςϯϓϨʔτ IVC )VCT ςʔϒϧ MJOL -JOLT ςʔϒϧ

    U@MJOL 5SBOTBDUJPOBM-JOLT ςʔϒϧ TBU 4BUFMMJUFT ςʔϒϧ FGG@TBU &GGFDUJWJUZ4BUFMMJUFT ςʔϒϧɺ-JOLͷߦͷ༗ޮঢ়ଶΛه࿥͢Δ NB@TBU .VMUJ"DUJWF4BUFMMJUFT ςʔϒϧɺߦʹෳ਺ߦඥͮ͘ଐੑͳͲΛѻͬͨ Γ͢Δ YUT &YUFOEFE5SBDLJOH4BUFMMJUFT ςʔϒϧ QJU 1PJOU*O5JNF 1*5 UBCMFT ςʔϒϧɺಛఆͷλΠϛϯάͷσʔλΛ੾ Γग़ͨ͠ςʔϒϧ·ͨ͸Ϗϡʔɺ#VTJOFTT7BVMU ͷҰ෦ NBDSPT ςʔϒϧઆ໌ CSJEHF #SJEHF5BCMFT ςʔϒϧɺ#VTJOFTT7BVMU ͷҰ෦
  8. ˜$IVSB%"5"JOD ։ൃ͸ %BUB 7BVMU ͷެࣜίϛϡχςΟ͕த৺ʹͳͬͯΔͷͰ҆৺ײڧΊ جຊతʹίϛϡχςΟ͕ඞཁͳ΋ͷ͔Β࡞ΒΕ͍ͯΔʢ3FETIJGUϢʔβʂʂʂʣ ECUWBVMU ͷϩʔυϚοϓ ˙ࠓޙͷϦϦʔε༧ఆ •

    ϓϥοτϑΥʔϜαϙʔτͷ௥Ճ • %BUBCSJDLTɺ1PTUHSF42-ɺ"NB[PO3FETIJGU • ରԠςʔϒϧ௥Ճ • 4UBUVT5SBDLJOH4BUFMMJUFTɺ3FGFSFODF5BCMFɺ.BSUMPBEJOHIFMQFST • ʜFUD • ػೳ௥Ճ • %BUB7BVMU ༻ͷΧελϜεΩʔϚςετ • 4BUFMJUFTͷվળ γϯϓϧʹ͍ͨ͠ • #VTJOFTT7BVMU༻ͷ͍Ζ͍Ζ • 8BUFSMFWFMMPBEJOHNFDIBOJTNT ΄Μͱ͔ʁʁʁ • ʜFUD
  9. ˜$IVSB%"5"JOD &.1-0:&&4 • &.1-0:&&@*% 1, • '*345@/".& • -"45@/".& •

    &."*- • +0#@*% ', • -0"%@%"5& +0#4 • +0#@*% 1, • +0#@5*5-& • .*/@4"-"3: • ."9@4"-"3: • -0"%@%"5& ଟ  ࠓ೔ͷ։࢝࣌఺
  10. ˜$IVSB%"5"JOD &.1-0:&&4 • &.1-0:&&@*% 1, • '*345@/".& • -"45@/".& •

    &."*- • +0#@*% ', • -0"%@%"5& +0#4 • +0#@*% 1, • +0#@5*5-& • .*/@4"-"3: • ."9@4"-"3: • -0"%@%"5& ଟ  )6#@&.1-0:&& • &.1-0:&&@), 1, • &.1-0:&&@*% • -0"%@%"5& • 3&$@43$ )6#@+0# • +0#@), 1, • +0#@*% • -0"%@%"5& • 3&$@43$ -*/,@&.1-0:&&@+0# • -*/,@&.1-0:&&@+0#@), • 1, • &.1-0:&&@), ', • +0#@), ', • -0"%@%"5& • 3&$@43$ ଟ  ଟ   ଟ  ଟ 4"5@&.1-0:&& • &.1-0:&&@), 1, • -0"%@%"5& 1, • &.1-0:&&@)"4)%*'' • 3&$@43$ • '*345@/".& • -"45@/".& • &."*- 4"5@+0# • )6#@+0#@,&: 1, • 4"5@-PBE@%54 • )"4)@%*'' • 4"5@3FD@43$ • +0#@5*5-& • .*/@4"-"3: • ."9@4"-"3: ࠓ೔ͷΰʔϧ࣌఺
  11. /FX"EEFE 3BX4UBHJOH-BZFS ˜$IVSB%"5"JOD &.1-0:&&4 • &.1-0:&&@*% 1, • '*345@/".& •

    -"45@/".& • &."*- • +0#@*% ', • -0"%@%"5& +0#4 • +0#@*% 1, • +0#@5*5-& • .*/@4"-"3: • ."9@4"-"3: • -0"%@%"5& )BTIFE4UBHJOH-BZFS 45(@&.1-0:&&4 ʁʁʁ 45(@+0#4 ʁʁʁ ECUWBVMU TUBHJOH 3BX%BUB GSPN3BX4UBHJOH )BTIFT OFXBEEFE $POUTUBOUT
  12. ˜$IVSB%"5"JOD &.1-0:&&4 • &.1-0:&&@*% 1, • '*345@/".& • -"45@/".& •

    &."*- • +0#@*% ', • -0"%@%"5& )6#@&.1-0:&& • &.1-0:&&@), 1, • &.1-0:&&@*% • -0"%@%"5& • 3&$@43$ -*/,@&.1-0:&&@+0# • -*/,@&.1-0:&&@+0#@), • 1, • &.1-0:&&@), ', • +0#@), ', • -0"%@%"5& • 3&$@43$ ଟ   ଟ 4"5@&.1-0:&& • &.1-0:&&@), 1, • -0"%@%"5& 1, • &.1-0:&&@)"4)%*'' • 3&$@43$ • '*345@/".& • -"45@/".& • &."*- &.1-0:&&4Ͱ͖ͨ
  13. ˜$IVSB%"5"JOD &.1-0:&&4 • &.1-0:&&@*% 1, • '*345@/".& • -"45@/".& •

    &."*- • +0#@*% ', • -0"%@%"5& +0#4 • +0#@*% 1, • +0#@5*5-& • .*/@4"-"3: • ."9@4"-"3: • -0"%@%"5& ଟ  )6#@&.1-0:&& • &.1-0:&&@), 1, • &.1-0:&&@*% • -0"%@%"5& • 3&$@43$ )6#@+0# • +0#@), 1, • +0#@*% • -0"%@%"5& • 3&$@43$ -*/,@&.1-0:&&@+0# • -*/,@&.1-0:&&@+0#@), • 1, • &.1-0:&&@), ', • +0#@), ', • -0"%@%"5& • 3&$@43$ ଟ  ଟ   ଟ  ଟ 4"5@&.1-0:&& • &.1-0:&&@), 1, • -0"%@%"5& 1, • &.1-0:&&@)"4)%*'' • 3&$@43$ • '*345@/".& • -"45@/".& • &."*- 4"5@+0# • )6#@+0#@,&: 1, • 4"5@-PBE@%54 • )"4)@%*'' • 4"5@3FD@43$ • +0#@5*5-& • .*/@4"-"3: • ."9@4"-"3: ΰʔϧ