アナリティクスエンジニアとは(What is Analytics Engineer)

by tama-chang

Slide 1

Slide 1 text

ΞϥΠΞϯε౷ׅ෦ۄҪྭ "OBMZUJDT&OHJOFFSͱ͸

Slide 2

Slide 2 text

஫ҙࣄ߲ ຊηογϣϯ͸σʔλ෼ੳۀ຿ʹؔΘ͍ͬͯΔਓ޲͚ͷ ಺༰ͱͳ͍ͬͯ·͢ɻ σʔλ෼ੳʹڵຯ͕ແ͍৔߹͸ɺ໘ന͘ͳ͍Մೳੑ͕ߴ ͍Ͱ͢ɻ

Slide 3

Slide 3 text

ࣗݾ঺հ ۄҪྭʢλϚΠϨΠʣ IUUQT EFWDMBTTNFUIPEKQ BVUIPSUBNB

Slide 4

Slide 4 text

ΞδΣϯμ σʔλ෼ੳνʔϜͷੲͱࠓ "OBMZUJDT&OHJOFFSͱ͸ "OBMZUJDT&OHJOFFSͷݱঢ়ʢͱࠓޙʣ

Slide 5

Slide 5 text

1. σʔλ෼ੳνʔϜͷੲͱࠓ

Slide 6

Slide 6 text

ੲͷσʔλ෼ੳνʔϜ ʢ೥Ҏલʣ

Slide 7

Slide 7 text

࠷ॳʹొ৔͢Δͷ͸σʔλΤϯδχΞ ͜Ε͔Βσʔλ෼ੳʹྗΛೖΕ͍ͯ͘ΘΑ ͋ͳͨ͸σʔλΤϯδχΞͱͯ͠ج൫Λߏஙͯͪ͠ΐ͏͍ͩ Ғ͍ਓ

Slide 8

Slide 8 text

࠷ॳʹొ৔͢Δͷ͸σʔλΤϯδχΞ ͍͍;& σʔλΤϯδχΞ͞Μ

Slide 9

Slide 9 text

೥Ҏલͷσʔλ෼ੳج൫ʢྫʣ ΦϯϓϨͷDWH OLAPαʔόʔ ࣾ಺ͷσʔλ

Slide 10

Slide 10 text

೥Ҏલͷσʔλ෼ੳج൫ʢྫʣ ΦϯϓϨͷDB ࣾ಺ͷσʔλ

Slide 11

Slide 11 text

೥Ҏલͷσʔλ෼ੳج൫ʢྫʣ • ج൫ͷߏங • ج൫ͷӡ༻อक • σʔλͷ౷߹

Slide 12

Slide 12 text

σʔλΛ࣮ࡍʹ෼ੳ͢ΔσʔλΞφϦετ σʔλ͕ج൫ʹཷ·͖ͬͯͨΘ ͜ͷσʔλ͔Β༗༻ͳ৘ใ΍ΠϯαΠτΛಋ͖ग़ͯͪ͠ΐ͏͍ͩ Ғ͍ਓ

Slide 13

Slide 13 text

σʔλΛ࣮ࡍʹ෼ੳ͢ΔσʔλΞφϦετ ͸ɺ͸͍ɻΘ͔Γ·ͨ͠ɻ σʔλΞφϦετ͘Μ

Slide 14

Slide 14 text

೥Ҏલͷσʔλ෼ੳ؀ڥʢྫʣ ෼ੳ ʢϨϙʔτ࡞੒ͱ͔ʣ ΦϯϓϨͷDB OLAPαʔόʔ OLAPΫϥΠΞϯτ ෼ੳ ʢϨϙʔτ࡞੒ͱ͔ʣ SQL

Slide 15

Slide 15 text

෼ੳΫΤϦΛ؅ཧ ͏ɺ͏ΘʜɻͲΕ͕རӹΛ෼ੳ͢ΔΫΤϦ͚ͩͬʜ σʔλΞφϦετ͘Μ • monthly_revenue.sql • monthly_revenue_tmp.sql • monthly_revenue_ fi nal.sql • monthly_revenue_last.sql • monthly_revenue_ fi nal(1).sql

Slide 16

Slide 16 text

&YDFMʹཔΔ͜ͱ΋ ݁ہ&YDFMͳΜͩΑͳ͋ʜ σʔλΞφϦετ͘Μ https://www.microsoft.com/ja-jp/microsoft-365/excel

Slide 17

Slide 17 text

σʔλΛ࢖͏ਓ͔Βͷґཔ͕ଟ͍ ͋ͳͨɺࠓظͷརӹ෼ੳϨϙʔτ͸·ͩͳͷʁ͍ͭͰ͖Δͷ͔͠Βʁ Ғ͍ਓ ͢Έ·ͤΜ…

Slide 18

Slide 18 text

σʔλΛ࢖͏ਓ͔Βͷґཔ͕ଟ͍ ΍͋ɺ ͢·ͳ͍͕ɺ͜ͷސ٬෼ੳͷηάϝϯτΛม͓͍͑ͯͯ͘Εͳ͍͔ʁ ϚʔέςΟϯά෦ɹϩόʔτ ઌʹݴͬͯΑ…

Slide 19

Slide 19 text

σʔλΛ࢖͏ਓ͔Βͷґཔ͕ଟ͍ ͋ͷ੡඼ʹ͍ͭͯ͸ɺརӹͷࢉग़ํ๏͕มΘͬͨΘʜ αΫͬͱߋ৽͓͍ͯͯ͠ʜ෩͕ؾ͍͍࣋ͪΘͶʜ Ӧۀઓུ෦ɹδϣσΟ ෩…ʁ

Slide 20

Slide 20 text

σʔλΞφϦετ͸݁ߏେม ͸͋ʜർΕͨʜ σʔλΞφϦετ͘Μ

Slide 21

Slide 21 text

ࠓͷσʔλ෼ੳνʔϜ ʢ೥Ҏ߱ʣ

Slide 22

Slide 22 text

೥ɺര஀

Slide 23

Slide 23 text

೥ɺര஀ Amazon Redshift

Slide 24

Slide 24 text

Ϋϥ΢υΛલఏͱͨ͠σʔλ੡඼͕ଓʑొ৔

Slide 25

Slide 25 text

Ϋϥ΢υͳσʔλ੡඼͕ଓʑొ৔

Slide 26

Slide 26 text

Ϋϥ΢υͳσʔλ੡඼͕ଓʑొ৔

Slide 27

Slide 27 text

Ϋϥ΢υͳσʔλ੡඼͕ଓʑొ৔ • ͜ΕΒαʔϏεΛ༻͍ͨج൫ͷߏங • ͜ΕΒαʔϏεΛ༻͍ͨج൫ͷӡ༻อक • σʔλͷ౷߹

Slide 28

Slide 28 text

ӦۀɺϚʔέɺܦӦɺFUD ୭Ͱ΋σʔλ෼ੳ͕Ͱ͖Δ࣌୅ʹ

Slide 29

Slide 29 text

୭Ͱ΋σʔλ෼ੳ͕Ͱ͖ΔΑ͏ʹͳͬͨ݁Ռʜ https://www.slideshare.net/Denodo/denodo-datafest-2016- enterprise-view-of-data-with-semantic-data-layer • SQLͷཚཱ • ࢖్ෆ໌σʔλͷେྔൃੜ • ΤΫεϙʔτͨ͠Excelͷେྔൃੜ • ಉ͡ࢦඪͳͷʹ਺ࣈ͕ҧ͏

Slide 30

Slide 30 text

σʔλΞφϦετͷۤ࿑ʢྫʣ ͢Έ·ͤΜɺࠓظͷརӹͬͯͲͷςʔϒϧʹೖ͍ͬͯ·͔͢ʁ རӹςʔϒϧ͚ͩͰݸ΋͋ͬͯɺͲΕ͕ਖ਼͍͠΋ͷ͔Θ͔Βͳͯ͘ʜ σʔλΞφϦετ͘Μ

Slide 31

Slide 31 text

σʔλΞφϦετͷۤ࿑ʢྫʣ ϑοʜʜʜΘ͔Βͳ͍Θʜʜ ΈΜͳࣗ༝ʹσʔλΛ৮͍ͬͯΔ͔Βʜʜࣗ༝͍͍ͬͯΘͶʜ Ӧۀઓུ෦ɹδϣσΟ

Slide 32

Slide 32 text

σʔλΞφϦετͷۤ࿑ʢྫʣ ͪͳΈʹɺརӹςʔϒϧ͸શ෦Ͱݸ͋ΔΘʜ Ӧۀઓུ෦ɹδϣσΟ !?

Slide 33

Slide 33 text

σʔλΞφϦετͷۤ࿑ʢྫʣ ͢Έ·ͤΜɺܦӦ෼ੳϨϙʔτΛ࡞Γ͍ͨͷͰ͕͢ɺརӹʹؔ͢Δσʔ λ͕ͳ͍ͷͰɺ͜͏͍͏࢓༷ͷςʔϒϧΛͭͬͯ͘͘Ε·ͤΜ͔ʁ σʔλΞφϦετ͘Μ

Slide 34

Slide 34 text

σʔλΞφϦετͷۤ࿑ʢྫʣ ͋ͷͳ͋ʜʜԶ͸ࠓ͔Β৽͍͠σʔλ౷߹ͷ࢓༷Λߟ͑ͳ͖Ό͍͚΁Μ ͷ΍ʜΊͬͪΌ๩͍͠ͶΜԶʜ σʔλΤϯδχΞɹέΠσϯ

Slide 35

Slide 35 text

σʔλΞφϦετͷۤ࿑ʢྫʣ ͓લͷཔΈͳΜ͔͖͍ͯΒ΁Μͷ͡Όʔʔʔʔʔʔʔʔʔʔʂʂʂʂʂ σʔλΤϯδχΞɹέΠσϯ !?

Slide 36

Slide 36 text

Slide 37

Slide 37 text

ղܾࡦ͸ͨͩͭ σʔλ΢ΣΞϋ΢εʹ ෼ੳ༻ʹ࠷దԽ͞Εͨσʔλ͕͋Ε͹Α͍

Slide 38

Slide 38 text

ݱ৔΋σʔλΤϯδχΞ΋๩͍͠ ʜʜ σʔλΞφϦετ͘Μ

Slide 39

Slide 39 text

ͦ͏͍͏͜ͱΛઐ໳ʹߦ͏ΤϯδχΞ͕͍Ε͹Α͍ ʂʁ σʔλΞφϦετ͘Μ

Slide 40

Slide 40 text

ͦ͏͍͏͜ͱΛઐ໳ʹߦ͏ΤϯδχΞ͕͍Ε͹Α͍ *O "OBMZUJDT&OHJOFFSXBTCPSO ECUMBCT !?

Slide 41

Slide 41 text

What is Analytics Engineer?

Slide 42

Slide 42 text

ΞφϦςΟΫεΤϯδχΞͷ࢖໋ ݩσʔλΛม׵ͯ͠ ෼ੳʹదͨ͠σʔλΛ࡞੒͢Δ

Slide 43

Slide 43 text

l.PEFSOzͳσʔλ෼ੳνʔϜ σʔλΤϯδχΞ ΞφϦςΟΫεΤϯδχΞ σʔλΞφϦετ w σʔλͷ౷߹ w σʔλύΠϓϥΠϯͷ؅ཧ w σʔλ෼ੳج൫ͷߏஙͱӡ ༻อक w σʔλ΢ΣΞϋ΢εͷύ ϑΥʔϚϯε࠷దԽ https://www.getdbt.com/what-is-analytics-engineering/ w ෼ੳʹඞཁͳσʔλͷఏڙ w ιϑτ΢ΣΞ։ൃͷϕετϓϥΫ ςΟεΛσʔλม׵ίʔυʹద༻ w σʔλͷυΩϡϝϯτ࡞੒ͱσʔλ ఆٛͷҡ࣋ w #*πʔϧΛ࢖༻͢ΔϏδωεϢʔ βʔ΁τϨʔχϯά w ݱ৔ͱڠྗͯ͠σʔλͷඞ ཁੑΛཧղ w #*μογϡϘʔυͷߏங w ຊ౰ͷҙຯͰͷʮσʔλ෼ ੳʯʢͳͥઌ݄͸ղ໿͕ٸ ૿ͨ͠ͷ͔ʁʣ

Slide 44

Slide 44 text

Slide 45

Slide 45 text

ΞφϦςΟΫεΤϯδχΞ࢘ॻʁ

Slide 46

Slide 46 text

ΞφϦςΟΫεΤϯδχΞ࢘ॻʁ ࢘ॻ ΞφϦςΟΫεΤϯδχΞ •ݚڀऀͷͨΊʹ৭ʑͳࢿྉΛ੔ཧ •ݚڀͦͷ΋ͷ͸ߦΘͳ͍ •ΞφϦετͷͨΊʹ৭ʑͳσʔλΛ੔ཧ •෼ੳͦͷ΋ͷ͸ߦΘͳ͍

Slide 47

Slide 47 text

8IBUJT"OBMZUJDT&OHJOFFSJOH

Slide 48

Slide 48 text

ΞφϦςΟΫεΤϯδχΞϦϯάͱ͸ ιϑτ΢ΣΞ։ൃͷϕετϓϥΫςΟεΛ ༻͍ͯσʔλม׵Λ։ൃ͢Δ

Slide 49

Slide 49 text

ιϑτ΢ΣΞ։ൃͷϕετϓϥΫςΟεʁ όʔδϣϯ؅ཧ͢Δ ։ൃ؀ڥΛ༻ҙ͢Δ ඼࣭Λอূ͢Δʢςετ͢Δʣ ϞδϡʔϧԽ͢Δ อकੑΛߟྀͯ͠ઃܭ͢Δ

Slide 50

Slide 50 text

σʔλม׵͸όʔδϣϯ؅ཧ͢Δ w ෼ੳ42-ͷཚཱ͸ࠞಱͷ࢝·Γ w (JUΛ༻͍ͯόʔδϣϯ؅ཧΛߦ͏

Slide 51

Slide 51 text

σʔλม׵ͷ։ൃ؀ڥΛ༻ҙ͢Δ w ։ൃ EFW ͱຊ൪ QSPE Λ෼͚Δ w σʔλม׵ͷ։ൃ΍ςετ͸։ൃ؀ڥͰߦ͏

Slide 52

Slide 52 text

ม׵ͨ͠σʔλʹରͯ͠͸ςετΛ࣮ࢪ͢Δ w #*πʔϧ౳ͰμογϡϘʔυΛ࡞͔ͬͯΒσʔλͷؒ ҧ͍ʹؾͮ͘Α͏Ͱ͸஗͗͢Δ w ςετίʔυΛॻ͍ͯɺࣗಈͰςετ͕૸ΔΑ͏ʹ͢ Δ

Slide 53

Slide 53 text

σʔλม׵ͷϩδοΫ͸ϞδϡʔϧԽ͢Δ w Ұ౓ॻ͔ΕͨϩδοΫ͸౓ͱॻ͔ͳ͍ʢ࠶ར༻͢ Δʣ w νʔϜશһͰͭͷίʔυʢϦϙδτϦʣΛڞ༗͢Δ

Slide 54

Slide 54 text

อकੑΛߟྀͯ͠ઃܭ͢Δ w ιʔεσʔλΛมߋ͢ΔϦεΫΛɺͦͷσʔλΛऔΓ ࠐΉ୯ҰͷϞσϧ಺ʹִ཭͢Δ w কདྷతʹݩσʔλͷεΩʔϚ͕มߋ͞Εͯ΋ɺରԠ͕ ༰қʹͳΔ w ʮ৽͍͠σʔλม׵Λ௥Ճ։ൃͨ͠Βطଘσʔλ͕յ ΕͨʯͳΜͯ͜ͱʹͳΒͳ͍Α͏ʹʜ

Slide 55

Slide 55 text

ΞφϦςΟΫεΤϯδχΞϦϯάͷ࣮ફ Ͳ͏΍ͬͯ΍Δͷʁ Ͳ͏͍͏ਓ͕Ͱ͖Δͷʁ

Slide 56

Slide 56 text

πʔϧ͕͋Γ·͢

Slide 57

Slide 57 text

πʔϧ͕͋Γ·͢ SQL͑͞஌͍ͬͯΕ͹࢖͑·͢

Slide 58

Slide 58 text

Analytics Engineerͷݱঢ়ʢͱࠓޙʣ

Slide 59

Slide 59 text

ւ֎ͷ৔߹ https://www.getdbt.com/analytics-engineering/jobs/#analytics-engineering-jobs

Slide 60

Slide 60 text

͋ͷ༗໊ͳاۀ΋ืूத https://jobs.lever.co/spotify/596a5375-058b-4895-9257-d9595d20d7a0?lever-via=CSbAQbdBAp

Slide 61

Slide 61 text

ࠃ಺ ࣮࣭σʔλΤϯδχΞͳืू͕ଟ਺

Slide 62

Slide 62 text

࠾༻͸·ͩ೉͍͔͠΋ σʔλΤϯδχΞ΍ΞφϦετ͔Β ঃʑʹస਎͢Δϧʔτ͕Ԧಓϧʔτ͔ʁ

Slide 63

Slide 63 text

Τϐϩʔά ΞφϦςΟΫεΤϯδχΞ͔ʜ σʔλΞφϦετ͘Μ

Slide 64

Slide 64 text

Τϐϩʔά ԶΈ͍ͨʹσʔλͰۤ͠ΉਓؒΛɺ͜ΕҎ্૿΍͢Θ͚ʹ͸͍͔ͳ͍ʜ σʔλΞφϦετ͘Μ

Slide 65

Slide 65 text

Τϐϩʔά গͮͭ͠ʜগ͕ͮͭͩ͠ʜνϟϨϯδͯ͠ΈΑ͏ʜ ΞφϦςΟΫεΤϯδχΞϦϯάʜ σʔλΞφϦετ͘Μ

Slide 66

Slide 66 text

Τϐϩʔάʁ

Slide 67

Slide 67 text

ϑϑͬʜ δϣσΟ

Slide 68

Slide 68 text

νϟϨϯδਫ਼ਆΛ๨ΕͣʹCZδϣσΟ ͋ͳͨͳΒɺඞͣ੒͠਱͛ΒΕΔΘʜఘΊͳ͍Ͱʜ Ӧۀઓུ෦௕݉γχΞΞφϦςΟΫεΤϯδχΞɹδϣσΟ

Slide 69

Slide 69 text

No content

Slide 70

Slide 70 text

ηογϣϯޙ͸ɺνϟοτཝͷURLɺ·ͨ͸ԼهQRίʔυΑΓ Ξϯέʔτ΁ͷ͝ڠྗΛ͓ئ͍͍ͨ͠·͢ɻ SNS౤ߘʹ͸ͪ͜ΒΛ͓࢖͍͍ͩ͘͞ɿ#devio2021 https://forms.gle/JkAGfRfB1z19YEmo9 13:05-13:3 5 ʮΞφϦςΟΫεΤϯδχΞͱ͸ʯ Q&A Q&A