Upgrade to Pro — share decks privately, control downloads, hide ads and more …

アナリティクスエンジニアとは(What is Analytics Engineer)

06986333d704c400f7a2053994058e6e?s=47 tama-chang
October 12, 2021

アナリティクスエンジニアとは(What is Analytics Engineer)

06986333d704c400f7a2053994058e6e?s=128

tama-chang

October 12, 2021
Tweet

Transcript

  1.  ΞϥΠΞϯε౷ׅ෦ۄҪྭ "OBMZUJDT&OHJOFFSͱ͸

  2. ஫ҙࣄ߲  ຊηογϣϯ͸σʔλ෼ੳۀ຿ʹؔΘ͍ͬͯΔਓ޲͚ͷ ಺༰ͱͳ͍ͬͯ·͢ɻ σʔλ෼ੳʹڵຯ͕ແ͍৔߹͸ɺ໘ന͘ͳ͍Մೳੑ͕ߴ ͍Ͱ͢ɻ

  3. ࣗݾ঺հ  ۄҪྭʢλϚΠϨΠʣ IUUQT EFWDMBTTNFUIPEKQ BVUIPSUBNB

  4. ΞδΣϯμ   σʔλ෼ੳνʔϜͷੲͱࠓ  "OBMZUJDT&OHJOFFSͱ͸  "OBMZUJDT&OHJOFFSͷݱঢ়ʢͱࠓޙʣ

  5.  1. σʔλ෼ੳνʔϜͷੲͱࠓ

  6.  ੲͷσʔλ෼ੳνʔϜ ʢ೥Ҏલʣ

  7. ࠷ॳʹొ৔͢Δͷ͸σʔλΤϯδχΞ  ͜Ε͔Βσʔλ෼ੳʹྗΛೖΕ͍ͯ͘ΘΑ ͋ͳͨ͸σʔλΤϯδχΞͱͯ͠ج൫Λߏஙͯͪ͠ΐ͏͍ͩ Ғ͍ਓ

  8. ࠷ॳʹొ৔͢Δͷ͸σʔλΤϯδχΞ  ͍͍;& σʔλΤϯδχΞ͞Μ

  9. ೥Ҏલͷσʔλ෼ੳج൫ʢྫʣ  ΦϯϓϨͷDWH OLAPαʔόʔ ࣾ಺ͷσʔλ

  10. ೥Ҏલͷσʔλ෼ੳج൫ʢྫʣ  ΦϯϓϨͷDB ࣾ಺ͷσʔλ

  11. ೥Ҏલͷσʔλ෼ੳج൫ʢྫʣ  • ج൫ͷߏங • ج൫ͷӡ༻อक • σʔλͷ౷߹

  12. σʔλΛ࣮ࡍʹ෼ੳ͢ΔσʔλΞφϦετ  σʔλ͕ج൫ʹཷ·͖ͬͯͨΘ ͜ͷσʔλ͔Β༗༻ͳ৘ใ΍ΠϯαΠτΛಋ͖ग़ͯͪ͠ΐ͏͍ͩ Ғ͍ਓ

  13. σʔλΛ࣮ࡍʹ෼ੳ͢ΔσʔλΞφϦετ  ͸ɺ͸͍ɻΘ͔Γ·ͨ͠ɻ σʔλΞφϦετ͘Μ

  14. ೥Ҏલͷσʔλ෼ੳ؀ڥʢྫʣ  ෼ੳ ʢϨϙʔτ࡞੒ͱ͔ʣ ΦϯϓϨͷDB OLAPαʔόʔ OLAPΫϥΠΞϯτ ෼ੳ ʢϨϙʔτ࡞੒ͱ͔ʣ SQL

  15. ෼ੳΫΤϦΛ؅ཧ  ͏ɺ͏ΘʜɻͲΕ͕རӹΛ෼ੳ͢ΔΫΤϦ͚ͩͬʜ σʔλΞφϦετ͘Μ • monthly_revenue.sql • monthly_revenue_tmp.sql • monthly_revenue_

    fi nal.sql • monthly_revenue_last.sql • monthly_revenue_ fi nal(1).sql
  16. &YDFMʹཔΔ͜ͱ΋  ݁ہ&YDFMͳΜͩΑͳ͋ʜ σʔλΞφϦετ͘Μ https://www.microsoft.com/ja-jp/microsoft-365/excel

  17. σʔλΛ࢖͏ਓ͔Βͷґཔ͕ଟ͍  ͋ͳͨɺࠓظͷརӹ෼ੳϨϙʔτ͸·ͩͳͷʁ͍ͭͰ͖Δͷ͔͠Βʁ Ғ͍ਓ ͢Έ·ͤΜ…

  18. σʔλΛ࢖͏ਓ͔Βͷґཔ͕ଟ͍  ΍͋ɺ ͢·ͳ͍͕ɺ͜ͷސ٬෼ੳͷηάϝϯτΛม͓͍͑ͯͯ͘Εͳ͍͔ʁ ϚʔέςΟϯά෦ɹϩόʔτ ઌʹݴͬͯΑ…

  19. σʔλΛ࢖͏ਓ͔Βͷґཔ͕ଟ͍  ͋ͷ੡඼ʹ͍ͭͯ͸ɺརӹͷࢉग़ํ๏͕มΘͬͨΘʜ αΫͬͱߋ৽͓͍ͯͯ͠ʜ෩͕ؾ͍͍࣋ͪΘͶʜ Ӧۀઓུ෦ɹδϣσΟ ෩…ʁ

  20. σʔλΞφϦετ͸݁ߏେม  ͸͋ʜർΕͨʜ σʔλΞφϦετ͘Μ

  21.  ࠓͷσʔλ෼ੳνʔϜ ʢ೥Ҏ߱ʣ

  22. ೥ɺര஀ 

  23. ೥ɺര஀  Amazon Redshift

  24. Ϋϥ΢υΛલఏͱͨ͠σʔλ੡඼͕ଓʑొ৔ 

  25. Ϋϥ΢υͳσʔλ੡඼͕ଓʑొ৔ 

  26. Ϋϥ΢υͳσʔλ੡඼͕ଓʑొ৔ 

  27. Ϋϥ΢υͳσʔλ੡඼͕ଓʑొ৔  • ͜ΕΒαʔϏεΛ༻͍ͨج൫ͷߏங • ͜ΕΒαʔϏεΛ༻͍ͨج൫ͷӡ༻อक • σʔλͷ౷߹

  28. ӦۀɺϚʔέɺܦӦɺFUD  ୭Ͱ΋σʔλ෼ੳ͕Ͱ͖Δ࣌୅ʹ

  29. ୭Ͱ΋σʔλ෼ੳ͕Ͱ͖ΔΑ͏ʹͳͬͨ݁Ռʜ  https://www.slideshare.net/Denodo/denodo-datafest-2016- enterprise-view-of-data-with-semantic-data-layer • SQLͷཚཱ • ࢖్ෆ໌σʔλͷେྔൃੜ • ΤΫεϙʔτͨ͠Excelͷେྔൃੜ

    • ಉ͡ࢦඪͳͷʹ਺ࣈ͕ҧ͏
  30. σʔλΞφϦετͷۤ࿑ʢྫʣ  ͢Έ·ͤΜɺࠓظͷརӹͬͯͲͷςʔϒϧʹೖ͍ͬͯ·͔͢ʁ རӹςʔϒϧ͚ͩͰݸ΋͋ͬͯɺͲΕ͕ਖ਼͍͠΋ͷ͔Θ͔Βͳͯ͘ʜ σʔλΞφϦετ͘Μ

  31. σʔλΞφϦετͷۤ࿑ʢྫʣ  ϑοʜʜʜΘ͔Βͳ͍Θʜʜ ΈΜͳࣗ༝ʹσʔλΛ৮͍ͬͯΔ͔Βʜʜࣗ༝͍͍ͬͯΘͶʜ Ӧۀઓུ෦ɹδϣσΟ

  32. σʔλΞφϦετͷۤ࿑ʢྫʣ  ͪͳΈʹɺརӹςʔϒϧ͸શ෦Ͱݸ͋ΔΘʜ Ӧۀઓུ෦ɹδϣσΟ !?

  33. σʔλΞφϦετͷۤ࿑ʢྫʣ  ͢Έ·ͤΜɺܦӦ෼ੳϨϙʔτΛ࡞Γ͍ͨͷͰ͕͢ɺརӹʹؔ͢Δσʔ λ͕ͳ͍ͷͰɺ͜͏͍͏࢓༷ͷςʔϒϧΛͭͬͯ͘͘Ε·ͤΜ͔ʁ σʔλΞφϦετ͘Μ

  34. σʔλΞφϦετͷۤ࿑ʢྫʣ  ͋ͷͳ͋ʜʜԶ͸ࠓ͔Β৽͍͠σʔλ౷߹ͷ࢓༷Λߟ͑ͳ͖Ό͍͚΁Μ ͷ΍ʜΊͬͪΌ๩͍͠ͶΜԶʜ σʔλΤϯδχΞɹέΠσϯ

  35. σʔλΞφϦετͷۤ࿑ʢྫʣ  ͓લͷཔΈͳΜ͔͖͍ͯΒ΁Μͷ͡Όʔʔʔʔʔʔʔʔʔʔʂʂʂʂʂ σʔλΤϯδχΞɹέΠσϯ !?

  36. ୭Ͱ΋σʔλ෼ੳ͕Ͱ͖ΔΑ͏ʹͳͬͨ݁Ռʜ  https://www.slideshare.net/Denodo/denodo-datafest-2016- enterprise-view-of-data-with-semantic-data-layer • SQLͷཚཱ • ࢖్ෆ໌σʔλͷେྔൃੜ • ΤΫεϙʔτͨ͠Excelͷେྔൃੜ

    • ಉ͡ࢦඪͳͷʹ਺ࣈ͕ҧ͏ →࠷దͳσʔλ෼ੳ͕࢝ΊΒΕͳ͍
  37. ղܾࡦ͸ͨͩͭ  σʔλ΢ΣΞϋ΢εʹ ෼ੳ༻ʹ࠷దԽ͞Εͨσʔλ͕͋Ε͹Α͍

  38. ݱ৔΋σʔλΤϯδχΞ΋๩͍͠  ʜʜ σʔλΞφϦετ͘Μ

  39. ͦ͏͍͏͜ͱΛઐ໳ʹߦ͏ΤϯδχΞ͕͍Ε͹Α͍  ʂʁ σʔλΞφϦετ͘Μ

  40. ͦ͏͍͏͜ͱΛઐ໳ʹߦ͏ΤϯδχΞ͕͍Ε͹Α͍  *O "OBMZUJDT&OHJOFFSXBTCPSO ECUMBCT !?

  41.  What is Analytics Engineer?

  42. ΞφϦςΟΫεΤϯδχΞͷ࢖໋  ݩσʔλΛม׵ͯ͠ ෼ੳʹదͨ͠σʔλΛ࡞੒͢Δ

  43. l.PEFSOzͳσʔλ෼ੳνʔϜ  σʔλΤϯδχΞ ΞφϦςΟΫεΤϯδχΞ σʔλΞφϦετ w σʔλͷ౷߹ w σʔλύΠϓϥΠϯͷ؅ཧ w

    σʔλ෼ੳج൫ͷߏஙͱӡ ༻อक w σʔλ΢ΣΞϋ΢εͷύ ϑΥʔϚϯε࠷దԽ https://www.getdbt.com/what-is-analytics-engineering/ w ෼ੳʹඞཁͳσʔλͷఏڙ w ιϑτ΢ΣΞ։ൃͷϕετϓϥΫ ςΟεΛσʔλม׵ίʔυʹద༻ w σʔλͷυΩϡϝϯτ࡞੒ͱσʔλ ఆٛͷҡ࣋ w #*πʔϧΛ࢖༻͢ΔϏδωεϢʔ βʔ΁τϨʔχϯά w ݱ৔ͱڠྗͯ͠σʔλͷඞ ཁੑΛཧղ w #*μογϡϘʔυͷߏங w ຊ౰ͷҙຯͰͷʮσʔλ෼ ੳʯʢͳͥઌ݄͸ղ໿͕ٸ ૿ͨ͠ͷ͔ʁʣ
  44. l.PEFSOzͳσʔλ෼ੳνʔϜ  σʔλΤϯδχΞ ΞφϦςΟΫεΤϯδχΞ σʔλΞφϦετ w σʔλͷ౷߹ w σʔλύΠϓϥΠϯͷ؅ཧ w

    σʔλ෼ੳج൫ͷߏஙͱӡ ༻อक w σʔλ΢ΣΞϋ΢εͷύ ϑΥʔϚϯε࠷దԽ https://www.getdbt.com/what-is-analytics-engineering/ w ෼ੳʹඞཁͳσʔλͷఏڙ w ιϑτ΢ΣΞ։ൃͷϕετϓϥΫ ςΟεΛσʔλม׵ίʔυʹద༻ w σʔλͷυΩϡϝϯτ࡞੒ͱσʔλ ఆٛͷҡ࣋ w #*πʔϧΛ࢖༻͢ΔϏδωεϢʔ βʔ΁τϨʔχϯά w ݱ৔ͱڠྗͯ͠σʔλͷඞ ཁੑΛཧղ w #*μογϡϘʔυͷߏங w ຊ౰ͷҙຯͰͷʮσʔλ෼ ੳʯʢͳͥઌ݄͸ղ໿͕ٸ ૿ͨ͠ͷ͔ʁʣ
  45. ΞφϦςΟΫεΤϯδχΞ࢘ॻʁ 

  46. ΞφϦςΟΫεΤϯδχΞ࢘ॻʁ  ࢘ॻ ΞφϦςΟΫεΤϯδχΞ •ݚڀऀͷͨΊʹ৭ʑͳࢿྉΛ੔ཧ •ݚڀͦͷ΋ͷ͸ߦΘͳ͍ •ΞφϦετͷͨΊʹ৭ʑͳσʔλΛ੔ཧ •෼ੳͦͷ΋ͷ͸ߦΘͳ͍

  47.  8IBUJT"OBMZUJDT&OHJOFFSJOH

  48. ΞφϦςΟΫεΤϯδχΞϦϯάͱ͸  ιϑτ΢ΣΞ։ൃͷϕετϓϥΫςΟεΛ ༻͍ͯσʔλม׵Λ։ൃ͢Δ

  49. ιϑτ΢ΣΞ։ൃͷϕετϓϥΫςΟεʁ   όʔδϣϯ؅ཧ͢Δ  ։ൃ؀ڥΛ༻ҙ͢Δ  ඼࣭Λอূ͢Δʢςετ͢Δʣ  ϞδϡʔϧԽ͢Δ

     อकੑΛߟྀͯ͠ઃܭ͢Δ
  50. σʔλม׵͸όʔδϣϯ؅ཧ͢Δ  w ෼ੳ42-ͷཚཱ͸ࠞಱͷ࢝·Γ w (JUΛ༻͍ͯόʔδϣϯ؅ཧΛߦ͏

  51. σʔλม׵ͷ։ൃ؀ڥΛ༻ҙ͢Δ  w ։ൃ EFW ͱຊ൪ QSPE Λ෼͚Δ w σʔλม׵ͷ։ൃ΍ςετ͸։ൃ؀ڥͰߦ͏

  52. ม׵ͨ͠σʔλʹରͯ͠͸ςετΛ࣮ࢪ͢Δ  w #*πʔϧ౳ͰμογϡϘʔυΛ࡞͔ͬͯΒσʔλͷؒ ҧ͍ʹؾͮ͘Α͏Ͱ͸஗͗͢Δ w ςετίʔυΛॻ͍ͯɺࣗಈͰςετ͕૸ΔΑ͏ʹ͢ Δ

  53. σʔλม׵ͷϩδοΫ͸ϞδϡʔϧԽ͢Δ  w Ұ౓ॻ͔ΕͨϩδοΫ͸౓ͱॻ͔ͳ͍ʢ࠶ར༻͢ Δʣ w νʔϜશһͰͭͷίʔυʢϦϙδτϦʣΛڞ༗͢Δ

  54. อकੑΛߟྀͯ͠ઃܭ͢Δ  w ιʔεσʔλΛมߋ͢ΔϦεΫΛɺͦͷσʔλΛऔΓ ࠐΉ୯ҰͷϞσϧ಺ʹִ཭͢Δ w কདྷతʹݩσʔλͷεΩʔϚ͕มߋ͞Εͯ΋ɺରԠ͕ ༰қʹͳΔ w ʮ৽͍͠σʔλม׵Λ௥Ճ։ൃͨ͠Βطଘσʔλ͕յ

    ΕͨʯͳΜͯ͜ͱʹͳΒͳ͍Α͏ʹʜ
  55. ΞφϦςΟΫεΤϯδχΞϦϯάͷ࣮ફ  Ͳ͏΍ͬͯ΍Δͷʁ Ͳ͏͍͏ਓ͕Ͱ͖Δͷʁ

  56. πʔϧ͕͋Γ·͢ 

  57. πʔϧ͕͋Γ·͢  SQL͑͞஌͍ͬͯΕ͹࢖͑·͢

  58.  Analytics Engineerͷݱঢ়ʢͱࠓޙʣ

  59. ւ֎ͷ৔߹  https://www.getdbt.com/analytics-engineering/jobs/#analytics-engineering-jobs

  60. ͋ͷ༗໊ͳاۀ΋ืूத  https://jobs.lever.co/spotify/596a5375-058b-4895-9257-d9595d20d7a0?lever-via=CSbAQbdBAp

  61. ࠃ಺  ࣮࣭σʔλΤϯδχΞͳืू͕ଟ਺

  62. ࠾༻͸·ͩ೉͍͔͠΋  σʔλΤϯδχΞ΍ΞφϦετ͔Β ঃʑʹస਎͢Δϧʔτ͕Ԧಓϧʔτ͔ʁ

  63. Τϐϩʔά  ΞφϦςΟΫεΤϯδχΞ͔ʜ σʔλΞφϦετ͘Μ

  64. Τϐϩʔά  ԶΈ͍ͨʹσʔλͰۤ͠ΉਓؒΛɺ͜ΕҎ্૿΍͢Θ͚ʹ͸͍͔ͳ͍ʜ σʔλΞφϦετ͘Μ

  65. Τϐϩʔά  গͮͭ͠ʜগ͕ͮͭͩ͠ʜνϟϨϯδͯ͠ΈΑ͏ʜ ΞφϦςΟΫεΤϯδχΞϦϯάʜ σʔλΞφϦετ͘Μ

  66. Τϐϩʔάʁ 

  67.   ϑϑͬʜ δϣσΟ

  68. νϟϨϯδਫ਼ਆΛ๨ΕͣʹCZδϣσΟ  ͋ͳͨͳΒɺඞͣ੒͠਱͛ΒΕΔΘʜఘΊͳ͍Ͱʜ Ӧۀઓུ෦௕݉γχΞΞφϦςΟΫεΤϯδχΞɹδϣσΟ

  69. None
  70. ηογϣϯޙ͸ɺνϟοτཝͷURLɺ·ͨ͸ԼهQRίʔυΑΓ Ξϯέʔτ΁ͷ͝ڠྗΛ͓ئ͍͍ͨ͠·͢ɻ SNS౤ߘʹ͸ͪ͜ΒΛ͓࢖͍͍ͩ͘͞ɿ#devio2021 https://forms.gle/JkAGfRfB1z19YEmo9 13:05-13:3 5 ʮΞφϦςΟΫεΤϯδχΞͱ͸ʯ Q&A Q&A