2021.09.15_Amazon EMR Studio を用いた EDA 環境の構築

「Data Analysis Study #1 データ分析環境について」で登壇したときの資料になります。

Transcript

1. "NB[PO
   &.3
   4UVEJP
   Λ༻͍ͨ &%"
   ؀ڥͷߏங גࣜձࣾφ΢Ωϟετ ౡ ਅਓ
2. 
   /BNF ౡ ਅਓ 
   $BSFFS 
   d
   גࣜձࣾ26*$,
   ʹೖࣾ 
   d
   גࣜձࣾφ΢Ωϟετʹೖࣾ 
   3PMF %BUB
   &OHJOOFS ˔ σʔλύΠϓϥΠϯͷ৽نߏங΍Τϯϋϯε ˔ ࣾ಺ͷσʔλʹର͢ΔΦϖϨʔγϣϯ࡞ۀͷޮ཰Խ ˔ &%"
   ؀ڥͷߏங 1SPGJMF
3. ˔ ηογϣϯͷྲྀΕ ˓ φ΢Ωϟετ಺ͷ &%"
   ʹ͓͚Δ՝୊ ˓ ͦΕʹର͢ΔղܾҊ ˔ ͜Μͳํʹ͓͢͢Ί ˓ これからデータ分析環境の構築を検討されようとしている方 ˓ データ分析やデータエンジニアリング業務に携わっている方 ˓ 他社はどのようなデータ分析環境を構築しているのか興味がある方 ˓ EDA の環境に課題を感じている方 "HFOEB
4. 0VS
   .JTTJPO 我々のミッションは 「Alternative Data for Actionable Insights」です。 オルタナティブデータに基づいた、行動につながるインサイトをご提供します。 ナウキャストのインサイトは質の高い意思決定に貢献し、新しいチャレンジを後押しします。 "CPVU
   /PXDBTU 104 $SFEJU
   $BSE -PDBUJPO σʔλఏڙݩ φ΢Ωϟετ ͓٬͞· σʔλͷఏڙ Ճ޻σʔλ΍ ΠϯαΠτΛఏڙ &5-
   .BQQJOH
   &%"
   BOE
   NPSF
5. ˔ Ϗδωεͷ֦େʹ൐͍ɺσʔλ෼ੳͷॏཁੑ͕ߴ·Δ ˔ ਺ඦ (#
   d
   ਺ 5#
   ن໛ͷσʔλΛ෼ੳ͢Δέʔεͷ૿Ճ ˓ &$
   JOTUBODF
   Λߏங͠ɺ 1ZUIPO
   
   "UIFOB
   ͰॲཧΛ࣮૷ʙ࣮ߦ ˓ ຖճɺ"UIFOB
   ͷςʔϒϧઃܭ΍ࣗલͰ෼ࢄॲཧΛॻ͍ͯ "84
   #BUDI
   Ͱ࣮ߦ ˙ ෼ੳʹ࣌ؒ΍खؒɺίετ͕͔͔Δ ˙ &$
   JOTUBODF
   ͳͲɺϦιʔε؅ཧͷඞཁੑ͕͋Γɺӡ༻ෛՙ͕ੜ͡Δ ˔ &%"
   ͷ݁Ռʹ͍ͭͯɺࣾ಺Ͱڞ༗͢Δ͜ͱʹख͕͔͔ؒΔ ˓ ຖճɺIUNM
   ϑΝΠϧʹม׵͠ɺ4MBDL
   ͳͲʹʜ *TTVF
6. ˔ "NB[PO
   &.3
   4UVEJP ˓ "NB[PO
   &.3
   ޲͚ͷ౷߹։ൃ؀ڥʢ*%&ʣ ˓ "NB[PO
   &.3
   $MVTUFS
   ΍ "NB[PO
   &.3
   /PUFCPPLT
   ͷ࡞੒ɾ઀ଓɾૢ࡞ͳͲ͕ߦ͑Δ ˓ Πϝʔδ͸ (PPHMF
   $PMBCPSBUPSZ
   ʹ͍ۙ ˔ "NB[PO
   &.3 ˓ "QBDIF
   4QBSL
   ͳͲϏοάσʔλ޲͚ͷ෼ࢄॲཧϑϨʔϜϫʔΫͷ࣮ߦ؀ڥΛఏڙ ˔ "NB[PO
   &.3
   /PUFCPPLT ˓ "NB[PO
   &.3
   ޲͚ͷ +VQZUFS
   /PUFCPPL
   ͷαʔόϨεͳϗεςΟϯάαʔϏε "NB[PO
   &.3
   4UVEJP
7. ˔ "84
   ੡඼ΧλϩάΛ࡞੒ɺ੔ཧɺ؅ཧ͢Δ ˓ $MPVE'PSNBUJPO
   ͷ UFNQMBUF
   Λ؅ཧ͢Δ͜ͱ͕Ͱ͖ΔαʔϏε ˓ ར༻ऀ͸ 4FSWJDF
   $BUBMPH
   ͔Βొ࿥ࡁΈͷ $MPVE'PSNBUJPO
   UFNQMBUF
   Λ༻͍ͯɺ "84
   SFTPVSDF
   ͷ EFQMPZ
   ͕Մೳ "84
   4FSWJDF
   $BUBMPH Administrator Analysts Developers AWS Service Catalog UFNQMBUF
   Λొ࿥ ࢖༻͍ͨ͠ "84
   ͷ SFTPVSDF
   ͷ UFNQMBUF
   Λ࢖༻͠ɺEFQMPZ
8. ˔ ӈͷΠϝʔδͷΑ͏ʹ $MPVE'PSNBUJPO
   ͷ จ๏ :".-
   ܗࣜ ʹԊͬͯɺࣄલʹ &.3
   $MVTUFS
   ͷઃఆΛ UFNQMBUF
   ͱͯ͠ఆٛ ˔ "NB[PO
   &.3
   4UVEJP
   Λܦ༝͠ɺҎԼͷ UFNQMBUF
   ʹ΋ͱ͖ͮɺ&.3
   $MVTUFS
   Λ࣮ࡍ ʹ EFQMPZ "84
   4FSWJDF
   $BUBMPH
9. "SDIJUFDUVSF &.3 Users Amazon S3 EMR Notebooks $MVTUFS Instances (Spot instance) Amazon S3 AWS Service Catalog AWS Single Sign- On Lambda function
10. ˔ φ΢Ωϟετͱͯ͠ɺ1ZUIPO
    Λ༻͍ͨ։ൃ΍෼ੳ͕ओྲྀͰ͋ͬͨ ˓ ʮ42-
    Ͱ͝Γ͝Γʜʯɺͱ͍͏ํ๏ʹൺ΂ɺϝϯόʔͷεΩϧʹϚον͍ͯͨ͠ ˔ "UIFOB
    Ͱςʔϒϧఆٛ΍ύʔςΟγϣϯͷઃܭͰ͸ରԠ͕೉͍͠έʔε΋ଘࡏ ˓ ϓϩδΣΫτʹΑͬͯɺ෼ੳ͕࣠େ͖͘ҟͳΔʢ
    ύʔςΟγϣϯΛ੾ΓͮΒ͍ʣ ˓ 1ZUIPO
    
    "UIFOB
    Ͱཁ݅Λຬͨ͢Α͏ͳ෼ࢄॲཧΛ࣮૷͠ͳ͚Ε͹ͳΒͳ͔ͬͨ ˔ ίετ໘Ͱ΋༏ҐੑΛظ଴Ͱ͖Δʢݕূதʜʣ ˓ "UIFOB
    ͷσʔλεΩϟϯʹؔ͢Δίετ͕՝୊ʹͳ͍ͬͯͨ ˓ "VUPTDBMJOH
    ػೳ΍ 4QPU
    JOTUBODF
    Λ׆༻͢Δ͜ͱͰίετΛ཈͑΍͍͢ 8IZ
    "NB[PO
    &.3
    4UVEJP
11. ˔ Ϗδωεͷ֦େʹ൐͍ɺσʔλ෼ੳͷॏཁੑ͕ߴ·Δ ˔ ਺ඦ (#
    d
    ਺ 5#
    ن໛ͷσʔλΛ෼ੳ͢Δέʔεͷ૿Ճ ˓ &$
    JOTUBODF
    Λߏங͠ɺ 1ZUIPO
    
    "UIFOB
    ͰॲཧΛ࣮૷ʙ࣮ߦ ˓ ຖճɺ"UIFOB
    ͷςʔϒϧઃܭ΍ࣗલͰ෼ࢄॲཧΛॻ͍ͯ "84
    #BUDI
    Ͱ࣮ߦ ˙ ෼ੳʹ࣌ؒ΍खؒɺίετ͕͔͔Δ ˙ &$
    JOTUBODF
    ͳͲɺϦιʔε؅ཧͷඞཁੑ͕͋Γɺӡ༻ෛՙ͕ੜ͡Δ ˔ &%"
    ͷ݁Ռʹ͍ͭͯɺࣾ಺Ͱڞ༗͢Δ͜ͱʹख͕͔͔ؒΔ ˓ ຖճɺIUNM
    ϑΝΠϧʹม׵͠ɺ4MBDL
    ͳͲʹʜ *TTVF
12. ˔ Ϗδωεͷ֦େʹ൐͍ɺσʔλ෼ੳͷॏཁੑ͕ߴ·Δ ˔ ਺ඦ (#
    d
    ਺ 5#
    ن໛ͷσʔλΛ෼ੳ͢Δέʔεͷ૿Ճ ˓ &$
    JOTUBODF
    Λߏங͠ɺ 1ZUIPO
    
    "UIFOB
    ͰॲཧΛ࣮૷ʙ࣮ߦ ˓ ຖճɺ"UIFOB
    ͷςʔϒϧઃܭ΍ࣗલͰ෼ࢄॲཧΛॻ͍ͯ "84
    #BUDI
    Ͱ࣮ߦ ˙ ෼ੳʹ࣌ؒ΍खؒɺίετ͕͔͔Δ ˙ &$
    JOTUBODF
    ͳͲɺϦιʔε؅ཧͷඞཁੑ͕͋Γɺӡ༻ෛՙ͕ੜ͡Δ ˔ &%"
    ͷ݁Ռʹ͍ͭͯɺࣾ಺Ͱڞ༗͢Δ͜ͱʹख͕͔͔ؒΔ ˓ ຖճɺIUNM
    ϑΝΠϧʹม׵͠ɺ4MBDL
    ͳͲʹʜ *TTVF
13. ˔ /FUGMJY
    ͳͲ͕த৺ͱͳͬͯ։ൃ͍ͯ͠Δ 044 ˓ (JU)VC ˔ +VQZUFS
    /PUFCPPL
    Λࣗಈతʹ IUNM
    ʹม׵͠ɺϒϥ΢β্Ͱڞ༗ ˔ -PDBM
    ্ͷ +VQZUFS
    /PUFCPPL
    ͷ΄͔ɺ4ɺ($4
    ্ͷ +VQZUFS
    /PUFCPPL
    ΋ڞ༗Մೳ ˔ +VQZUFS
    /PUFCPPL
    ͷڞ༗ػೳҎ֎ʹݕࡧػೳ΋ఏڙ $PNNVUFS
14. "SDIJUFDUVSF &.3 Users Amazon S3 EMR Notebooks $MVTUFS Instances (Spot instance) Amazon S3 AWS Service Catalog AWS Single Sign- On Lambda function
15. "SDIJUFDUVSF &.3 Users Amazon S3 EMR Notebooks $MVTUFS Instances (Spot instance) Amazon S3 AWS Service Catalog AWS Single Sign- On Commuter Lambda function
16. %FNP
17. ˔ "84
    ͷ֤छϚωʔδυαʔϏεΛ׆༻͢Δ͜ͱͰӡ༻ෛՙͷগͳ͍ &%"
    ؀ڥͷߏங͕࣮ݱ ˓ ίϯϐϡʔτϦιʔεؔ࿈ͷ؅ཧ͸ "NB[PO
    &.3
    ʹΦϑϩʔυ ˙ &.3
    $MVTUFS
    Λ౎౓࡞੒ʹ͢Δ͜ͱͰ 04
    ΍ ϛυϧ΢ΣΞͷόʔδϣϯ؅ཧͳͲΛෆཁʹ ˙ ॲཧʹԠͯ͡ "VUPTDBMJOH
    ΍ 4QPU
    JOTUBODF
    ͷ׆༻΋ ˓ +VQZUFS
    /PUFCPPL
    ؔ࿈ͷ؅ཧ͸ "NB[PO
    &.3
    4UVEJP
    
    /PUFCPPL
    ΁ ˙ &.3
    /PUFCPPLT
    Λ׆༻͢Δ͜ͱͰϚωʔδυͳ +VQZUFS
    /PUFCPPL
    Λߏங ˙ +VQZUFS
    /PUFCPPL
    ͸ 4
    ʹอଘ͠ɺ৑௕ԽΛ֬อ ˓ ؀ڥ΁ͷ઀ଓ͢ΔͨΊͷϢʔβ؅ཧ͸ "NB[PO
    4JOHMF
    4JHO0O
    ΁Φϑϩʔυ 1PTJUJWF
    TJEF
18. ˔ φ΢Ωϟετ಺Ͱ͸Ϧιʔε؅ཧ͸ 5FSSBGPSN
    Ͱߦ͍ͬͯΔ ˓ ͦͷͨΊɺ4FSWJDF
    $BUBMPH
    ͷ $MPVE'PSNBUJPO
    લఏͷ࢖༻͸ͪΐͬͱ͚ͩɺखؒʜ ˔ "NB[PO
    4JOHMF
    4JHO0O
    ʹΑΔϢʔβ؅ཧ͸γεςϜతͳ؅ཧΛΦϑϩʔυͰ͖Δ൓໘ɺࣾ಺ ௐ੔ͳͲΛඞཁੑ͕ੜ͡Δ৔໘΋͋Δ ˓ "NB[PO
    4JOHMF
    4JHO0O
    ʹର͢ΔϢʔβͷ௥ՃͳͲ͸ผ్ɺ؅ཧΞΧ΢ϯτͰߦΘΕͯ ͍ΔͨΊ ˔ ॳظͷ؀ڥߏங࣌͸৔߹ʹΑͬͯ͸ɺख͕͔͔ؒΔ͜ͱ΋ ˓ DPNQPOFOU
    ΍ͦΕʹඥͮ͘ *".
    3PMF
    ʹର͢Δཧղ͕ඞཁʹͳΔέʔε͸͋Δ͔΋͠Ε ͳ͍ /FHBUJWF
    TJEF
19. "SDIJUFDUVSF
    *".
    SFTPVSDF
20. 5IBOL
    ZPV