Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
2021.09.15_Amazon EMR Studio を用いた EDA 環境の構築
Search
MasatoShima
September 15, 2021
Technology
0
220
2021.09.15_Amazon EMR Studio を用いた EDA 環境の構築
「Data Analysis Study #1 データ分析環境について」
で登壇したときの資料になります。
MasatoShima
September 15, 2021
Tweet
Share
Other Decks in Technology
See All in Technology
エンジニアの生存戦略 〜クラウド潮流の経験から紐解く技術トレンドのメカニズムと乗りこなし方〜
shimy
9
1.9k
ABEMAにおけるLLMを用いたコンテンツベース推薦システム導入と効果検証
cyberagentdevelopers
PRO
1
700
dxd2024-生成AIに振り回された3か月間の成功と失敗/dxd2024-link-and-motivation
lmi
2
260
エンジニアリングマネージャーはどう学んでいくのか #devsumi / How Do Engineering Managers Continue to Learn and Grow?
expajp
4
1.3k
コミュニティサービスに「あなたへ」フィードを リリースするまでの試行錯誤
takapy
1
140
ソフトウェアエンジニアリングの知見を活かして データ基盤をいい感じにする on Snowflake [MIERUNE BBQ #10]
mtpooh
2
150
Github Actions 로 Android 팀의 효율성 극대화
hadonghyun
0
160
Azure Pipelinesを使用したCICDベースラインアーキテクチャ実践
yuriemori
0
190
テスト・設計研修【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
170
[I/O Extended Android 2024] What`s new in Android 2024
kyeongwan
0
220
AI研修【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
130
AWSで”最小権限の原則”を実現するための考え方 /20240722-ssmjp-aws-least-privilege
opelab
10
4.3k
Featured
See All Featured
A better future with KSS
kneath
231
17k
Speed Design
sergeychernyshev
9
270
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
248
20k
The Invisible Side of Design
smashingmag
294
50k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
502
140k
How GitHub Uses GitHub to Build GitHub
holman
471
290k
VelocityConf: Rendering Performance Case Studies
addyosmani
321
23k
Into the Great Unknown - MozCon
thekraken
20
1.3k
Code Review Best Practice
trishagee
58
16k
For a Future-Friendly Web
brad_frost
173
9.2k
Atom: Resistance is Futile
akmur
261
25k
Build your cross-platform service in a week with App Engine
jlugia
227
17k
Transcript
"NB[PO&.34UVEJPΛ༻͍ͨ &%"ڥͷߏங גࣜձࣾφΩϟετ ౡ ਅਓ
/BNF ౡ ਅਓ $BSFFS dגࣜձࣾ26*$,ʹೖࣾ dגࣜձࣾφΩϟετʹೖࣾ 3PMF %BUB&OHJOOFS ˔ σʔλύΠϓϥΠϯͷ৽نߏஙΤϯϋϯε
˔ ࣾͷσʔλʹର͢ΔΦϖϨʔγϣϯ࡞ۀͷޮԽ ˔ &%"ڥͷߏங 1SPGJMF
˔ ηογϣϯͷྲྀΕ ˓ φΩϟετͷ &%"ʹ͓͚Δ՝ ˓ ͦΕʹର͢ΔղܾҊ ˔ ͜Μͳํʹ͓͢͢Ί ˓
これからデータ分析環境の構築を検討されようとしている方 ˓ データ分析やデータエンジニアリング業務に携わっている方 ˓ 他社はどのようなデータ分析環境を構築しているのか興味がある方 ˓ EDA の環境に課題を感じている方 "HFOEB
0VS.JTTJPO 我々のミッションは 「Alternative Data for Actionable Insights」です。 オルタナティブデータに基づいた、行動につながるインサイトをご提供します。 ナウキャストのインサイトは質の高い意思決定に貢献し、新しいチャレンジを後押しします。 "CPVU/PXDBTU
104 $SFEJU $BSE -PDBUJPO σʔλఏڙݩ φΩϟετ ͓٬͞· σʔλͷఏڙ Ճσʔλ ΠϯαΠτΛఏڙ &5- .BQQJOH &%" BOENPSF
˔ Ϗδωεͷ֦େʹ͍ɺσʔλੳͷॏཁੑ͕ߴ·Δ ˔ ඦ (#d 5#نͷσʔλΛੳ͢Δέʔεͷ૿Ճ ˓ &$JOTUBODFΛߏங͠ɺ 1ZUIPO "UIFOBͰॲཧΛ࣮ʙ࣮ߦ
˓ ຖճɺ"UIFOBͷςʔϒϧઃܭࣗલͰࢄॲཧΛॻ͍ͯ "84#BUDIͰ࣮ߦ ˙ ੳʹ࣌ؒखؒɺίετ͕͔͔Δ ˙ &$JOTUBODFͳͲɺϦιʔεཧͷඞཁੑ͕͋Γɺӡ༻ෛՙ͕ੜ͡Δ ˔ &%"ͷ݁Ռʹ͍ͭͯɺࣾͰڞ༗͢Δ͜ͱʹख͕͔͔ؒΔ ˓ ຖճɺIUNMϑΝΠϧʹม͠ɺ4MBDLͳͲʹʜ *TTVF
˔ "NB[PO&.34UVEJP ˓ "NB[PO&.3͚ͷ౷߹։ൃڥʢ*%&ʣ ˓ "NB[PO&.3$MVTUFS "NB[PO&.3/PUFCPPLTͷ࡞ɾଓɾૢ࡞ͳͲ͕ߦ͑Δ ˓ Πϝʔδ (PPHMF$PMBCPSBUPSZʹ͍ۙ
˔ "NB[PO&.3 ˓ "QBDIF4QBSLͳͲϏοάσʔλ͚ͷࢄॲཧϑϨʔϜϫʔΫͷ࣮ߦڥΛఏڙ ˔ "NB[PO&.3/PUFCPPLT ˓ "NB[PO&.3͚ͷ +VQZUFS/PUFCPPLͷαʔόϨεͳϗεςΟϯάαʔϏε "NB[PO&.34UVEJP
˔ "84ΧλϩάΛ࡞ɺཧɺཧ͢Δ ˓ $MPVE'PSNBUJPOͷ UFNQMBUFΛཧ͢Δ͜ͱ͕Ͱ͖ΔαʔϏε ˓ ར༻ऀ 4FSWJDF$BUBMPH͔ΒొࡁΈͷ $MPVE'PSNBUJPOUFNQMBUFΛ༻͍ͯɺ "84SFTPVSDFͷ
EFQMPZ͕Մೳ "844FSWJDF$BUBMPH Administrator Analysts Developers AWS Service Catalog UFNQMBUFΛొ ༻͍ͨ͠ "84ͷ SFTPVSDFͷ UFNQMBUF Λ༻͠ɺEFQMPZ
˔ ӈͷΠϝʔδͷΑ͏ʹ $MPVE'PSNBUJPOͷ จ๏ :".-ܗࣜ ʹԊͬͯɺࣄલʹ &.3 $MVTUFSͷઃఆΛ UFNQMBUFͱͯ͠ఆٛ ˔
"NB[PO&.34UVEJPΛܦ༝͠ɺҎԼͷ UFNQMBUFʹͱ͖ͮɺ&.3$MVTUFSΛ࣮ࡍ ʹ EFQMPZ "844FSWJDF$BUBMPH
"SDIJUFDUVSF &.3 Users Amazon S3 EMR Notebooks $MVTUFS Instances (Spot
instance) Amazon S3 AWS Service Catalog AWS Single Sign- On Lambda function
˔ φΩϟετͱͯ͠ɺ1ZUIPOΛ༻͍ͨ։ൃੳ͕ओྲྀͰ͋ͬͨ ˓ ʮ42-Ͱ͝Γ͝Γʜʯɺͱ͍͏ํ๏ʹൺɺϝϯόʔͷεΩϧʹϚον͍ͯͨ͠ ˔ "UIFOBͰςʔϒϧఆٛύʔςΟγϣϯͷઃܭͰରԠ͕͍͠έʔεଘࡏ ˓ ϓϩδΣΫτʹΑͬͯɺੳ͕࣠େ͖͘ҟͳΔʢύʔςΟγϣϯΛΓͮΒ͍ʣ ˓ 1ZUIPO
"UIFOBͰཁ݅Λຬͨ͢Α͏ͳࢄॲཧΛ࣮͠ͳ͚ΕͳΒͳ͔ͬͨ ˔ ίετ໘Ͱ༏ҐੑΛظͰ͖Δʢݕূதʜʣ ˓ "UIFOBͷσʔλεΩϟϯʹؔ͢Δίετ͕՝ʹͳ͍ͬͯͨ ˓ "VUPTDBMJOHػೳ 4QPUJOTUBODFΛ׆༻͢Δ͜ͱͰίετΛ͍͑͢ 8IZ"NB[PO&.34UVEJP
˔ Ϗδωεͷ֦େʹ͍ɺσʔλੳͷॏཁੑ͕ߴ·Δ ˔ ඦ (#d 5#نͷσʔλΛੳ͢Δέʔεͷ૿Ճ ˓ &$JOTUBODFΛߏங͠ɺ 1ZUIPO "UIFOBͰॲཧΛ࣮ʙ࣮ߦ
˓ ຖճɺ"UIFOBͷςʔϒϧઃܭࣗલͰࢄॲཧΛॻ͍ͯ "84#BUDIͰ࣮ߦ ˙ ੳʹ࣌ؒखؒɺίετ͕͔͔Δ ˙ &$JOTUBODFͳͲɺϦιʔεཧͷඞཁੑ͕͋Γɺӡ༻ෛՙ͕ੜ͡Δ ˔ &%"ͷ݁Ռʹ͍ͭͯɺࣾͰڞ༗͢Δ͜ͱʹख͕͔͔ؒΔ ˓ ຖճɺIUNMϑΝΠϧʹม͠ɺ4MBDLͳͲʹʜ *TTVF
˔ Ϗδωεͷ֦େʹ͍ɺσʔλੳͷॏཁੑ͕ߴ·Δ ˔ ඦ (#d 5#نͷσʔλΛੳ͢Δέʔεͷ૿Ճ ˓ &$JOTUBODFΛߏங͠ɺ 1ZUIPO "UIFOBͰॲཧΛ࣮ʙ࣮ߦ
˓ ຖճɺ"UIFOBͷςʔϒϧઃܭࣗલͰࢄॲཧΛॻ͍ͯ "84#BUDIͰ࣮ߦ ˙ ੳʹ࣌ؒखؒɺίετ͕͔͔Δ ˙ &$JOTUBODFͳͲɺϦιʔεཧͷඞཁੑ͕͋Γɺӡ༻ෛՙ͕ੜ͡Δ ˔ &%"ͷ݁Ռʹ͍ͭͯɺࣾͰڞ༗͢Δ͜ͱʹख͕͔͔ؒΔ ˓ ຖճɺIUNMϑΝΠϧʹม͠ɺ4MBDLͳͲʹʜ *TTVF
˔ /FUGMJYͳͲ͕த৺ͱͳͬͯ։ൃ͍ͯ͠Δ 044 ˓ (JU)VC ˔ +VQZUFS/PUFCPPLΛࣗಈతʹ IUNMʹม͠ɺϒϥβ্Ͱڞ༗ ˔ -PDBM্ͷ
+VQZUFS/PUFCPPLͷ΄͔ɺ4ɺ($4্ͷ +VQZUFS/PUFCPPLڞ༗Մೳ ˔ +VQZUFS/PUFCPPLͷڞ༗ػೳҎ֎ʹݕࡧػೳఏڙ $PNNVUFS
"SDIJUFDUVSF &.3 Users Amazon S3 EMR Notebooks $MVTUFS Instances (Spot
instance) Amazon S3 AWS Service Catalog AWS Single Sign- On Lambda function
"SDIJUFDUVSF &.3 Users Amazon S3 EMR Notebooks $MVTUFS Instances (Spot
instance) Amazon S3 AWS Service Catalog AWS Single Sign- On Commuter Lambda function
%FNP
˔ "84ͷ֤छϚωʔδυαʔϏεΛ׆༻͢Δ͜ͱͰӡ༻ෛՙͷগͳ͍ &%"ڥͷߏங͕࣮ݱ ˓ ίϯϐϡʔτϦιʔεؔ࿈ͷཧ "NB[PO&.3ʹΦϑϩʔυ ˙ &.3$MVTUFSΛ࡞ʹ͢Δ͜ͱͰ 04 ϛυϧΣΞͷόʔδϣϯཧͳͲΛෆཁʹ
˙ ॲཧʹԠͯ͡ "VUPTDBMJOH 4QPUJOTUBODFͷ׆༻ ˓ +VQZUFS/PUFCPPLؔ࿈ͷཧ "NB[PO&.34UVEJP/PUFCPPL ˙ &.3/PUFCPPLTΛ׆༻͢Δ͜ͱͰϚωʔδυͳ +VQZUFS/PUFCPPLΛߏங ˙ +VQZUFS/PUFCPPL 4ʹอଘ͠ɺԽΛ֬อ ˓ ڥͷଓ͢ΔͨΊͷϢʔβཧ "NB[PO4JOHMF4JHO0OΦϑϩʔυ 1PTJUJWFTJEF
˔ φΩϟετͰϦιʔεཧ 5FSSBGPSNͰߦ͍ͬͯΔ ˓ ͦͷͨΊɺ4FSWJDF$BUBMPHͷ $MPVE'PSNBUJPOલఏͷ༻ͪΐͬͱ͚ͩɺखؒʜ ˔ "NB[PO4JOHMF4JHO0OʹΑΔϢʔβཧγεςϜతͳཧΛΦϑϩʔυͰ͖Δ໘ɺࣾ ௐͳͲΛඞཁੑ͕ੜ͡Δ໘͋Δ ˓
"NB[PO4JOHMF4JHO0Oʹର͢ΔϢʔβͷՃͳͲผ్ɺཧΞΧϯτͰߦΘΕͯ ͍ΔͨΊ ˔ ॳظͷڥߏங࣌߹ʹΑͬͯɺख͕͔͔ؒΔ͜ͱ ˓ DPNQPOFOUͦΕʹඥͮ͘ *".3PMFʹର͢Δཧղ͕ඞཁʹͳΔέʔε͋Δ͔͠Ε ͳ͍ /FHBUJWFTJEF
"SDIJUFDUVSF *".SFTPVSDF
5IBOLZPV