Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
2021.09.15_Amazon EMR Studio を用いた EDA 環境の構築
Search
MasatoShima
September 15, 2021
Technology
0
290
2021.09.15_Amazon EMR Studio を用いた EDA 環境の構築
「Data Analysis Study #1 データ分析環境について」
で登壇したときの資料になります。
MasatoShima
September 15, 2021
Tweet
Share
Other Decks in Technology
See All in Technology
データ基盤からデータベースまで?広がるユースケースのDatabricksについて教えるよ!
akuwano
3
110
Reach American Airlines®️ Instantly: 19 Calling Methods for Fast Support in the USA
flyamerican
1
170
freeeのアクセシビリティの現在地 / freee's Current Position on Accessibility
ymrl
2
210
クラウド開発の舞台裏とSRE文化の醸成 / SRE NEXT 2025 Lunch Session
kazeburo
0
170
SmartNewsにおける 1000+ノード規模 K8s基盤 でのコスト最適化 – Spot・Gravitonの大規模導入への挑戦
vsanna2
0
140
事業成長の裏側:エンジニア組織と開発生産性の進化 / 20250703 Rinto Ikenoue
shift_evolve
PRO
3
22k
CDKTFについてざっくり理解する!!~CloudFormationからCDKTFへ変換するツールも作ってみた~
masakiokuda
1
160
タイミーのデータモデリング事例と今後のチャレンジ
ttccddtoki
6
2.4k
面倒な作業はAIにおまかせ。Flutter開発をスマートに効率化
ruideengineer
0
260
american aa airlines®️ USA Contact Numbers: Complete 2025 Support Guide
aaguide
0
290
開発生産性を組織全体の「生産性」へ! 部門間連携の壁を越える実践的ステップ
sudo5in5k
3
7.3k
AI専用のリンターを作る #yumemi_patch
bengo4com
6
4.3k
Featured
See All Featured
Writing Fast Ruby
sferik
628
62k
Designing for humans not robots
tammielis
253
25k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.4k
Into the Great Unknown - MozCon
thekraken
40
1.9k
Code Review Best Practice
trishagee
69
19k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
20
1.3k
Measuring & Analyzing Core Web Vitals
bluesmoon
7
510
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
Making Projects Easy
brettharned
116
6.3k
Six Lessons from altMBA
skipperchong
28
3.9k
Transcript
"NB[PO&.34UVEJPΛ༻͍ͨ &%"ڥͷߏங גࣜձࣾφΩϟετ ౡ ਅਓ
/BNF ౡ ਅਓ $BSFFS dגࣜձࣾ26*$,ʹೖࣾ dגࣜձࣾφΩϟετʹೖࣾ 3PMF %BUB&OHJOOFS ˔ σʔλύΠϓϥΠϯͷ৽نߏஙΤϯϋϯε
˔ ࣾͷσʔλʹର͢ΔΦϖϨʔγϣϯ࡞ۀͷޮԽ ˔ &%"ڥͷߏங 1SPGJMF
˔ ηογϣϯͷྲྀΕ ˓ φΩϟετͷ &%"ʹ͓͚Δ՝ ˓ ͦΕʹର͢ΔղܾҊ ˔ ͜Μͳํʹ͓͢͢Ί ˓
これからデータ分析環境の構築を検討されようとしている方 ˓ データ分析やデータエンジニアリング業務に携わっている方 ˓ 他社はどのようなデータ分析環境を構築しているのか興味がある方 ˓ EDA の環境に課題を感じている方 "HFOEB
0VS.JTTJPO 我々のミッションは 「Alternative Data for Actionable Insights」です。 オルタナティブデータに基づいた、行動につながるインサイトをご提供します。 ナウキャストのインサイトは質の高い意思決定に貢献し、新しいチャレンジを後押しします。 "CPVU/PXDBTU
104 $SFEJU $BSE -PDBUJPO σʔλఏڙݩ φΩϟετ ͓٬͞· σʔλͷఏڙ Ճσʔλ ΠϯαΠτΛఏڙ &5- .BQQJOH &%" BOENPSF
˔ Ϗδωεͷ֦େʹ͍ɺσʔλੳͷॏཁੑ͕ߴ·Δ ˔ ඦ (#d 5#نͷσʔλΛੳ͢Δέʔεͷ૿Ճ ˓ &$JOTUBODFΛߏங͠ɺ 1ZUIPO "UIFOBͰॲཧΛ࣮ʙ࣮ߦ
˓ ຖճɺ"UIFOBͷςʔϒϧઃܭࣗલͰࢄॲཧΛॻ͍ͯ "84#BUDIͰ࣮ߦ ˙ ੳʹ࣌ؒखؒɺίετ͕͔͔Δ ˙ &$JOTUBODFͳͲɺϦιʔεཧͷඞཁੑ͕͋Γɺӡ༻ෛՙ͕ੜ͡Δ ˔ &%"ͷ݁Ռʹ͍ͭͯɺࣾͰڞ༗͢Δ͜ͱʹख͕͔͔ؒΔ ˓ ຖճɺIUNMϑΝΠϧʹม͠ɺ4MBDLͳͲʹʜ *TTVF
˔ "NB[PO&.34UVEJP ˓ "NB[PO&.3͚ͷ౷߹։ൃڥʢ*%&ʣ ˓ "NB[PO&.3$MVTUFS "NB[PO&.3/PUFCPPLTͷ࡞ɾଓɾૢ࡞ͳͲ͕ߦ͑Δ ˓ Πϝʔδ (PPHMF$PMBCPSBUPSZʹ͍ۙ
˔ "NB[PO&.3 ˓ "QBDIF4QBSLͳͲϏοάσʔλ͚ͷࢄॲཧϑϨʔϜϫʔΫͷ࣮ߦڥΛఏڙ ˔ "NB[PO&.3/PUFCPPLT ˓ "NB[PO&.3͚ͷ +VQZUFS/PUFCPPLͷαʔόϨεͳϗεςΟϯάαʔϏε "NB[PO&.34UVEJP
˔ "84ΧλϩάΛ࡞ɺཧɺཧ͢Δ ˓ $MPVE'PSNBUJPOͷ UFNQMBUFΛཧ͢Δ͜ͱ͕Ͱ͖ΔαʔϏε ˓ ར༻ऀ 4FSWJDF$BUBMPH͔ΒొࡁΈͷ $MPVE'PSNBUJPOUFNQMBUFΛ༻͍ͯɺ "84SFTPVSDFͷ
EFQMPZ͕Մೳ "844FSWJDF$BUBMPH Administrator Analysts Developers AWS Service Catalog UFNQMBUFΛొ ༻͍ͨ͠ "84ͷ SFTPVSDFͷ UFNQMBUF Λ༻͠ɺEFQMPZ
˔ ӈͷΠϝʔδͷΑ͏ʹ $MPVE'PSNBUJPOͷ จ๏ :".-ܗࣜ ʹԊͬͯɺࣄલʹ &.3 $MVTUFSͷઃఆΛ UFNQMBUFͱͯ͠ఆٛ ˔
"NB[PO&.34UVEJPΛܦ༝͠ɺҎԼͷ UFNQMBUFʹͱ͖ͮɺ&.3$MVTUFSΛ࣮ࡍ ʹ EFQMPZ "844FSWJDF$BUBMPH
"SDIJUFDUVSF &.3 Users Amazon S3 EMR Notebooks $MVTUFS Instances (Spot
instance) Amazon S3 AWS Service Catalog AWS Single Sign- On Lambda function
˔ φΩϟετͱͯ͠ɺ1ZUIPOΛ༻͍ͨ։ൃੳ͕ओྲྀͰ͋ͬͨ ˓ ʮ42-Ͱ͝Γ͝Γʜʯɺͱ͍͏ํ๏ʹൺɺϝϯόʔͷεΩϧʹϚον͍ͯͨ͠ ˔ "UIFOBͰςʔϒϧఆٛύʔςΟγϣϯͷઃܭͰରԠ͕͍͠έʔεଘࡏ ˓ ϓϩδΣΫτʹΑͬͯɺੳ͕࣠େ͖͘ҟͳΔʢύʔςΟγϣϯΛΓͮΒ͍ʣ ˓ 1ZUIPO
"UIFOBͰཁ݅Λຬͨ͢Α͏ͳࢄॲཧΛ࣮͠ͳ͚ΕͳΒͳ͔ͬͨ ˔ ίετ໘Ͱ༏ҐੑΛظͰ͖Δʢݕূதʜʣ ˓ "UIFOBͷσʔλεΩϟϯʹؔ͢Δίετ͕՝ʹͳ͍ͬͯͨ ˓ "VUPTDBMJOHػೳ 4QPUJOTUBODFΛ׆༻͢Δ͜ͱͰίετΛ͍͑͢ 8IZ"NB[PO&.34UVEJP
˔ Ϗδωεͷ֦େʹ͍ɺσʔλੳͷॏཁੑ͕ߴ·Δ ˔ ඦ (#d 5#نͷσʔλΛੳ͢Δέʔεͷ૿Ճ ˓ &$JOTUBODFΛߏங͠ɺ 1ZUIPO "UIFOBͰॲཧΛ࣮ʙ࣮ߦ
˓ ຖճɺ"UIFOBͷςʔϒϧઃܭࣗલͰࢄॲཧΛॻ͍ͯ "84#BUDIͰ࣮ߦ ˙ ੳʹ࣌ؒखؒɺίετ͕͔͔Δ ˙ &$JOTUBODFͳͲɺϦιʔεཧͷඞཁੑ͕͋Γɺӡ༻ෛՙ͕ੜ͡Δ ˔ &%"ͷ݁Ռʹ͍ͭͯɺࣾͰڞ༗͢Δ͜ͱʹख͕͔͔ؒΔ ˓ ຖճɺIUNMϑΝΠϧʹม͠ɺ4MBDLͳͲʹʜ *TTVF
˔ Ϗδωεͷ֦େʹ͍ɺσʔλੳͷॏཁੑ͕ߴ·Δ ˔ ඦ (#d 5#نͷσʔλΛੳ͢Δέʔεͷ૿Ճ ˓ &$JOTUBODFΛߏங͠ɺ 1ZUIPO "UIFOBͰॲཧΛ࣮ʙ࣮ߦ
˓ ຖճɺ"UIFOBͷςʔϒϧઃܭࣗલͰࢄॲཧΛॻ͍ͯ "84#BUDIͰ࣮ߦ ˙ ੳʹ࣌ؒखؒɺίετ͕͔͔Δ ˙ &$JOTUBODFͳͲɺϦιʔεཧͷඞཁੑ͕͋Γɺӡ༻ෛՙ͕ੜ͡Δ ˔ &%"ͷ݁Ռʹ͍ͭͯɺࣾͰڞ༗͢Δ͜ͱʹख͕͔͔ؒΔ ˓ ຖճɺIUNMϑΝΠϧʹม͠ɺ4MBDLͳͲʹʜ *TTVF
˔ /FUGMJYͳͲ͕த৺ͱͳͬͯ։ൃ͍ͯ͠Δ 044 ˓ (JU)VC ˔ +VQZUFS/PUFCPPLΛࣗಈతʹ IUNMʹม͠ɺϒϥβ্Ͱڞ༗ ˔ -PDBM্ͷ
+VQZUFS/PUFCPPLͷ΄͔ɺ4ɺ($4্ͷ +VQZUFS/PUFCPPLڞ༗Մೳ ˔ +VQZUFS/PUFCPPLͷڞ༗ػೳҎ֎ʹݕࡧػೳఏڙ $PNNVUFS
"SDIJUFDUVSF &.3 Users Amazon S3 EMR Notebooks $MVTUFS Instances (Spot
instance) Amazon S3 AWS Service Catalog AWS Single Sign- On Lambda function
"SDIJUFDUVSF &.3 Users Amazon S3 EMR Notebooks $MVTUFS Instances (Spot
instance) Amazon S3 AWS Service Catalog AWS Single Sign- On Commuter Lambda function
%FNP
˔ "84ͷ֤छϚωʔδυαʔϏεΛ׆༻͢Δ͜ͱͰӡ༻ෛՙͷগͳ͍ &%"ڥͷߏங͕࣮ݱ ˓ ίϯϐϡʔτϦιʔεؔ࿈ͷཧ "NB[PO&.3ʹΦϑϩʔυ ˙ &.3$MVTUFSΛ࡞ʹ͢Δ͜ͱͰ 04 ϛυϧΣΞͷόʔδϣϯཧͳͲΛෆཁʹ
˙ ॲཧʹԠͯ͡ "VUPTDBMJOH 4QPUJOTUBODFͷ׆༻ ˓ +VQZUFS/PUFCPPLؔ࿈ͷཧ "NB[PO&.34UVEJP/PUFCPPL ˙ &.3/PUFCPPLTΛ׆༻͢Δ͜ͱͰϚωʔδυͳ +VQZUFS/PUFCPPLΛߏங ˙ +VQZUFS/PUFCPPL 4ʹอଘ͠ɺԽΛ֬อ ˓ ڥͷଓ͢ΔͨΊͷϢʔβཧ "NB[PO4JOHMF4JHO0OΦϑϩʔυ 1PTJUJWFTJEF
˔ φΩϟετͰϦιʔεཧ 5FSSBGPSNͰߦ͍ͬͯΔ ˓ ͦͷͨΊɺ4FSWJDF$BUBMPHͷ $MPVE'PSNBUJPOલఏͷ༻ͪΐͬͱ͚ͩɺखؒʜ ˔ "NB[PO4JOHMF4JHO0OʹΑΔϢʔβཧγεςϜతͳཧΛΦϑϩʔυͰ͖Δ໘ɺࣾ ௐͳͲΛඞཁੑ͕ੜ͡Δ໘͋Δ ˓
"NB[PO4JOHMF4JHO0Oʹର͢ΔϢʔβͷՃͳͲผ్ɺཧΞΧϯτͰߦΘΕͯ ͍ΔͨΊ ˔ ॳظͷڥߏங࣌߹ʹΑͬͯɺख͕͔͔ؒΔ͜ͱ ˓ DPNQPOFOUͦΕʹඥͮ͘ *".3PMFʹର͢Δཧղ͕ඞཁʹͳΔέʔε͋Δ͔͠Ε ͳ͍ /FHBUJWFTJEF
"SDIJUFDUVSF *".SFTPVSDF
5IBOLZPV