Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
2021.09.15_Amazon EMR Studio を用いた EDA 環境の構築
Search
MasatoShima
September 15, 2021
Technology
0
290
2021.09.15_Amazon EMR Studio を用いた EDA 環境の構築
「Data Analysis Study #1 データ分析環境について」
で登壇したときの資料になります。
MasatoShima
September 15, 2021
Tweet
Share
Other Decks in Technology
See All in Technology
低レイヤを知りたいPHPerのためのCコンパイラ作成入門 完全版 / Building a C Compiler for PHPers Who Want to Dive into Low-Level Programming - Expanded
tomzoh
4
3.2k
Snowflake Summit 2025全体振り返り / Snowflake Summit 2025 Overall Review
mtpooh
2
390
Postman AI エージェントビルダー最新情報
nagix
0
110
Claude Code Actionを使ったコード品質改善の取り組み
potix2
PRO
6
2.2k
rubygem開発で鍛える設計力
joker1007
2
190
GeminiとNotebookLMによる金融実務の業務革新
abenben
0
230
Microsoft Build 2025 技術/製品動向 for Microsoft Startup Tech Community
torumakabe
2
260
BigQuery Remote FunctionでLooker Studioをインタラクティブ化
cuebic9bic
3
270
初めてのAzure FunctionsをClaude Codeで作ってみた / My first Azure Functions using Claude Code
hideakiaoyagi
1
220
ハノーバーメッセ2025座談会.pdf
iotcomjpadmin
0
160
「Chatwork」の認証基盤の移行とログ活用によるプロダクト改善
kubell_hr
1
150
AWS Summit Japan 2025 Community Stage - App workflow automation by AWS Step Functions
matsuihidetoshi
1
260
Featured
See All Featured
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Speed Design
sergeychernyshev
32
1k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
5
210
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
Visualization
eitanlees
146
16k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.3k
Navigating Team Friction
lara
187
15k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.3k
The Invisible Side of Design
smashingmag
299
51k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
What's in a price? How to price your products and services
michaelherold
246
12k
Transcript
"NB[PO&.34UVEJPΛ༻͍ͨ &%"ڥͷߏங גࣜձࣾφΩϟετ ౡ ਅਓ
/BNF ౡ ਅਓ $BSFFS dגࣜձࣾ26*$,ʹೖࣾ dגࣜձࣾφΩϟετʹೖࣾ 3PMF %BUB&OHJOOFS ˔ σʔλύΠϓϥΠϯͷ৽نߏஙΤϯϋϯε
˔ ࣾͷσʔλʹର͢ΔΦϖϨʔγϣϯ࡞ۀͷޮԽ ˔ &%"ڥͷߏங 1SPGJMF
˔ ηογϣϯͷྲྀΕ ˓ φΩϟετͷ &%"ʹ͓͚Δ՝ ˓ ͦΕʹର͢ΔղܾҊ ˔ ͜Μͳํʹ͓͢͢Ί ˓
これからデータ分析環境の構築を検討されようとしている方 ˓ データ分析やデータエンジニアリング業務に携わっている方 ˓ 他社はどのようなデータ分析環境を構築しているのか興味がある方 ˓ EDA の環境に課題を感じている方 "HFOEB
0VS.JTTJPO 我々のミッションは 「Alternative Data for Actionable Insights」です。 オルタナティブデータに基づいた、行動につながるインサイトをご提供します。 ナウキャストのインサイトは質の高い意思決定に貢献し、新しいチャレンジを後押しします。 "CPVU/PXDBTU
104 $SFEJU $BSE -PDBUJPO σʔλఏڙݩ φΩϟετ ͓٬͞· σʔλͷఏڙ Ճσʔλ ΠϯαΠτΛఏڙ &5- .BQQJOH &%" BOENPSF
˔ Ϗδωεͷ֦େʹ͍ɺσʔλੳͷॏཁੑ͕ߴ·Δ ˔ ඦ (#d 5#نͷσʔλΛੳ͢Δέʔεͷ૿Ճ ˓ &$JOTUBODFΛߏங͠ɺ 1ZUIPO "UIFOBͰॲཧΛ࣮ʙ࣮ߦ
˓ ຖճɺ"UIFOBͷςʔϒϧઃܭࣗલͰࢄॲཧΛॻ͍ͯ "84#BUDIͰ࣮ߦ ˙ ੳʹ࣌ؒखؒɺίετ͕͔͔Δ ˙ &$JOTUBODFͳͲɺϦιʔεཧͷඞཁੑ͕͋Γɺӡ༻ෛՙ͕ੜ͡Δ ˔ &%"ͷ݁Ռʹ͍ͭͯɺࣾͰڞ༗͢Δ͜ͱʹख͕͔͔ؒΔ ˓ ຖճɺIUNMϑΝΠϧʹม͠ɺ4MBDLͳͲʹʜ *TTVF
˔ "NB[PO&.34UVEJP ˓ "NB[PO&.3͚ͷ౷߹։ൃڥʢ*%&ʣ ˓ "NB[PO&.3$MVTUFS "NB[PO&.3/PUFCPPLTͷ࡞ɾଓɾૢ࡞ͳͲ͕ߦ͑Δ ˓ Πϝʔδ (PPHMF$PMBCPSBUPSZʹ͍ۙ
˔ "NB[PO&.3 ˓ "QBDIF4QBSLͳͲϏοάσʔλ͚ͷࢄॲཧϑϨʔϜϫʔΫͷ࣮ߦڥΛఏڙ ˔ "NB[PO&.3/PUFCPPLT ˓ "NB[PO&.3͚ͷ +VQZUFS/PUFCPPLͷαʔόϨεͳϗεςΟϯάαʔϏε "NB[PO&.34UVEJP
˔ "84ΧλϩάΛ࡞ɺཧɺཧ͢Δ ˓ $MPVE'PSNBUJPOͷ UFNQMBUFΛཧ͢Δ͜ͱ͕Ͱ͖ΔαʔϏε ˓ ར༻ऀ 4FSWJDF$BUBMPH͔ΒొࡁΈͷ $MPVE'PSNBUJPOUFNQMBUFΛ༻͍ͯɺ "84SFTPVSDFͷ
EFQMPZ͕Մೳ "844FSWJDF$BUBMPH Administrator Analysts Developers AWS Service Catalog UFNQMBUFΛొ ༻͍ͨ͠ "84ͷ SFTPVSDFͷ UFNQMBUF Λ༻͠ɺEFQMPZ
˔ ӈͷΠϝʔδͷΑ͏ʹ $MPVE'PSNBUJPOͷ จ๏ :".-ܗࣜ ʹԊͬͯɺࣄલʹ &.3 $MVTUFSͷઃఆΛ UFNQMBUFͱͯ͠ఆٛ ˔
"NB[PO&.34UVEJPΛܦ༝͠ɺҎԼͷ UFNQMBUFʹͱ͖ͮɺ&.3$MVTUFSΛ࣮ࡍ ʹ EFQMPZ "844FSWJDF$BUBMPH
"SDIJUFDUVSF &.3 Users Amazon S3 EMR Notebooks $MVTUFS Instances (Spot
instance) Amazon S3 AWS Service Catalog AWS Single Sign- On Lambda function
˔ φΩϟετͱͯ͠ɺ1ZUIPOΛ༻͍ͨ։ൃੳ͕ओྲྀͰ͋ͬͨ ˓ ʮ42-Ͱ͝Γ͝Γʜʯɺͱ͍͏ํ๏ʹൺɺϝϯόʔͷεΩϧʹϚον͍ͯͨ͠ ˔ "UIFOBͰςʔϒϧఆٛύʔςΟγϣϯͷઃܭͰରԠ͕͍͠έʔεଘࡏ ˓ ϓϩδΣΫτʹΑͬͯɺੳ͕࣠େ͖͘ҟͳΔʢύʔςΟγϣϯΛΓͮΒ͍ʣ ˓ 1ZUIPO
"UIFOBͰཁ݅Λຬͨ͢Α͏ͳࢄॲཧΛ࣮͠ͳ͚ΕͳΒͳ͔ͬͨ ˔ ίετ໘Ͱ༏ҐੑΛظͰ͖Δʢݕূதʜʣ ˓ "UIFOBͷσʔλεΩϟϯʹؔ͢Δίετ͕՝ʹͳ͍ͬͯͨ ˓ "VUPTDBMJOHػೳ 4QPUJOTUBODFΛ׆༻͢Δ͜ͱͰίετΛ͍͑͢ 8IZ"NB[PO&.34UVEJP
˔ Ϗδωεͷ֦େʹ͍ɺσʔλੳͷॏཁੑ͕ߴ·Δ ˔ ඦ (#d 5#نͷσʔλΛੳ͢Δέʔεͷ૿Ճ ˓ &$JOTUBODFΛߏங͠ɺ 1ZUIPO "UIFOBͰॲཧΛ࣮ʙ࣮ߦ
˓ ຖճɺ"UIFOBͷςʔϒϧઃܭࣗલͰࢄॲཧΛॻ͍ͯ "84#BUDIͰ࣮ߦ ˙ ੳʹ࣌ؒखؒɺίετ͕͔͔Δ ˙ &$JOTUBODFͳͲɺϦιʔεཧͷඞཁੑ͕͋Γɺӡ༻ෛՙ͕ੜ͡Δ ˔ &%"ͷ݁Ռʹ͍ͭͯɺࣾͰڞ༗͢Δ͜ͱʹख͕͔͔ؒΔ ˓ ຖճɺIUNMϑΝΠϧʹม͠ɺ4MBDLͳͲʹʜ *TTVF
˔ Ϗδωεͷ֦େʹ͍ɺσʔλੳͷॏཁੑ͕ߴ·Δ ˔ ඦ (#d 5#نͷσʔλΛੳ͢Δέʔεͷ૿Ճ ˓ &$JOTUBODFΛߏங͠ɺ 1ZUIPO "UIFOBͰॲཧΛ࣮ʙ࣮ߦ
˓ ຖճɺ"UIFOBͷςʔϒϧઃܭࣗલͰࢄॲཧΛॻ͍ͯ "84#BUDIͰ࣮ߦ ˙ ੳʹ࣌ؒखؒɺίετ͕͔͔Δ ˙ &$JOTUBODFͳͲɺϦιʔεཧͷඞཁੑ͕͋Γɺӡ༻ෛՙ͕ੜ͡Δ ˔ &%"ͷ݁Ռʹ͍ͭͯɺࣾͰڞ༗͢Δ͜ͱʹख͕͔͔ؒΔ ˓ ຖճɺIUNMϑΝΠϧʹม͠ɺ4MBDLͳͲʹʜ *TTVF
˔ /FUGMJYͳͲ͕த৺ͱͳͬͯ։ൃ͍ͯ͠Δ 044 ˓ (JU)VC ˔ +VQZUFS/PUFCPPLΛࣗಈతʹ IUNMʹม͠ɺϒϥβ্Ͱڞ༗ ˔ -PDBM্ͷ
+VQZUFS/PUFCPPLͷ΄͔ɺ4ɺ($4্ͷ +VQZUFS/PUFCPPLڞ༗Մೳ ˔ +VQZUFS/PUFCPPLͷڞ༗ػೳҎ֎ʹݕࡧػೳఏڙ $PNNVUFS
"SDIJUFDUVSF &.3 Users Amazon S3 EMR Notebooks $MVTUFS Instances (Spot
instance) Amazon S3 AWS Service Catalog AWS Single Sign- On Lambda function
"SDIJUFDUVSF &.3 Users Amazon S3 EMR Notebooks $MVTUFS Instances (Spot
instance) Amazon S3 AWS Service Catalog AWS Single Sign- On Commuter Lambda function
%FNP
˔ "84ͷ֤छϚωʔδυαʔϏεΛ׆༻͢Δ͜ͱͰӡ༻ෛՙͷগͳ͍ &%"ڥͷߏங͕࣮ݱ ˓ ίϯϐϡʔτϦιʔεؔ࿈ͷཧ "NB[PO&.3ʹΦϑϩʔυ ˙ &.3$MVTUFSΛ࡞ʹ͢Δ͜ͱͰ 04 ϛυϧΣΞͷόʔδϣϯཧͳͲΛෆཁʹ
˙ ॲཧʹԠͯ͡ "VUPTDBMJOH 4QPUJOTUBODFͷ׆༻ ˓ +VQZUFS/PUFCPPLؔ࿈ͷཧ "NB[PO&.34UVEJP/PUFCPPL ˙ &.3/PUFCPPLTΛ׆༻͢Δ͜ͱͰϚωʔδυͳ +VQZUFS/PUFCPPLΛߏங ˙ +VQZUFS/PUFCPPL 4ʹอଘ͠ɺԽΛ֬อ ˓ ڥͷଓ͢ΔͨΊͷϢʔβཧ "NB[PO4JOHMF4JHO0OΦϑϩʔυ 1PTJUJWFTJEF
˔ φΩϟετͰϦιʔεཧ 5FSSBGPSNͰߦ͍ͬͯΔ ˓ ͦͷͨΊɺ4FSWJDF$BUBMPHͷ $MPVE'PSNBUJPOલఏͷ༻ͪΐͬͱ͚ͩɺखؒʜ ˔ "NB[PO4JOHMF4JHO0OʹΑΔϢʔβཧγεςϜతͳཧΛΦϑϩʔυͰ͖Δ໘ɺࣾ ௐͳͲΛඞཁੑ͕ੜ͡Δ໘͋Δ ˓
"NB[PO4JOHMF4JHO0Oʹର͢ΔϢʔβͷՃͳͲผ్ɺཧΞΧϯτͰߦΘΕͯ ͍ΔͨΊ ˔ ॳظͷڥߏங࣌߹ʹΑͬͯɺख͕͔͔ؒΔ͜ͱ ˓ DPNQPOFOUͦΕʹඥͮ͘ *".3PMFʹର͢Δཧղ͕ඞཁʹͳΔέʔε͋Δ͔͠Ε ͳ͍ /FHBUJWFTJEF
"SDIJUFDUVSF *".SFTPVSDF
5IBOLZPV