Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
2021.09.15_Amazon EMR Studio を用いた EDA 環境の構築
Search
MasatoShima
September 15, 2021
Technology
0
210
2021.09.15_Amazon EMR Studio を用いた EDA 環境の構築
「Data Analysis Study #1 データ分析環境について」
で登壇したときの資料になります。
MasatoShima
September 15, 2021
Tweet
Share
Other Decks in Technology
See All in Technology
開発生産性向上サービスを作るFindyが自分たちで開発生産性を爆上げした組織づくりの歩み / Findy's path to boosting its own development productivity 2024-04-17
ma3tk
3
340
GraphQL 成熟度モデルの紹介と、プロダクトに当てはめた事例 / GraphQL maturity model
mh4gf
4
120
オーナーシップを持つ領域を明確にする
konifar
11
2.6k
The CloudCompare project by Dr. Daniel Girardeau-Montaut
kentaitakura
0
510
ここが嬉しいABAC ここが辛いよABAC #再解説+補足編
masahirokawahara
0
220
小さな開発会社がWebサービスを作る理由
polidog
PRO
1
160
長期間TiDBを使ってきた話 @ 私たちはなぜNewSQLを使うのかTiDB選定5社が語る選定理由と活用LT / Experiences with TiDB Over Time
chibiegg
2
710
キャラクター制御のためのプロンプト術 for LINE Bot
uezo
0
520
"好き"との生活/Regularly update profile with GitHub Actions
judeeeee
0
150
日本におけるデータエンジニアリングのこれまでとこれから
foursue
11
2.4k
コードを書く隙間を見つけて生きていく技術/Findy 思考の現在地
fujiwara3
24
5.2k
アプリがつくるNOT A HOTELブランド
hokuts
1
450
Featured
See All Featured
Web Components: a chance to create the future
zenorocha
305
41k
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
13
1.5k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
15
1.4k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
1
1.3k
What’s in a name? Adding method to the madness
productmarketing
PRO
15
2.6k
Large-scale JavaScript Application Architecture
addyosmani
503
110k
How STYLIGHT went responsive
nonsquared
92
4.8k
Building a Modern Day E-commerce SEO Strategy
aleyda
16
6.4k
Fireside Chat
paigeccino
20
2.6k
How GitHub Uses GitHub to Build GitHub
holman
468
290k
Building Adaptive Systems
keathley
30
1.8k
Transcript
"NB[PO&.34UVEJPΛ༻͍ͨ &%"ڥͷߏங גࣜձࣾφΩϟετ ౡ ਅਓ
/BNF ౡ ਅਓ $BSFFS dגࣜձࣾ26*$,ʹೖࣾ dגࣜձࣾφΩϟετʹೖࣾ 3PMF %BUB&OHJOOFS ˔ σʔλύΠϓϥΠϯͷ৽نߏஙΤϯϋϯε
˔ ࣾͷσʔλʹର͢ΔΦϖϨʔγϣϯ࡞ۀͷޮԽ ˔ &%"ڥͷߏங 1SPGJMF
˔ ηογϣϯͷྲྀΕ ˓ φΩϟετͷ &%"ʹ͓͚Δ՝ ˓ ͦΕʹର͢ΔղܾҊ ˔ ͜Μͳํʹ͓͢͢Ί ˓
これからデータ分析環境の構築を検討されようとしている方 ˓ データ分析やデータエンジニアリング業務に携わっている方 ˓ 他社はどのようなデータ分析環境を構築しているのか興味がある方 ˓ EDA の環境に課題を感じている方 "HFOEB
0VS.JTTJPO 我々のミッションは 「Alternative Data for Actionable Insights」です。 オルタナティブデータに基づいた、行動につながるインサイトをご提供します。 ナウキャストのインサイトは質の高い意思決定に貢献し、新しいチャレンジを後押しします。 "CPVU/PXDBTU
104 $SFEJU $BSE -PDBUJPO σʔλఏڙݩ φΩϟετ ͓٬͞· σʔλͷఏڙ Ճσʔλ ΠϯαΠτΛఏڙ &5- .BQQJOH &%" BOENPSF
˔ Ϗδωεͷ֦େʹ͍ɺσʔλੳͷॏཁੑ͕ߴ·Δ ˔ ඦ (#d 5#نͷσʔλΛੳ͢Δέʔεͷ૿Ճ ˓ &$JOTUBODFΛߏங͠ɺ 1ZUIPO "UIFOBͰॲཧΛ࣮ʙ࣮ߦ
˓ ຖճɺ"UIFOBͷςʔϒϧઃܭࣗલͰࢄॲཧΛॻ͍ͯ "84#BUDIͰ࣮ߦ ˙ ੳʹ࣌ؒखؒɺίετ͕͔͔Δ ˙ &$JOTUBODFͳͲɺϦιʔεཧͷඞཁੑ͕͋Γɺӡ༻ෛՙ͕ੜ͡Δ ˔ &%"ͷ݁Ռʹ͍ͭͯɺࣾͰڞ༗͢Δ͜ͱʹख͕͔͔ؒΔ ˓ ຖճɺIUNMϑΝΠϧʹม͠ɺ4MBDLͳͲʹʜ *TTVF
˔ "NB[PO&.34UVEJP ˓ "NB[PO&.3͚ͷ౷߹։ൃڥʢ*%&ʣ ˓ "NB[PO&.3$MVTUFS "NB[PO&.3/PUFCPPLTͷ࡞ɾଓɾૢ࡞ͳͲ͕ߦ͑Δ ˓ Πϝʔδ (PPHMF$PMBCPSBUPSZʹ͍ۙ
˔ "NB[PO&.3 ˓ "QBDIF4QBSLͳͲϏοάσʔλ͚ͷࢄॲཧϑϨʔϜϫʔΫͷ࣮ߦڥΛఏڙ ˔ "NB[PO&.3/PUFCPPLT ˓ "NB[PO&.3͚ͷ +VQZUFS/PUFCPPLͷαʔόϨεͳϗεςΟϯάαʔϏε "NB[PO&.34UVEJP
˔ "84ΧλϩάΛ࡞ɺཧɺཧ͢Δ ˓ $MPVE'PSNBUJPOͷ UFNQMBUFΛཧ͢Δ͜ͱ͕Ͱ͖ΔαʔϏε ˓ ར༻ऀ 4FSWJDF$BUBMPH͔ΒొࡁΈͷ $MPVE'PSNBUJPOUFNQMBUFΛ༻͍ͯɺ "84SFTPVSDFͷ
EFQMPZ͕Մೳ "844FSWJDF$BUBMPH Administrator Analysts Developers AWS Service Catalog UFNQMBUFΛొ ༻͍ͨ͠ "84ͷ SFTPVSDFͷ UFNQMBUF Λ༻͠ɺEFQMPZ
˔ ӈͷΠϝʔδͷΑ͏ʹ $MPVE'PSNBUJPOͷ จ๏ :".-ܗࣜ ʹԊͬͯɺࣄલʹ &.3 $MVTUFSͷઃఆΛ UFNQMBUFͱͯ͠ఆٛ ˔
"NB[PO&.34UVEJPΛܦ༝͠ɺҎԼͷ UFNQMBUFʹͱ͖ͮɺ&.3$MVTUFSΛ࣮ࡍ ʹ EFQMPZ "844FSWJDF$BUBMPH
"SDIJUFDUVSF &.3 Users Amazon S3 EMR Notebooks $MVTUFS Instances (Spot
instance) Amazon S3 AWS Service Catalog AWS Single Sign- On Lambda function
˔ φΩϟετͱͯ͠ɺ1ZUIPOΛ༻͍ͨ։ൃੳ͕ओྲྀͰ͋ͬͨ ˓ ʮ42-Ͱ͝Γ͝Γʜʯɺͱ͍͏ํ๏ʹൺɺϝϯόʔͷεΩϧʹϚον͍ͯͨ͠ ˔ "UIFOBͰςʔϒϧఆٛύʔςΟγϣϯͷઃܭͰରԠ͕͍͠έʔεଘࡏ ˓ ϓϩδΣΫτʹΑͬͯɺੳ͕࣠େ͖͘ҟͳΔʢύʔςΟγϣϯΛΓͮΒ͍ʣ ˓ 1ZUIPO
"UIFOBͰཁ݅Λຬͨ͢Α͏ͳࢄॲཧΛ࣮͠ͳ͚ΕͳΒͳ͔ͬͨ ˔ ίετ໘Ͱ༏ҐੑΛظͰ͖Δʢݕূதʜʣ ˓ "UIFOBͷσʔλεΩϟϯʹؔ͢Δίετ͕՝ʹͳ͍ͬͯͨ ˓ "VUPTDBMJOHػೳ 4QPUJOTUBODFΛ׆༻͢Δ͜ͱͰίετΛ͍͑͢ 8IZ"NB[PO&.34UVEJP
˔ Ϗδωεͷ֦େʹ͍ɺσʔλੳͷॏཁੑ͕ߴ·Δ ˔ ඦ (#d 5#نͷσʔλΛੳ͢Δέʔεͷ૿Ճ ˓ &$JOTUBODFΛߏங͠ɺ 1ZUIPO "UIFOBͰॲཧΛ࣮ʙ࣮ߦ
˓ ຖճɺ"UIFOBͷςʔϒϧઃܭࣗલͰࢄॲཧΛॻ͍ͯ "84#BUDIͰ࣮ߦ ˙ ੳʹ࣌ؒखؒɺίετ͕͔͔Δ ˙ &$JOTUBODFͳͲɺϦιʔεཧͷඞཁੑ͕͋Γɺӡ༻ෛՙ͕ੜ͡Δ ˔ &%"ͷ݁Ռʹ͍ͭͯɺࣾͰڞ༗͢Δ͜ͱʹख͕͔͔ؒΔ ˓ ຖճɺIUNMϑΝΠϧʹม͠ɺ4MBDLͳͲʹʜ *TTVF
˔ Ϗδωεͷ֦େʹ͍ɺσʔλੳͷॏཁੑ͕ߴ·Δ ˔ ඦ (#d 5#نͷσʔλΛੳ͢Δέʔεͷ૿Ճ ˓ &$JOTUBODFΛߏங͠ɺ 1ZUIPO "UIFOBͰॲཧΛ࣮ʙ࣮ߦ
˓ ຖճɺ"UIFOBͷςʔϒϧઃܭࣗલͰࢄॲཧΛॻ͍ͯ "84#BUDIͰ࣮ߦ ˙ ੳʹ࣌ؒखؒɺίετ͕͔͔Δ ˙ &$JOTUBODFͳͲɺϦιʔεཧͷඞཁੑ͕͋Γɺӡ༻ෛՙ͕ੜ͡Δ ˔ &%"ͷ݁Ռʹ͍ͭͯɺࣾͰڞ༗͢Δ͜ͱʹख͕͔͔ؒΔ ˓ ຖճɺIUNMϑΝΠϧʹม͠ɺ4MBDLͳͲʹʜ *TTVF
˔ /FUGMJYͳͲ͕த৺ͱͳͬͯ։ൃ͍ͯ͠Δ 044 ˓ (JU)VC ˔ +VQZUFS/PUFCPPLΛࣗಈతʹ IUNMʹม͠ɺϒϥβ্Ͱڞ༗ ˔ -PDBM্ͷ
+VQZUFS/PUFCPPLͷ΄͔ɺ4ɺ($4্ͷ +VQZUFS/PUFCPPLڞ༗Մೳ ˔ +VQZUFS/PUFCPPLͷڞ༗ػೳҎ֎ʹݕࡧػೳఏڙ $PNNVUFS
"SDIJUFDUVSF &.3 Users Amazon S3 EMR Notebooks $MVTUFS Instances (Spot
instance) Amazon S3 AWS Service Catalog AWS Single Sign- On Lambda function
"SDIJUFDUVSF &.3 Users Amazon S3 EMR Notebooks $MVTUFS Instances (Spot
instance) Amazon S3 AWS Service Catalog AWS Single Sign- On Commuter Lambda function
%FNP
˔ "84ͷ֤छϚωʔδυαʔϏεΛ׆༻͢Δ͜ͱͰӡ༻ෛՙͷগͳ͍ &%"ڥͷߏங͕࣮ݱ ˓ ίϯϐϡʔτϦιʔεؔ࿈ͷཧ "NB[PO&.3ʹΦϑϩʔυ ˙ &.3$MVTUFSΛ࡞ʹ͢Δ͜ͱͰ 04 ϛυϧΣΞͷόʔδϣϯཧͳͲΛෆཁʹ
˙ ॲཧʹԠͯ͡ "VUPTDBMJOH 4QPUJOTUBODFͷ׆༻ ˓ +VQZUFS/PUFCPPLؔ࿈ͷཧ "NB[PO&.34UVEJP/PUFCPPL ˙ &.3/PUFCPPLTΛ׆༻͢Δ͜ͱͰϚωʔδυͳ +VQZUFS/PUFCPPLΛߏங ˙ +VQZUFS/PUFCPPL 4ʹอଘ͠ɺԽΛ֬อ ˓ ڥͷଓ͢ΔͨΊͷϢʔβཧ "NB[PO4JOHMF4JHO0OΦϑϩʔυ 1PTJUJWFTJEF
˔ φΩϟετͰϦιʔεཧ 5FSSBGPSNͰߦ͍ͬͯΔ ˓ ͦͷͨΊɺ4FSWJDF$BUBMPHͷ $MPVE'PSNBUJPOલఏͷ༻ͪΐͬͱ͚ͩɺखؒʜ ˔ "NB[PO4JOHMF4JHO0OʹΑΔϢʔβཧγεςϜతͳཧΛΦϑϩʔυͰ͖Δ໘ɺࣾ ௐͳͲΛඞཁੑ͕ੜ͡Δ໘͋Δ ˓
"NB[PO4JOHMF4JHO0Oʹର͢ΔϢʔβͷՃͳͲผ్ɺཧΞΧϯτͰߦΘΕͯ ͍ΔͨΊ ˔ ॳظͷڥߏங࣌߹ʹΑͬͯɺख͕͔͔ؒΔ͜ͱ ˓ DPNQPOFOUͦΕʹඥͮ͘ *".3PMFʹର͢Δཧղ͕ඞཁʹͳΔέʔε͋Δ͔͠Ε ͳ͍ /FHBUJWFTJEF
"SDIJUFDUVSF *".SFTPVSDF
5IBOLZPV