Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
2021.09.15_Amazon EMR Studio を用いた EDA 環境の構築
Search
MasatoShima
September 15, 2021
Technology
0
300
2021.09.15_Amazon EMR Studio を用いた EDA 環境の構築
「Data Analysis Study #1 データ分析環境について」
で登壇したときの資料になります。
MasatoShima
September 15, 2021
Tweet
Share
Other Decks in Technology
See All in Technology
Expertise as a Service via MCP
yodakeisuke
1
160
増え続ける脆弱性に立ち向かう: 事前対策と優先度づけによる 持続可能な脆弱性管理 / Confronting the Rise of Vulnerabilities: Sustainable Management Through Proactive Measures and Prioritization
nttcom
1
220
Railsの限界を超えろ!「家族アルバム みてね」の画像・動画の大規模アップロードを支えるアーキテクチャの変遷
ojima_h
4
520
【CEDEC2025】大規模言語モデルを活用したゲーム内会話パートのスクリプト作成支援への取り組み
cygames
PRO
1
360
VLMサービスを用いた請求書データ化検証 / SaaSxML_Session_1
sansan_randd
0
130
複数のGemini CLIが同時開発する狂気 - Jujutsuが実現するAIエージェント協調の新世界
gunta
13
3.8k
AI によるドキュメント処理を加速するためのOCR 結果の永続化と再利用戦略
tomoaki25
0
110
【CEDEC2025】LLMを活用したゲーム開発支援と、生成AIの利活用を進める組織的な取り組み
cygames
PRO
1
1.7k
Power Automate のパフォーマンス改善レシピ / Power Automate Performance Improvement Recipes
karamem0
0
270
Turn Your Community into a Fundraising Catalyst for Black Philanthropy Month
auctria
PRO
0
200
Datasets for Critical Operations by Dataform
kimujun
0
120
AIエージェントを支える設計
tkikuchi1002
11
2.4k
Featured
See All Featured
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
48
2.9k
KATA
mclloyd
30
14k
GitHub's CSS Performance
jonrohan
1031
460k
Building a Modern Day E-commerce SEO Strategy
aleyda
42
7.4k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.6k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
1k
Done Done
chrislema
184
16k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
Site-Speed That Sticks
csswizardry
10
730
Transcript
"NB[PO&.34UVEJPΛ༻͍ͨ &%"ڥͷߏங גࣜձࣾφΩϟετ ౡ ਅਓ
/BNF ౡ ਅਓ $BSFFS dגࣜձࣾ26*$,ʹೖࣾ dגࣜձࣾφΩϟετʹೖࣾ 3PMF %BUB&OHJOOFS ˔ σʔλύΠϓϥΠϯͷ৽نߏஙΤϯϋϯε
˔ ࣾͷσʔλʹର͢ΔΦϖϨʔγϣϯ࡞ۀͷޮԽ ˔ &%"ڥͷߏங 1SPGJMF
˔ ηογϣϯͷྲྀΕ ˓ φΩϟετͷ &%"ʹ͓͚Δ՝ ˓ ͦΕʹର͢ΔղܾҊ ˔ ͜Μͳํʹ͓͢͢Ί ˓
これからデータ分析環境の構築を検討されようとしている方 ˓ データ分析やデータエンジニアリング業務に携わっている方 ˓ 他社はどのようなデータ分析環境を構築しているのか興味がある方 ˓ EDA の環境に課題を感じている方 "HFOEB
0VS.JTTJPO 我々のミッションは 「Alternative Data for Actionable Insights」です。 オルタナティブデータに基づいた、行動につながるインサイトをご提供します。 ナウキャストのインサイトは質の高い意思決定に貢献し、新しいチャレンジを後押しします。 "CPVU/PXDBTU
104 $SFEJU $BSE -PDBUJPO σʔλఏڙݩ φΩϟετ ͓٬͞· σʔλͷఏڙ Ճσʔλ ΠϯαΠτΛఏڙ &5- .BQQJOH &%" BOENPSF
˔ Ϗδωεͷ֦େʹ͍ɺσʔλੳͷॏཁੑ͕ߴ·Δ ˔ ඦ (#d 5#نͷσʔλΛੳ͢Δέʔεͷ૿Ճ ˓ &$JOTUBODFΛߏங͠ɺ 1ZUIPO "UIFOBͰॲཧΛ࣮ʙ࣮ߦ
˓ ຖճɺ"UIFOBͷςʔϒϧઃܭࣗલͰࢄॲཧΛॻ͍ͯ "84#BUDIͰ࣮ߦ ˙ ੳʹ࣌ؒखؒɺίετ͕͔͔Δ ˙ &$JOTUBODFͳͲɺϦιʔεཧͷඞཁੑ͕͋Γɺӡ༻ෛՙ͕ੜ͡Δ ˔ &%"ͷ݁Ռʹ͍ͭͯɺࣾͰڞ༗͢Δ͜ͱʹख͕͔͔ؒΔ ˓ ຖճɺIUNMϑΝΠϧʹม͠ɺ4MBDLͳͲʹʜ *TTVF
˔ "NB[PO&.34UVEJP ˓ "NB[PO&.3͚ͷ౷߹։ൃڥʢ*%&ʣ ˓ "NB[PO&.3$MVTUFS "NB[PO&.3/PUFCPPLTͷ࡞ɾଓɾૢ࡞ͳͲ͕ߦ͑Δ ˓ Πϝʔδ (PPHMF$PMBCPSBUPSZʹ͍ۙ
˔ "NB[PO&.3 ˓ "QBDIF4QBSLͳͲϏοάσʔλ͚ͷࢄॲཧϑϨʔϜϫʔΫͷ࣮ߦڥΛఏڙ ˔ "NB[PO&.3/PUFCPPLT ˓ "NB[PO&.3͚ͷ +VQZUFS/PUFCPPLͷαʔόϨεͳϗεςΟϯάαʔϏε "NB[PO&.34UVEJP
˔ "84ΧλϩάΛ࡞ɺཧɺཧ͢Δ ˓ $MPVE'PSNBUJPOͷ UFNQMBUFΛཧ͢Δ͜ͱ͕Ͱ͖ΔαʔϏε ˓ ར༻ऀ 4FSWJDF$BUBMPH͔ΒొࡁΈͷ $MPVE'PSNBUJPOUFNQMBUFΛ༻͍ͯɺ "84SFTPVSDFͷ
EFQMPZ͕Մೳ "844FSWJDF$BUBMPH Administrator Analysts Developers AWS Service Catalog UFNQMBUFΛొ ༻͍ͨ͠ "84ͷ SFTPVSDFͷ UFNQMBUF Λ༻͠ɺEFQMPZ
˔ ӈͷΠϝʔδͷΑ͏ʹ $MPVE'PSNBUJPOͷ จ๏ :".-ܗࣜ ʹԊͬͯɺࣄલʹ &.3 $MVTUFSͷઃఆΛ UFNQMBUFͱͯ͠ఆٛ ˔
"NB[PO&.34UVEJPΛܦ༝͠ɺҎԼͷ UFNQMBUFʹͱ͖ͮɺ&.3$MVTUFSΛ࣮ࡍ ʹ EFQMPZ "844FSWJDF$BUBMPH
"SDIJUFDUVSF &.3 Users Amazon S3 EMR Notebooks $MVTUFS Instances (Spot
instance) Amazon S3 AWS Service Catalog AWS Single Sign- On Lambda function
˔ φΩϟετͱͯ͠ɺ1ZUIPOΛ༻͍ͨ։ൃੳ͕ओྲྀͰ͋ͬͨ ˓ ʮ42-Ͱ͝Γ͝Γʜʯɺͱ͍͏ํ๏ʹൺɺϝϯόʔͷεΩϧʹϚον͍ͯͨ͠ ˔ "UIFOBͰςʔϒϧఆٛύʔςΟγϣϯͷઃܭͰରԠ͕͍͠έʔεଘࡏ ˓ ϓϩδΣΫτʹΑͬͯɺੳ͕࣠େ͖͘ҟͳΔʢύʔςΟγϣϯΛΓͮΒ͍ʣ ˓ 1ZUIPO
"UIFOBͰཁ݅Λຬͨ͢Α͏ͳࢄॲཧΛ࣮͠ͳ͚ΕͳΒͳ͔ͬͨ ˔ ίετ໘Ͱ༏ҐੑΛظͰ͖Δʢݕূதʜʣ ˓ "UIFOBͷσʔλεΩϟϯʹؔ͢Δίετ͕՝ʹͳ͍ͬͯͨ ˓ "VUPTDBMJOHػೳ 4QPUJOTUBODFΛ׆༻͢Δ͜ͱͰίετΛ͍͑͢ 8IZ"NB[PO&.34UVEJP
˔ Ϗδωεͷ֦େʹ͍ɺσʔλੳͷॏཁੑ͕ߴ·Δ ˔ ඦ (#d 5#نͷσʔλΛੳ͢Δέʔεͷ૿Ճ ˓ &$JOTUBODFΛߏங͠ɺ 1ZUIPO "UIFOBͰॲཧΛ࣮ʙ࣮ߦ
˓ ຖճɺ"UIFOBͷςʔϒϧઃܭࣗલͰࢄॲཧΛॻ͍ͯ "84#BUDIͰ࣮ߦ ˙ ੳʹ࣌ؒखؒɺίετ͕͔͔Δ ˙ &$JOTUBODFͳͲɺϦιʔεཧͷඞཁੑ͕͋Γɺӡ༻ෛՙ͕ੜ͡Δ ˔ &%"ͷ݁Ռʹ͍ͭͯɺࣾͰڞ༗͢Δ͜ͱʹख͕͔͔ؒΔ ˓ ຖճɺIUNMϑΝΠϧʹม͠ɺ4MBDLͳͲʹʜ *TTVF
˔ Ϗδωεͷ֦େʹ͍ɺσʔλੳͷॏཁੑ͕ߴ·Δ ˔ ඦ (#d 5#نͷσʔλΛੳ͢Δέʔεͷ૿Ճ ˓ &$JOTUBODFΛߏங͠ɺ 1ZUIPO "UIFOBͰॲཧΛ࣮ʙ࣮ߦ
˓ ຖճɺ"UIFOBͷςʔϒϧઃܭࣗલͰࢄॲཧΛॻ͍ͯ "84#BUDIͰ࣮ߦ ˙ ੳʹ࣌ؒखؒɺίετ͕͔͔Δ ˙ &$JOTUBODFͳͲɺϦιʔεཧͷඞཁੑ͕͋Γɺӡ༻ෛՙ͕ੜ͡Δ ˔ &%"ͷ݁Ռʹ͍ͭͯɺࣾͰڞ༗͢Δ͜ͱʹख͕͔͔ؒΔ ˓ ຖճɺIUNMϑΝΠϧʹม͠ɺ4MBDLͳͲʹʜ *TTVF
˔ /FUGMJYͳͲ͕த৺ͱͳͬͯ։ൃ͍ͯ͠Δ 044 ˓ (JU)VC ˔ +VQZUFS/PUFCPPLΛࣗಈతʹ IUNMʹม͠ɺϒϥβ্Ͱڞ༗ ˔ -PDBM্ͷ
+VQZUFS/PUFCPPLͷ΄͔ɺ4ɺ($4্ͷ +VQZUFS/PUFCPPLڞ༗Մೳ ˔ +VQZUFS/PUFCPPLͷڞ༗ػೳҎ֎ʹݕࡧػೳఏڙ $PNNVUFS
"SDIJUFDUVSF &.3 Users Amazon S3 EMR Notebooks $MVTUFS Instances (Spot
instance) Amazon S3 AWS Service Catalog AWS Single Sign- On Lambda function
"SDIJUFDUVSF &.3 Users Amazon S3 EMR Notebooks $MVTUFS Instances (Spot
instance) Amazon S3 AWS Service Catalog AWS Single Sign- On Commuter Lambda function
%FNP
˔ "84ͷ֤छϚωʔδυαʔϏεΛ׆༻͢Δ͜ͱͰӡ༻ෛՙͷগͳ͍ &%"ڥͷߏங͕࣮ݱ ˓ ίϯϐϡʔτϦιʔεؔ࿈ͷཧ "NB[PO&.3ʹΦϑϩʔυ ˙ &.3$MVTUFSΛ࡞ʹ͢Δ͜ͱͰ 04 ϛυϧΣΞͷόʔδϣϯཧͳͲΛෆཁʹ
˙ ॲཧʹԠͯ͡ "VUPTDBMJOH 4QPUJOTUBODFͷ׆༻ ˓ +VQZUFS/PUFCPPLؔ࿈ͷཧ "NB[PO&.34UVEJP/PUFCPPL ˙ &.3/PUFCPPLTΛ׆༻͢Δ͜ͱͰϚωʔδυͳ +VQZUFS/PUFCPPLΛߏங ˙ +VQZUFS/PUFCPPL 4ʹอଘ͠ɺԽΛ֬อ ˓ ڥͷଓ͢ΔͨΊͷϢʔβཧ "NB[PO4JOHMF4JHO0OΦϑϩʔυ 1PTJUJWFTJEF
˔ φΩϟετͰϦιʔεཧ 5FSSBGPSNͰߦ͍ͬͯΔ ˓ ͦͷͨΊɺ4FSWJDF$BUBMPHͷ $MPVE'PSNBUJPOલఏͷ༻ͪΐͬͱ͚ͩɺखؒʜ ˔ "NB[PO4JOHMF4JHO0OʹΑΔϢʔβཧγεςϜతͳཧΛΦϑϩʔυͰ͖Δ໘ɺࣾ ௐͳͲΛඞཁੑ͕ੜ͡Δ໘͋Δ ˓
"NB[PO4JOHMF4JHO0Oʹର͢ΔϢʔβͷՃͳͲผ్ɺཧΞΧϯτͰߦΘΕͯ ͍ΔͨΊ ˔ ॳظͷڥߏங࣌߹ʹΑͬͯɺख͕͔͔ؒΔ͜ͱ ˓ DPNQPOFOUͦΕʹඥͮ͘ *".3PMFʹର͢Δཧղ͕ඞཁʹͳΔέʔε͋Δ͔͠Ε ͳ͍ /FHBUJWFTJEF
"SDIJUFDUVSF *".SFTPVSDF
5IBOLZPV