Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
1日100個以上のHadoopクラスターを使い捨てる方法 / How to throw awa...
Search
Hiroyuki Nakazato / 中里 浩之
March 14, 2019
Technology
0
4.5k
1日100個以上のHadoopクラスターを使い捨てる方法 / How to throw away 100 Hadoop clusters a day
Hiroyuki Nakazato / 中里 浩之
March 14, 2019
Tweet
Share
More Decks by Hiroyuki Nakazato / 中里 浩之
See All by Hiroyuki Nakazato / 中里 浩之
Data Engineering Study 21 - Microsoft Fabric
nakazax
0
710
Azure Databricks Learning Series #3 - Network Design
nakazax
0
930
Azure Databricks Learning Series #2 - Databricks SQL
nakazax
0
540
Microsoft Build 2022 Recap Party!! Azure のデータ & 分析サービス 注目アップデート / microsoft-build-2022-recap-azure-data-and-analytics
nakazax
0
670
Microsoft Build 2022 - Azure のデータ & 分析サービス 最新アップデート / Microsoft Build 2022 Updates on Azure Data and Analytics Services
nakazax
1
880
Architecture patterns of Azure Cosmos DB & Azure Synapse Analytics
nakazax
1
430
CY2021 Updates for ADF & Synapse & Cosmos
nakazax
0
85
Ignite 2020 Update Azure Synapse Analytics
nakazax
0
1.1k
Ignite 2020 Update - Azure DB for MySQL and Postgres - Azure Arc - and more
nakazax
2
400
Other Decks in Technology
See All in Technology
AIエージェント入門
minorun365
PRO
32
18k
LINE NEWSにおけるバックエンド開発
lycorptech_jp
PRO
0
280
事業モメンタムを生み出すプロダクト開発
macchiitaka
0
100
EMConf JP 2025 懇親会LT / EMConf JP 2025 social gathering
sugamasao
2
200
OPENLOGI Company Profile for engineer
hr01
1
20k
【Findy】「正しく」失敗できる チームの作り方 〜リアルな事例から紐解く失敗を恐れない組織とは〜 / A team that can fail correctly by findy
i35_267
5
920
偏光画像処理ライブラリを作った話
elerac
1
180
DevinでAI AWSエンジニア製造計画 序章 〜CDKを添えて〜/devin-load-to-aws-engineer
tomoki10
0
170
ExaDB-XSで利用されているExadata Exascaleについて
oracle4engineer
PRO
3
260
Change Managerを活用して本番環境へのセキュアなGUIアクセスを統制する / Control Secure GUI Access to the Production Environment with Change Manager
yuj1osm
0
100
わたしがEMとして入社した「最初の100日」の過ごし方 / EMConfJp2025
daiksy
14
5.2k
急成長する企業で作った、エンジニアが輝ける制度/ 20250227 Rinto Ikenoue
shift_evolve
0
140
Featured
See All Featured
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
YesSQL, Process and Tooling at Scale
rocio
172
14k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.3k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
46
2.3k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
30
2.2k
Agile that works and the tools we love
rasmusluckow
328
21k
Designing for humans not robots
tammielis
250
25k
Why Our Code Smells
bkeepers
PRO
336
57k
Visualization
eitanlees
146
15k
VelocityConf: Rendering Performance Case Studies
addyosmani
328
24k
Mobile First: as difficult as doing things right
swwweet
223
9.4k
Speed Design
sergeychernyshev
27
810
Transcript
݄ ιϑτόϯΫגࣜձࣾதཬߒ೭ ݸҎ্ͷ )BEPPQΫϥελʔΛ ͍ࣺͯΔํ๏ )BEPPQ4QBSL$POGFSFODF+BQBO
ࣗݾհ தཬߒ೭ φΧβτώϩϢΩ ॴଐ ιϑτόϯΫגࣜձࣾ גࣜձࣾ"HPPQ ϙδγϣϯ όοΫΤϯυνʔϜϦʔμʔ
"845FDIOJDBM.FJTUFS
͜ΜͳهࣄΛॻ͍͍ͯ·͢ IUUQTRJJUBDPNOBLB[BYJUFNTFEEGBB
Ґஔใऩू ղੳ ਓͷྲྀΕ
.VTUͷϩάΛؒόον։࢝·Ͱʹ%8)ʹೖ 8BOU%8)ͷೖૣ͚Εૣ͍΄Ͳϕλʔ ػೳ໘ ඇػೳ໘ ϩάͷϘϦϡʔϜԯ݅5#Φʔμʔ ࠓޙϩάྔ͕૿͑ଓ͚ΔͨΊεέʔϥϏϦςΟ͕ඞཁ ίετޮٴͼ҆ఆੑ͕ߴ͍͜ͱ &5-ॲཧͷཁ݅
ϩάऩू γεςϜ 4 3FETIJGU ,JOFTJT +FOLJOTPO&$ %FWFMPQFST %BUB"OBMZTUT
&-# &$ ऩूɾੵ &5- ղੳ &$ &$ ':ΞʔΩςΫνϟʔ
ϩάऩू γεςϜ 4 3FETIJGU ,JOFTJT +FOLJOTPO&$ %FWFMPQFST %BUB"OBMZTUT
&-# &$ ऩूɾੵ &5- ղੳ &$ &$ ':ΞʔΩςΫνϟʔ εέʔϥϏϦςΟ ͳͲʹ՝
࣌ؒͷϩάΛೖྗɺ1ZUIPONVMUJQSPDFTTJOHͰ $16Λͬͯ%8)ʹϩʔυՄೳͳܗࣜʹม ͋Δͷରͷϩά͕एׯҟͳΔͨΊ ૿͑ଓ͚Δϩάʹରͯ͠ &$ͷεέʔϧΞοϓͰରԠ ࣌ͷ&5-ॲཧͷ࣮
DYMBSHF ϦϦʔε W$16(J#.FN ֹ݄ສԁ DYMBSHF Լ०ϦϦʔε W$16(J#.FN ֹ݄ສԁ
εέʔϧΞοϓ ಄ଧͪϦεΫ ίϯϐϡʔςΟϯά࠷దԽΠϯελϯελΠϓ
࣌&5-ॲཧ ࣌&5-ॲཧ ͋Δ࣌ؒͷॲཧ͕Ҿ͘ͱޙଓ͕٧·Δ
&$ 4 ࣌&5-ॲཧ &5-ॲཧΠϝʔδ
ϩάऩू γεςϜ 4 3FETIJGU ,JOFTJT +FOLJOTPO&$ %FWFMPQFST %BUB"OBMZTUT
&-# &$ ऩूɾੵ &5- ղੳ &$ &$ ':ΞʔΩςΫνϟʔ ՝ͷղܾʹணख
৽ΞʔΩςΫνϟʔߏ εέʔϧΞτϞσϧ 4QBSLPO&.3Λ࠾༻ ॲཧͷಠཱੑ ࣌ؒͷ&5-ॲཧΛ Ϋϥελʔ͕୲ ͍ࣺͯՄೳͳ &.3όονॲཧج൫
ϩάऩू γεςϜ 4 3FETIJGU +FOLJOTPO&$ %FWFMPQFST %BUB"OBMZTUT &5-
ղੳ ऩूɾੵ ʜ ʜ 4QBSLPO&.3 )JWFPO&.3 ʜ 4 -BNCEB ,JOFTJT &-# &$ ৽ΞʔΩςΫνϟʔ (MVF
৽ΞʔΩςΫνϟʔͷϙΠϯτ &.3ͷεςοϓػೳͷ׆༻ -BNCEBʹΑΔ&.3Ϋϥελʔͷ੍ޚ ϑϧϚωʔδυ)JWFϝλετΞͷ׆༻
ΞυϗοΫੳ༻&.3Ϋϥελʔͷఏڙ
&.3ͷεςοϓػೳͷ׆༻ 1 2 3 4 εςοϓҙͷॲཧΛॱ൪ʹ࣮ߦ͢ΔΈ શεςοϓྃޙʹΫϥελʔΛऴྃ͢Δͷ੍ޚ͕ ؆୯ʹߦ͑Δ
݅ذ܁Γฦ͕͠ͳ͍γϯϓϧͳόονॲཧϑϩʔ Ͱ͋ΕεςοϓػೳͰेΧόʔՄೳ
&5-ॲཧͷεςοϓ &.3 ຊ൪ࢿࡐ +BS 4IFMM ςετࢿࡐ 4IFMM +BS
ੜϩά 1BSRVFU &5-ॲཧ༻ͷࢿࡐΛ4͔Βμϯϩʔυ TEJTUDQͰॲཧରͷϩάΛू TQBSLTVCNJUͰσʔλՃͱ1BSRVFUมΛ࣮ࢪ 1 2 3
-BNCEBʹΑΔΫϥελʔ੍ޚ 1 2 3 4 &.3Ϋϥελʔىಈ༻ͷ-BNCEBؔΛ࣮ 1ZUIPOͰ3VO+PC'MPXΛίʔϧ 3VO+PC'MPXύϥϝʔλʔ͕ඇৗʹଟ͍
ઃఆϑΝΠϧϥΠϒϥϦ)0$0/Ͱཧ͠࠶ར༻ੑΛ্ 1MBZ'SBNFXPSLͳͲͰ༗໊ͳ-JHIUCFOE͕ࣾ։ൃ ϩάऩूγεςϜͳͲͰ1MBZ'SBNFXPSLΛ׆༻ͯ͠ ͓Γ)0$0/ʹ׳Ε͍ͯͨͷ͕࠾༻ཧ༝
&5-༻Ϋϥελʔىಈϑϩʔ 1 2 3 4 Name = hourly-etl
ReleaseLabel = emr-5.20.0 Steps = [ { spark-submit hourly-etl.jar ${YYYYMMDD}/${HH} } ... IPVSMZDPOG IPVSMZDPOG )0$0/ύʔε 3VO+PC'MPX࣮ߦ
&5-ॲཧͷϦΧόϦʔ ޭ ޭ ࣦഊ ͕ҟৗऴྃ 1 2 3
4 ϦΧόϦ༻ ىಈ༻ Ϋϥελʔͷঢ়ଶΛ ఆظతʹνΣοΫ ىಈ༻-BNCEBΛ ݺͼग़͠ ࣦഊͨ࣌ؒ͠ͷ ΫϥελʔΛىಈ
ϑϧϚωʔδυ)JWFϝλετΞ 1 2 3 4 "84(MVF%BUB$BUBMPH <&.3 ରԠ>
Ҏલ.Z42-PO3%4Λ)JWFϝλετΞͱͯ͠ར༻ 3%4͕410'ʹͳΒͳ͍Α͏ʹؾΛݣ͏ඞཁ͕͋ͬͨ ΫϥελʔΛେྔʹىಈ͢ΔͱଓͰ͖ͳ͍FUD (MVF%BUB$BUBMPHϑϧϚωʔδυ͔ͭಉ࣌ଓ੍ݶͳ͠
ΞυϗοΫੳ༻Ϋϥελʔ ΤϯδχΞΞφϦετ͕ ؆୯ʹ&.3ΫϥελʔΛىಈՄೳʹ 1 2 3 4
Ϋϥελʔͷམͱ͠Εࢭ 1 2 3 4 I I I
ࢹ༻ Ϋϥελʔͷ Քಇ࣌ؒΛνΣοΫ 4MBDL௨ BEIPDDMVTUFS
ίετͷ ຖ࣌ͷ&5-ॲཧҎલΑΓ҆Ձʹ εϙοτΠϯελϯεΛੵۃతʹ׆༻͍ͯ͠ΔͨΊ 4શମͷίετ૿Ճ ΞυϗοΫੳ͕ؾܰʹͰ͖ΔͨΊੳ݁Ռͷσʔλ͕ 4ʹੵ͍͍ͯͬͯ͠Δ ෆཁͳσʔλΛఆظతʹআ͢ΔΑ͏ͳΈ͕ඞཁ
ϩάऩू γεςϜ 4 3FETIJGU +FOLJOTPO&$ %FWFMPQFST %BUB"OBMZTUT &5-
ղੳ ऩूɾੵ ʜ ʜ 4QBSLPO&.3 )JWFPO&.3 ʜ 4 -BNCEB ,JOFTJT &-# &$ ࠶ܝ৽ΞʔΩςΫνϟʔ (MVF
THANK YOU! ANY QUESTIONS?