Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon EMR でのバッチ処理 Spark アプリケーション運用で気をつけたいこと
Search
soonraah
March 29, 2015
Technology
1
620
Amazon EMR でのバッチ処理 Spark アプリケーション運用で 気をつけたいこと
2015-03-29 第2回 “Learning Spark” 読書会 LT
soonraah
March 29, 2015
Tweet
Share
More Decks by soonraah
See All by soonraah
MLCT #5 Pipeline Jungles とたたかう話
soonraah
0
1.9k
Apache Spark による推薦システム案件例
soonraah
11
7.9k
Spark MLlib でやってみる協調フィルタリング
soonraah
8
7.4k
Other Decks in Technology
See All in Technology
生成AI、LLMの いまさら聞けないキホンのキ!/ Generative AI and LLM 101
gakumura
1
170
Why and Why not of enabling swap in Kubernetes
hwchiu
0
340
今日から始める技術的負債の解消
leveragestech
3
460
WebRTC と AI の組み合わせ
tnoho
0
390
まだ間に合う! 生成AIトレンド一挙おさらい & AWSのBedrockに入門しよう
minorun365
PRO
4
370
フェンリルの SwiftUI の研修を覗いてみる / Fenrir SwiftUI Training
studio_rookery
0
170
20241017_俺たちは雰囲気で scope をやっているけどもうちょっとなんとかならんのか?
tokai235
0
420
Azure AI servicesと歯のおはなし/AzureTravelers_Fukuoka2024_baba
nina01
1
110
Oracle Cloud Infrastructure:2024年10月度サービス・アップデート
oracle4engineer
PRO
0
290
Julia 新 LTS v1.10 解説 for JuliaTokai #20
antimon2
1
100
The road to green code (with Sonar)
bluehats
0
190
KongによるAPIライフサイクル マネジメント
hashitokyo
1
160
Featured
See All Featured
Bash Introduction
62gerente
608
210k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.2k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
250
21k
BBQ
matthewcrist
85
9.2k
Statistics for Hackers
jakevdp
796
220k
Documentation Writing (for coders)
carmenintech
65
4.4k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
191
16k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
6.9k
Code Review Best Practice
trishagee
64
17k
Optimising Largest Contentful Paint
csswizardry
31
2.9k
Six Lessons from altMBA
skipperchong
26
3.4k
Building Adaptive Systems
keathley
38
2.2k
Transcript
"NB[PO&.3Ͱͷόονॲཧ 4QBSLΞϓϦέʔγϣϯӡ༻Ͱ ؾΛ͚͍ͭͨ͜ͱ ୈճl-FBSOJOH4QBSLzಡॻձ-5 !TPPOSBBI
"(&/%" • "NB[PO&.3 • ΠϯελϯεੑೳWTίετ • +PCqPXΛ։࢝Ͱ͖ͳ͍߹ͷอݥ • XFC6*ͷݟํ •
·ͱΊ 2
"NB[PO&.3 &MBTUJD.BQ3FEVDF • )BEPPQϑϨʔϜϫʔΫΛΫϥυఏڙ • )%'4Λར༻Մೳ • 4QBSL1SFTUPΛ࣮ߦՄೳ •
ॳظඅ༻Λ͑ͯࢄॲཧΛࢼͤΔ • όονॲཧ͖ʁ 3
ΠϯελϯεੑೳWTίετ • ҎԼͷཁૉΛߟྀܾͯ͠ఆ • ඞཁͳϝϞϦྔʁ • ϩʔΧϧͰͷ࣮ݧ4QBSLXFC6*͔Βݟੵ • ཁٻ͞ΕΔॲཧ࣌ؒʁ •
ϩʔΧϧͰͷ࣮ݧͰݟੵ • ༧ࢉʹऩ·Δ͔ʁ • εϙοτΠϯελϯεͷ߹࣌Ձ • ೖࡳՁ֨ͷࢦఆ 4
ΠϯελϯεՁ֨มಈେ͖͍ʜ 5
+PCqPXΛ։࢝Ͱ͖ͳ͍߹ͷอݥ • +PCΛ։࢝Ͱ͖ͳ͍ • #PPUTUSBQ"DUJPOͰͷࣦഊ • ೖࡳՁ͕֨࣌ՁΑΓ͍ • ΘΓͱى͜Δ •
&.3KPCqPXϦΫΤετଆʹอݥͷॲཧΛ • +PCqPXΛࢹ • ࣦഊͨ͠ΒΠϯελϯελΠϓೖࡳՁ֨Λ ม͑ͯϦτϥΠ͢ΔΈ 6
8FC6* • ࣮ߦதͷϝτϦΫε͕ݟΕΔ • εςʔδ͝ͱͷλεΫ࣮ߦঢ়گ • ֤3%%ͷ༻ϝϞϦྔ • ϊʔυใ •
ϦιʔεௐνϡʔχϯάͷͨΊʹ 7
8FC6* 8
8FC6*ͷݟํʢʣ 9
8FC6*ͷݟํʢʣ 10
8FC6*ͷݟํʢʣ 11
8FC6*ͷݟํʢʣ 12
8FC6*ͷݟํʢʣ 13
·ͱΊ • ඞཁͳΠϯελϯεੑೳΛݟੵͬͯίετΛ ܭࢉ͠Α͏ • +PCqPXͷ։࢝ʹࣦഊͨ͠ͱ͖ͷอݥ͕͋Δͱ ӡ༻Λָʹ͠Α͏ • 8FC6*ΛݟΑ͏ 14