Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon EMR でのバッチ処理 Spark アプリケーション運用で気をつけたいこと
Search
soonraah
March 29, 2015
Technology
1
630
Amazon EMR でのバッチ処理 Spark アプリケーション運用で 気をつけたいこと
2015-03-29 第2回 “Learning Spark” 読書会 LT
soonraah
March 29, 2015
Tweet
Share
More Decks by soonraah
See All by soonraah
MLCT #5 Pipeline Jungles とたたかう話
soonraah
0
1.9k
Apache Spark による推薦システム案件例
soonraah
11
8k
Spark MLlib でやってみる協調フィルタリング
soonraah
8
7.6k
Other Decks in Technology
See All in Technology
CSPヘッダー導入で実現するWebサイトの多層防御:今すぐ試せる設定例と運用知見
llamakko
1
270
生成AIを活用した野球データ分析 - メジャーリーグ編 / Baseball Analytics for Gen AI
shinyorke
PRO
1
230
ユーザー理解の爆速化とPdMの価値
kakehashi
PRO
1
110
MCPと認可まわりの話 / mcp_and_authorization
convto
2
290
少人数でも回る! DevinとPlaybookで支える運用改善
ishikawa_pro
4
1.7k
AI工学特論: MLOps・継続的評価
asei
10
2k
LLMでAI-OCR、実際どうなの? / llm_ai_ocr_layerx_bet_ai_day_lt
sbrf248
0
110
robocopy の怖い話/scary-story-about-robocopy
emiki
0
400
経理出身PdMがAIプロダクト開発を_ハンズオンで学んだ話.pdf
shunsukenarita
1
230
With Devin -AIの自律とメンバーの自立
kotanin0
2
790
2025-07-25 NOT A HOTEL TECH TALK ━ スマートホーム開発の最前線 ━ SOFTWARE
wakinchan
0
170
メモ整理が苦手な者による頑張らないObsidian活用術
optim
0
150
Featured
See All Featured
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
Typedesign – Prime Four
hannesfritz
42
2.7k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.9k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
126
53k
RailsConf 2023
tenderlove
30
1.2k
Optimising Largest Contentful Paint
csswizardry
37
3.4k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
50
5.5k
A Tale of Four Properties
chriscoyier
160
23k
The Invisible Side of Design
smashingmag
301
51k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
Why You Should Never Use an ORM
jnunemaker
PRO
58
9.5k
Transcript
"NB[PO&.3Ͱͷόονॲཧ 4QBSLΞϓϦέʔγϣϯӡ༻Ͱ ؾΛ͚͍ͭͨ͜ͱ ୈճl-FBSOJOH4QBSLzಡॻձ-5 !TPPOSBBI
"(&/%" • "NB[PO&.3 • ΠϯελϯεੑೳWTίετ • +PCqPXΛ։࢝Ͱ͖ͳ͍߹ͷอݥ • XFC6*ͷݟํ •
·ͱΊ 2
"NB[PO&.3 &MBTUJD.BQ3FEVDF • )BEPPQϑϨʔϜϫʔΫΛΫϥυఏڙ • )%'4Λར༻Մೳ • 4QBSL1SFTUPΛ࣮ߦՄೳ •
ॳظඅ༻Λ͑ͯࢄॲཧΛࢼͤΔ • όονॲཧ͖ʁ 3
ΠϯελϯεੑೳWTίετ • ҎԼͷཁૉΛߟྀܾͯ͠ఆ • ඞཁͳϝϞϦྔʁ • ϩʔΧϧͰͷ࣮ݧ4QBSLXFC6*͔Βݟੵ • ཁٻ͞ΕΔॲཧ࣌ؒʁ •
ϩʔΧϧͰͷ࣮ݧͰݟੵ • ༧ࢉʹऩ·Δ͔ʁ • εϙοτΠϯελϯεͷ߹࣌Ձ • ೖࡳՁ֨ͷࢦఆ 4
ΠϯελϯεՁ֨มಈେ͖͍ʜ 5
+PCqPXΛ։࢝Ͱ͖ͳ͍߹ͷอݥ • +PCΛ։࢝Ͱ͖ͳ͍ • #PPUTUSBQ"DUJPOͰͷࣦഊ • ೖࡳՁ͕֨࣌ՁΑΓ͍ • ΘΓͱى͜Δ •
&.3KPCqPXϦΫΤετଆʹอݥͷॲཧΛ • +PCqPXΛࢹ • ࣦഊͨ͠ΒΠϯελϯελΠϓೖࡳՁ֨Λ ม͑ͯϦτϥΠ͢ΔΈ 6
8FC6* • ࣮ߦதͷϝτϦΫε͕ݟΕΔ • εςʔδ͝ͱͷλεΫ࣮ߦঢ়گ • ֤3%%ͷ༻ϝϞϦྔ • ϊʔυใ •
ϦιʔεௐνϡʔχϯάͷͨΊʹ 7
8FC6* 8
8FC6*ͷݟํʢʣ 9
8FC6*ͷݟํʢʣ 10
8FC6*ͷݟํʢʣ 11
8FC6*ͷݟํʢʣ 12
8FC6*ͷݟํʢʣ 13
·ͱΊ • ඞཁͳΠϯελϯεੑೳΛݟੵͬͯίετΛ ܭࢉ͠Α͏ • +PCqPXͷ։࢝ʹࣦഊͨ͠ͱ͖ͷอݥ͕͋Δͱ ӡ༻Λָʹ͠Α͏ • 8FC6*ΛݟΑ͏ 14