Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon EMR でのバッチ処理 Spark アプリケーション運用で気をつけたいこと
Search
soonraah
March 29, 2015
Technology
1
630
Amazon EMR でのバッチ処理 Spark アプリケーション運用で 気をつけたいこと
2015-03-29 第2回 “Learning Spark” 読書会 LT
soonraah
March 29, 2015
Tweet
Share
More Decks by soonraah
See All by soonraah
MLCT #5 Pipeline Jungles とたたかう話
soonraah
0
1.9k
Apache Spark による推薦システム案件例
soonraah
11
8k
Spark MLlib でやってみる協調フィルタリング
soonraah
8
7.6k
Other Decks in Technology
See All in Technology
stupid jj tricks
indirect
0
7.7k
あなたのWebサービスはAIに自動テストしてもらえる?アクセシビリティツリーで読み解く、AIの『視点』
yusukeiwaki
1
3.4k
FastAPIの魔法をgRPC/Connect RPCへ
monotaro
PRO
1
610
20250929_QaaS_vol20
mura_shin
0
110
インサイト情報からどこまで自動化できるか試してみた
takas0522
0
130
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
11
77k
SOC2取得の全体像
shonansurvivors
1
350
バイブコーディングと継続的デプロイメント
nwiizo
2
370
AI Agentと MCP Serverで実現する iOSアプリの 自動テスト作成の効率化
spiderplus_cb
0
310
AIを導⼊しても、 開発⽣産性は"爆増"していない なぜ?
kinosuke01
4
3.6k
C# 14 / .NET 10 の新機能 (RC 1 時点)
nenonaninu
1
1.3k
Sidekiq その前に:Webアプリケーションにおける非同期ジョブ設計原則
morihirok
17
6.6k
Featured
See All Featured
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
30
9.7k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
2.6k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
252
21k
The Cost Of JavaScript in 2023
addyosmani
53
9k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
600
Why Our Code Smells
bkeepers
PRO
339
57k
Fantastic passwords and where to find them - at NoRuKo
philnash
52
3.4k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
132
19k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
114
20k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
52
5.6k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
30
2.9k
Visualization
eitanlees
148
16k
Transcript
"NB[PO&.3Ͱͷόονॲཧ 4QBSLΞϓϦέʔγϣϯӡ༻Ͱ ؾΛ͚͍ͭͨ͜ͱ ୈճl-FBSOJOH4QBSLzಡॻձ-5 !TPPOSBBI
"(&/%" • "NB[PO&.3 • ΠϯελϯεੑೳWTίετ • +PCqPXΛ։࢝Ͱ͖ͳ͍߹ͷอݥ • XFC6*ͷݟํ •
·ͱΊ 2
"NB[PO&.3 &MBTUJD.BQ3FEVDF • )BEPPQϑϨʔϜϫʔΫΛΫϥυఏڙ • )%'4Λར༻Մೳ • 4QBSL1SFTUPΛ࣮ߦՄೳ •
ॳظඅ༻Λ͑ͯࢄॲཧΛࢼͤΔ • όονॲཧ͖ʁ 3
ΠϯελϯεੑೳWTίετ • ҎԼͷཁૉΛߟྀܾͯ͠ఆ • ඞཁͳϝϞϦྔʁ • ϩʔΧϧͰͷ࣮ݧ4QBSLXFC6*͔Βݟੵ • ཁٻ͞ΕΔॲཧ࣌ؒʁ •
ϩʔΧϧͰͷ࣮ݧͰݟੵ • ༧ࢉʹऩ·Δ͔ʁ • εϙοτΠϯελϯεͷ߹࣌Ձ • ೖࡳՁ֨ͷࢦఆ 4
ΠϯελϯεՁ֨มಈେ͖͍ʜ 5
+PCqPXΛ։࢝Ͱ͖ͳ͍߹ͷอݥ • +PCΛ։࢝Ͱ͖ͳ͍ • #PPUTUSBQ"DUJPOͰͷࣦഊ • ೖࡳՁ͕֨࣌ՁΑΓ͍ • ΘΓͱى͜Δ •
&.3KPCqPXϦΫΤετଆʹอݥͷॲཧΛ • +PCqPXΛࢹ • ࣦഊͨ͠ΒΠϯελϯελΠϓೖࡳՁ֨Λ ม͑ͯϦτϥΠ͢ΔΈ 6
8FC6* • ࣮ߦதͷϝτϦΫε͕ݟΕΔ • εςʔδ͝ͱͷλεΫ࣮ߦঢ়گ • ֤3%%ͷ༻ϝϞϦྔ • ϊʔυใ •
ϦιʔεௐνϡʔχϯάͷͨΊʹ 7
8FC6* 8
8FC6*ͷݟํʢʣ 9
8FC6*ͷݟํʢʣ 10
8FC6*ͷݟํʢʣ 11
8FC6*ͷݟํʢʣ 12
8FC6*ͷݟํʢʣ 13
·ͱΊ • ඞཁͳΠϯελϯεੑೳΛݟੵͬͯίετΛ ܭࢉ͠Α͏ • +PCqPXͷ։࢝ʹࣦഊͨ͠ͱ͖ͷอݥ͕͋Δͱ ӡ༻Λָʹ͠Α͏ • 8FC6*ΛݟΑ͏ 14