Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon EMR でのバッチ処理 Spark アプリケーション運用で気をつけたいこと
Search
soonraah
March 29, 2015
Technology
1
630
Amazon EMR でのバッチ処理 Spark アプリケーション運用で 気をつけたいこと
2015-03-29 第2回 “Learning Spark” 読書会 LT
soonraah
March 29, 2015
Tweet
Share
More Decks by soonraah
See All by soonraah
MLCT #5 Pipeline Jungles とたたかう話
soonraah
0
1.9k
Apache Spark による推薦システム案件例
soonraah
11
8k
Spark MLlib でやってみる協調フィルタリング
soonraah
8
7.6k
Other Decks in Technology
See All in Technology
20250707-AI活用の個人差を埋めるチームづくり
shnjtk
6
4.1k
スタートアップに選択肢を 〜生成AIを活用したセカンダリー事業への挑戦〜
nstock
0
270
ソフトウェアテストのAI活用_ver1.25
fumisuke
1
510
Lakebaseを使ったAIエージェントを実装してみる
kameitomohiro
0
170
成長し続けるアプリのためのテストと設計の関係、そして意思決定の記録。
sansantech
PRO
0
130
[ JAWS-UG千葉支部 x 彩の国埼玉支部 ]ムダ遣い卒業!FinOpsで始めるAWSコスト最適化の第一歩
sh_fk2
2
150
衛星運用をソフトウェアエンジニアに依頼したときにできあがるもの
sankichi92
1
210
〜『世界中の家族のこころのインフラ』を目指して”次の10年”へ〜 SREが導いたグローバルサービスの信頼性向上戦略とその舞台裏 / Towards the Next Decade: Enhancing Global Service Reliability
kohbis
2
860
モニタリング統一への道のり - 分散モニタリングツール統合のためのオブザーバビリティプロジェクト
niftycorp
PRO
1
220
IPA&AWSダブル全冠が明かす、人生を変えた勉強法のすべて
iwamot
PRO
2
210
伴走から自律へ: 形式知へと導くSREイネーブリングによる プロダクトチームの信頼性オーナーシップ向上 / SRE NEXT 2025
visional_engineering_and_design
2
180
CDK Toolkit Libraryにおけるテストの考え方
smt7174
1
360
Featured
See All Featured
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.3k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
107
19k
Being A Developer After 40
akosma
90
590k
Agile that works and the tools we love
rasmusluckow
329
21k
The Straight Up "How To Draw Better" Workshop
denniskardys
235
140k
Automating Front-end Workflow
addyosmani
1370
200k
Embracing the Ebb and Flow
colly
86
4.7k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.7k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.3k
Optimizing for Happiness
mojombo
379
70k
Transcript
"NB[PO&.3Ͱͷόονॲཧ 4QBSLΞϓϦέʔγϣϯӡ༻Ͱ ؾΛ͚͍ͭͨ͜ͱ ୈճl-FBSOJOH4QBSLzಡॻձ-5 !TPPOSBBI
"(&/%" • "NB[PO&.3 • ΠϯελϯεੑೳWTίετ • +PCqPXΛ։࢝Ͱ͖ͳ͍߹ͷอݥ • XFC6*ͷݟํ •
·ͱΊ 2
"NB[PO&.3 &MBTUJD.BQ3FEVDF • )BEPPQϑϨʔϜϫʔΫΛΫϥυఏڙ • )%'4Λར༻Մೳ • 4QBSL1SFTUPΛ࣮ߦՄೳ •
ॳظඅ༻Λ͑ͯࢄॲཧΛࢼͤΔ • όονॲཧ͖ʁ 3
ΠϯελϯεੑೳWTίετ • ҎԼͷཁૉΛߟྀܾͯ͠ఆ • ඞཁͳϝϞϦྔʁ • ϩʔΧϧͰͷ࣮ݧ4QBSLXFC6*͔Βݟੵ • ཁٻ͞ΕΔॲཧ࣌ؒʁ •
ϩʔΧϧͰͷ࣮ݧͰݟੵ • ༧ࢉʹऩ·Δ͔ʁ • εϙοτΠϯελϯεͷ߹࣌Ձ • ೖࡳՁ֨ͷࢦఆ 4
ΠϯελϯεՁ֨มಈେ͖͍ʜ 5
+PCqPXΛ։࢝Ͱ͖ͳ͍߹ͷอݥ • +PCΛ։࢝Ͱ͖ͳ͍ • #PPUTUSBQ"DUJPOͰͷࣦഊ • ೖࡳՁ͕֨࣌ՁΑΓ͍ • ΘΓͱى͜Δ •
&.3KPCqPXϦΫΤετଆʹอݥͷॲཧΛ • +PCqPXΛࢹ • ࣦഊͨ͠ΒΠϯελϯελΠϓೖࡳՁ֨Λ ม͑ͯϦτϥΠ͢ΔΈ 6
8FC6* • ࣮ߦதͷϝτϦΫε͕ݟΕΔ • εςʔδ͝ͱͷλεΫ࣮ߦঢ়گ • ֤3%%ͷ༻ϝϞϦྔ • ϊʔυใ •
ϦιʔεௐνϡʔχϯάͷͨΊʹ 7
8FC6* 8
8FC6*ͷݟํʢʣ 9
8FC6*ͷݟํʢʣ 10
8FC6*ͷݟํʢʣ 11
8FC6*ͷݟํʢʣ 12
8FC6*ͷݟํʢʣ 13
·ͱΊ • ඞཁͳΠϯελϯεੑೳΛݟੵͬͯίετΛ ܭࢉ͠Α͏ • +PCqPXͷ։࢝ʹࣦഊͨ͠ͱ͖ͷอݥ͕͋Δͱ ӡ༻Λָʹ͠Α͏ • 8FC6*ΛݟΑ͏ 14