Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AWSとGCPのいいとこどりでつくる分析基盤のきほん
Search
chie8842
October 09, 2017
Technology
5
1.7k
AWSとGCPのいいとこどりでつくる分析基盤のきほん
DevfestTokyo2017の登壇資料です。 #DevfestTokyo #DevfestTokyo2017 #GDG #DevFest17
chie8842
October 09, 2017
Tweet
Share
More Decks by chie8842
See All by chie8842
MongoDB Atlas:モダンなアプリ開発を支えるデータプラットフォームのご紹介
chie8842
0
12
MongoDB Vectorsearchではじめるカスタマイズ可能な生成AIアプリ開発
chie8842
0
11
MongoDB Atlas Search のご紹介
chie8842
2
1.7k
MongoDB Atlas Vectorsearchではじめる生成AIアプリ開発
chie8842
3
1.7k
AWS GlueとAWS Lake Formationではじめるデータマネジメント
chie8842
0
1.1k
Distributed Processing in Python
chie8842
2
730
クックパッドにおける推薦(と検索)の取り組み
chie8842
20
8.1k
Understanding distributed processing in Python
chie8842
2
2.1k
Performance Tuning Tips of TensorFlow Inference
chie8842
1
750
Other Decks in Technology
See All in Technology
United Airlines Customer Service– Call 1-833-341-3142 Now!
airhelp
0
180
公開初日に Gemini CLI を試した話や FFmpeg と組み合わせてみた話など / Gemini CLI 初学者勉強会(#AI道場)
you
PRO
0
1.1k
CDKコード品質UP!ナイスな自作コンストラクタを作るための便利インターフェース
harukasakihara
2
200
microCMSではじめるAIライティング
himaratsu
0
120
第64回コンピュータビジョン勉強会「The PanAf-FGBG Dataset: Understanding the Impact of Backgrounds in Wildlife Behaviour Recognition」
x_ttyszk
0
210
SREの次のキャリアの道しるべ 〜SREがマネジメントレイヤーに挑戦して、 気づいたこととTips〜
coconala_engineer
1
2.9k
アクセスピークを制するオートスケール再設計: 障害を乗り越えKEDAで実現したリソース管理の最適化
myamashii
1
370
How to Quickly Call American Airlines®️ U.S. Customer Care : Full Guide
flyaahelpguide
0
240
AWS CDK 開発を成功に導くトラブルシューティングガイド
wandora58
3
170
伴走から自律へ: 形式知へと導くSREイネーブリングによる プロダクトチームの信頼性オーナーシップ向上 / SRE NEXT 2025
visional_engineering_and_design
3
250
NewSQLや分散データベースを支えるRaftの仕組み - 仕組みを理解して知る得意不得意
hacomono
PRO
3
230
QuickSight SPICE の効果的な運用戦略~S3 + Athena 構成での実践ノウハウ~/quicksight-spice-s3-athena-best-practices
emiki
0
260
Featured
See All Featured
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Mobile First: as difficult as doing things right
swwweet
223
9.7k
Embracing the Ebb and Flow
colly
86
4.7k
We Have a Design System, Now What?
morganepeng
53
7.7k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.3k
Music & Morning Musume
bryan
46
6.7k
Raft: Consensus for Rubyists
vanstee
140
7k
Automating Front-end Workflow
addyosmani
1370
200k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
Building a Modern Day E-commerce SEO Strategy
aleyda
42
7.4k
How to Ace a Technical Interview
jacobian
278
23k
Transcript
"84ͱ($1ͷ͍͍ͱ͜ͲΓͰͭ͘Δ ੳج൫ͷ͖΄Μ !DIJF DIJFIBZBTIJEB 1
ࣗݾհ $IJF)BZBTIJEB 5XJUUFS!DIJF (JU)VCDIJF 3FUUZ*OD 4PGUXBSF&OHJOFFS
($1"84ػցֶश1ZUIPO4DBMB$MPKVSF%#WJN মϐΞϊςχεεϊϘ 2
Ϋϥυϑϧ׆༻Ͱ େنੳج൫ΛظؒͰ ߏஙͨ͠ࣄྫΛڞ༗͠·͢ɻ 3
ࠓ͢ൣғ ج൫ϨΠϠͷ ΞϓϦϨΠϠͷ ਐΊํ ͦͷͷͷ ͜͜ͷΛ͠·͢ɻ 4
ੳج൫ߏஙͷഎܠ • 3FUUZೖࣾॳ マネージャ わたし(⼊社初⽇、 肩書き:データ サイエンティスト) ͱΓ͋͑ͣɺੳج൫ͭͬͯ͘ɻ ϲ݄Ͱʂ ͑ɺੳج൫ʁ
5
ͦͦੳج൫ͱʁ • σʔλΛੵɾ׆༻͢ΔͨΊͷج൫ ੳج൫ ! ࢪࡦͷධՁ ΞυςΫ Ϩίϝϯυ 6
ͱͱ͋ͬͨੳج൫ͷ՝ᶃ ˙%8)ͷςʔϒϧઃܭͷ ྫ ΫΤϦ࣮ߦ࣌ʹաେͳαʔό Ϧιʔε͕ඞཁ ετϨʔδ༰ྔඡഭ ੳͮ͠Β͍ ʢΞυϗοΫੳͷʹ ෳࡶͳਖ਼نදݱநग़ʣ •
ෆཁͳϩά͕ϩάશମͷׂ • దͳσʔλܕ͕ΘΕ͍ͯͳ͍ • KTPOΦϒδΣΫτ͕ςΩετܗࣜͰೖ͍ͬͯΔ 7
ͱͱ͋ͬͨੳج൫ͷ՝ᶄ ˙Ϛελσʔλผͷ%#ʹ͋Δ • Ϛελσʔλͱಥ߹ͯ͠ੳ͍ͨ͠߹ ผͷڥʹσʔλΛҠ͢ඞཁ͕͋Δ • KPJO͍ͨ͠ΧϥϜಉ࢜Ͱσʔλܕ͕ҟͳΔ ੳऀ͝ͱʹڥߏங σʔλసૹίετ
8
ͱͱ͋ͬͨੳج൫ͷ՝ᶅ ˙ϩά૿େʹ͏ύϑΥʔϚϯεϘτϧωοΫ • ࣍όον͕ऴΘΒͳ͍ • ؾܰʹΞυϗοΫੳͰ͖ͳ͍ ˠΫΤϦΛ͛Δࡍ4MBDLʹใࠂ͢Δӡ༻ 9
ݱঢ়ཧ • ϩάαΠζɿʹे(#ʢH[KTPOঢ়ଶʣ ˠ͚ͬ͜͏Ͱ͔͍ɻ͜Ε͔Β૿͑Δ • ਖ਼نԽ͞Ε͍ͯͳ͍ϩά – ୯७ͳσʔλసૹਖ਼نදݱநग़Ͱ͢·ͳ͍ – 4FTTJPOJ[F&5-ͰΔ
• αʔϏεଆͷػೳՃʹ͏ཁ݅มߋ͕༧͞ΕΔ 10
৽͍͠ੳج൫ʹٻΊΒΕΔͷ • ੳऀʹͱ͍͍ͬͯ͢ – 42-ͦΕʹ४ͣΔΫΤϦݴޠ͕ར༻Ͱ͖Δ – Ϩεϙϯεεϧʔϓοτ • Ճ։ൃɾӡ༻͕͍͢͠ –
ྻมߋ͕ॊೈʹͰ͖Δ – ෳࡶͳ&5-ॲཧʹॊೈʹରԠͰ͖Δ • ίετʢΠχγϟϧϥϯχϯάʣ͕ݱ࣮తͰ͋Δ • εέʔϥϒϧͰ͋Δ – ੳରσʔλͷछྨαΠζ͕૿͑ͯରԠͰ͖Δ "84ͱ($1ͷ͍͍ͱ͜ͲΓͨ͠ੳج൫ 11
ͭͬͨ͘ੳج൫ 3FUUZαʔϏεج൫ 3FUUZੳج൫ʢ"84ʣ 3FUUZੳج൫ʢ($1ʣ Kinesis S3 EMR (Spark) S3 EC2
EC2 RDS(MySQL) 分析者 プランナ 12
ͭͬͨ͘ੳج൫ 3FUUZαʔϏεج൫ 3FUUZੳج൫ʢ"84ʣ 3FUUZੳج൫ʢ($1ʣ Kinesis S3 EMR (Spark) S3 EC2
EC2 RDS(MySQL) 分析者 プランナ σʔλϨΠΫ σʔλՃ πʔϧ %8)ɾ%. 13
σʔλϨΠΫɿ4 • ඇߏԽσʔλͷอଘ • αʔϏεͷಈ͍͍ͯΔڥʢ"84ʣʹ͍ۙॴʹσʔλ Λอ࣋͢Δ΄͏͕߹͕Α͍ – ωοτϫʔΫసૹίετ – ཧ͢͠͞
• ಉ͡όέοτͰϓϨϑΟοΫελάΛར༻ͨ͠ॊ ೈͳϥΠϑαΠΫϧͷӡ༻ • ,JOFTJT'JSFIPTFΛར༻͢Δ͜ͱͰ͔ΜͨΜʹ࣌͝ͱʹ σΟϨΫτϦΛ͚ͯอଘͰ͖Δ 14
%8)ɾ%.ɿ#JH2VFSZ • ੳऀʹͱ͍͍ͬͯ͢ – 4UBOEBSE42-͕ར༻Ͱ͖Δ – 6%'8JOEPXؔ͑Δ – εϓϨουγʔτQBOEBTEBUBGSBNFͱͷ࿈ܞ •
ޙͷςʔϒϧઃܭมߋ͕͍͢͠ – ςʔϒϧͷྻՃ͕Ͱ͖Δ • ҆ఆͨ͠ϨΠςϯγͱεϧʔϓοτ • ϝϯςφϯεϑϦʔ • ࣌ؒ՝ۚͰͳ͘ΫΤϦ՝ۚ • 3FE4IJGU"UIFOBΛ͏߹ͱൺͯɺ"84͔Β ($1ͷσʔλసૹ͕ൃੜ͢Δ͕ɺ ӡ༻ίετͷݮͰ૬ࡴͰ͖Δൣғͩͬͨ 15
%8)ൺֱ 3FE4IJGU "UIFOB #JH2VFSZ /8సૹίετ Ϧʔδϣϯ Ϧʔδϣϯؒసૹ ౦ژˠόʔδχ Ξ
Πϯλʔωοτ ӽ͠ͷసૹ ՝ۚํࣜ Քಇ࣌ؒ՝ۚ ΫΤϦ՝ۚ ΫΤϦ՝ۚ 6%' ˓ ✗ ˓ ΧϥϜมߋ ˓ ✗ ˚ ج൫ӡ༻ ඞཁ ඞཁ ΄ͱΜͲͳ͠ ΫΤϦ νϡʔχϯά ඞཁ ඞཁ ΄ͱΜͲͳ͠ ΫΤϦݴޠ TUBOEBSE42- QSFTUP TUBOEBSE42- ࣌ ੨จࣈࠓճͷཁ݅ʹద͍ͯ͠Δ͜ͱΛࣔ͢ 16
&.3 4QBSL σʔλՃ • αʔϏεଆͷϩάઃܭͷؔͰɺҎԼ͕ඞཁͩͬͨɻ – ෆཁͳϩάग़ྗ͕શମͷׂΛΊΔͨΊɺ#JH2VFSZసૹ͢ ΔલʹϑΟϧλॲཧ – 42-ͰදݱͰ͖ͳ͍ඇߏԽσʔλʹର͢Δෳࡶͳ&5-ॲཧ
• ϩά͕૿େͯ͠ΫϥελΛ૿͢͜ͱͰεέʔϧ Ͱ͖Δ • 42-Ͱࡁ·ͤΒΕΔͷ#JH2VFSZ্ͰՃ σʔλՃᶃʢ4QBSLʣ σʔλՃ ᶄʢ42-ʣ 17
ΘΕΔੳج൫ߏஙͷίπ • ૣ͘࡞ͬͯ͑͘ͳ͍ͷΛ࡞ͬͯҙຯ͕ͳ͍ • %8)ͷ߹ɺج൫෦ʮ࡞ͬͯյͯ͠ʯ͕؆୯ʹ ͢·ͳ͍ɻ • ج൫෦৻ॏʹܾΊͨ 5⽉ 6⽉
ཁ݅ώΞϦϯάɺɾٕज़બఆɺ1P$ &5-εΫϦϓτ࡞ɾ ڥߏங ͬͪ͜ʹ͔͚࣌ؒͨɻ ͪΌΜͱΘΕΔੳج൫͕Ͱ͖ͨʂ 18
͍͞͝ʹ • Ϋϥυϑϧ׆༻Ͱੳج൫ΛظؒͰ࡞ΕΔʂ – Ͱ̍ਓͰΔͷͭΒ͔ͬͨɻ৭ΜͳҙຯͰɻ • Ϋϥυଞͷٕज़ɺҰͭʹͩ͜ΘΒͣॊೈʹ׆༻͢Δ ͷେࣄʂ • ࠓճ৮Εͳ͔ٕͬͨज़બఆͷৄ͍͠෦ΞϓϦέʔγϣ
ϯϨΠϠʔͷͱ͔Λͷ95FDI+"84Ͱൃද͢Δ ༧ఆͳͷͰɺڵຯ͋Δํੋඇɻ 19
༻ޠ • σʔλϨΠΫ – ՃલͷੜϩάΛอଘ͢Δॴ • %8) – ੳ͍͢͠Α͏ʹՃ͞ΕͨσʔλΛ֨ೲ͢Δσʔλϕʔε •
%. – ੳ༻్ʹԠͯ͡ूܭޙͷσʔλͳͲΛ֨ೲ͢ΔͳͲɺαϯυ ϘοΫεతʹ͔ͭ͏ͨΊͷσʔλϕʔε • σʔλՃπʔϧ – ϩάΛੳ͍͢͠ܗʹܗ͢Δπʔϧ • ϫʔΫϑϩʔΤϯδϯ – Ұ࿈ͷσʔλॲཧͷϑϩʔΛཧ͢Δπʔϧ 20