Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Agoop における AWS をフル活用したビッグデータ収集・分析の仕組み / Agoop b...
Search
Hiroyuki Nakazato / 中里 浩之
April 05, 2018
Technology
0
290
Agoop における AWS をフル活用したビッグデータ収集・分析の仕組み / Agoop big data collection and analysis system fully leveraging AWS
Hiroyuki Nakazato / 中里 浩之
April 05, 2018
Tweet
Share
More Decks by Hiroyuki Nakazato / 中里 浩之
See All by Hiroyuki Nakazato / 中里 浩之
Data Engineering Study 21 - Microsoft Fabric
nakazax
0
670
Azure Databricks Learning Series #3 - Network Design
nakazax
0
750
Azure Databricks Learning Series #2 - Databricks SQL
nakazax
0
510
Microsoft Build 2022 Recap Party!! Azure のデータ & 分析サービス 注目アップデート / microsoft-build-2022-recap-azure-data-and-analytics
nakazax
0
660
Microsoft Build 2022 - Azure のデータ & 分析サービス 最新アップデート / Microsoft Build 2022 Updates on Azure Data and Analytics Services
nakazax
1
860
Architecture patterns of Azure Cosmos DB & Azure Synapse Analytics
nakazax
1
410
CY2021 Updates for ADF & Synapse & Cosmos
nakazax
0
83
Ignite 2020 Update Azure Synapse Analytics
nakazax
0
1.1k
Ignite 2020 Update - Azure DB for MySQL and Postgres - Azure Arc - and more
nakazax
2
390
Other Decks in Technology
See All in Technology
.NET 9 のパフォーマンス改善
nenonaninu
0
930
バクラクのドキュメント解析技術と実データにおける課題 / layerx-ccc-winter-2024
shimacos
2
1.1k
20241220_S3 tablesの使い方を検証してみた
handy
4
510
20241214_WACATE2024冬_テスト設計技法をチョット俯瞰してみよう
kzsuzuki
3
470
DevFest 2024 Incheon / Songdo - Compose UI 조합 심화
wisemuji
0
100
マルチプロダクト開発の現場でAWS Security Hubを1年以上運用して得た教訓
muziyoshiz
3
2.3k
生成AIをより賢く エンジニアのための RAG入門 - Oracle AI Jam Session #20
kutsushitaneko
4
230
ガバメントクラウドのセキュリティ対策事例について
fujisawaryohei
0
540
NW-JAWS #14 re:Invent 2024(予選落ち含)で 発表された推しアップデートについて
nagisa53
0
270
5分でわかるDuckDB
chanyou0311
10
3.2k
生成AIのガバナンスの全体像と現実解
fnifni
1
190
WACATE2024冬セッション資料(ユーザビリティ)
scarletplover
0
200
Featured
See All Featured
A Tale of Four Properties
chriscoyier
157
23k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
226
22k
Imperfection Machines: The Place of Print at Facebook
scottboms
266
13k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
0
98
Building Better People: How to give real-time feedback that sticks.
wjessup
365
19k
Designing Experiences People Love
moore
138
23k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
169
50k
Producing Creativity
orderedlist
PRO
341
39k
Done Done
chrislema
181
16k
GraphQLとの向き合い方2022年版
quramy
44
13k
Product Roadmaps are Hard
iamctodd
PRO
49
11k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
330
21k
Transcript
"84Λϑϧ׆༻ͨ͠ Ϗοάσʔλऩूɾੳ "HPPQ$PSQ
Ґஔใऩू ղੳ ਓͷྲྀΕ
5FDI1BSU
4FMGJOUSPEVDUJPO தཬߒ೭ /BLB[BUP)JSPZVLJ ϩάऩूγεςϜͷҡ࣋ɾվળ ΞϓϦͷόοΫΤϯυ։ൃ ΤϯδχΞνʔϜͷ։ൃɾੳͷͨΊͷ ֤छΈͷඋ גࣜձࣾ"HPPQ ٕज़ຊ෦"*։ൃ෦ όοΫΤϯυνʔϜϦʔμʔ
ϩάऩूɾੳγεςϜͷΞʔΩςΫνϟ "84ΞφϦςΟΫεαʔϏεͷϢʔεέʔε "HFOEB
ϩάऩूɾੳγεςϜ ΞʔΩςΫνϟ
͔Βӡ༻։࢝ ͯࣗ͢લͰ։ൃ ݱࡏ໊ͷόοΫΤϯυνʔϜͰ։ൃ ͯ͢"84্ͰՔಇ ॳ&$ɺ4ɺ3%4ͳͲϕʔγοΫͳαʔϏεͰߏங ৽ن"84αʔϏεΛܧଓతɾੵۃతʹಋೖ ϩάྔ૿͑ଓ͚Δ ίετޮͱ҆ఆੑΛ্ͤ͞ΔͨΊ γεςϜͷجຊใ
ϩάσʔλͷ֓ཁ εϚʔτϑΥϯΞϓϦ͔Βऩू த௨৴ঢ়گͳͲʹؔ͢Δϩά +40/ܗࣜ Ͱऩू͢ΔσʔλϘϦϡʔϜ ݅ԯ݅ σʔλαΠζ5# γεςϜ͕ऩू͢Δϩά
γεςϜΞʔΩςΫνϟ "VUP4DBMJOH &$ ,JOFTJT "VUP4DBMJOH &$ 4 4 3FETIJGU "UIFOB
1SFTUP PO&.3 4 4QBSL PO&.3 (MVF +FOLJOT PO&$ -BNCEB %FWFMPQFST %BUB"OBMZTUT σʔλϑϩʔ ࢀরͳͲ 3%4 )JWF.FUBTUPSF
γεςϜΞʔΩςΫνϟ "VUP4DBMJOH &$ ,JOFTJT "VUP4DBMJOH &$ 4 4 3FETIJGU "UIFOB
1SFTUP PO&.3 4 4QBSL PO&.3 (MVF +FOLJOT PO&$ -BNCEB %FWFMPQFST %BUB"OBMZTUT σʔλϑϩʔ ࢀরͳͲ 3%4 )JWF.FUBTUPSF ऩूɾੵ
γεςϜΞʔΩςΫνϟ "VUP4DBMJOH &$ ,JOFTJT "VUP4DBMJOH &$ 4 4 3FETIJGU "UIFOB
1SFTUP PO&.3 4 4QBSL PO&.3 (MVF +FOLJOT PO&$ -BNCEB %FWFMPQFST %BUB"OBMZTUT σʔλϑϩʔ ࢀরͳͲ 3%4 )JWF.FUBTUPSF &5-
γεςϜΞʔΩςΫνϟ "VUP4DBMJOH &$ ,JOFTJT "VUP4DBMJOH &$ 4 4 3FETIJGU "UIFOB
1SFTUP PO&.3 4 4QBSL PO&.3 (MVF +FOLJOT PO&$ -BNCEB %FWFMPQFST %BUB"OBMZTUT σʔλϑϩʔ ࢀরͳͲ 3%4 )JWF.FUBTUPSF ੳ
ऩूɾੵ +BWB൛ͷ,JOFTJT1SPEVDFS-JCSBSZͱ,JOFTJT$POTVNFS-JCSBSZΛར༻ ,JOFTJTϓϩσϡʔαʔड৴ͨ͠+40/Λ΄΅ͦͷ··,JOFTJTʹೖ ,JOFTJTʹೖΕ͓͚ͯ࣌ؒ ࠷ؒ σʔλϩετͷ৺͕ແ͍ͨΊ ,JOFTJTίϯγϡʔϚʔҎԼͷॲཧΛ࣮ࢪ +40/Λύʔεͯ͠ޙଓͷੳͰ༻͢ΔใΛՃ &$ͰՔಇ͢ΔqVFOUEʹόοϑΝͯ͠ҰఆִؒͰ4ʹ([JQܗࣜͰग़ྗ <1PJOU>,JOFTJTಋೖͰ҆ఆੑ͕͔ͳΓ্ˠσʔλऩूܥʹ͓͢͢Ί
"VUP4DBMF&$ ,JOFTJT "VUP4DBMF&$ 4
&5- &.3Ϋϥελʔىಈ 4QBSLPO&.3 +FOLJOTPO&$ -BNCEB ࣌ؒʹճ -BNCEBؔΛίʔϧ &.3ΫϥελʔΛىಈ
&5- &.3Ϋϥελʔىಈ <2">ͳͥ$MPVE8BUDI&WFOUTͰͳ͘+FOLJOTʁ +FOLJOTΛδϣϒεέδϡʔϥʔΘΓʹ͏จԽ ӡ༻νʔϜ͕+FOLJOTͷऔΓѻ͍ʹ׳Ε͓ͯΓϦΧόϦʔͷ͢͠͞Λ༏ઌ <༨ஊ>ෳνʔϜɾෳ༻్Ͱ+FOLJOTΛ͏ͱΧΦεԽ͍͢͠ ᷖᮣʹ04ύοέʔδϓϥάΠϯΛΞοϓσʔτ͢ΔͱΒͳ͍δϣϒ͕ࣦഊ ͍ͭԿ͔ͷδϣϒ͕ಈ͍͍ͯͯϓϥάΠϯͷΠϯετʔϧ͕Ͱ͖ͳ͍FUDʜ +FOLJOT͔Βͷ٫Λࡧதˠ$MPVE8BUDI&WFOUT "84#BUDIΛݕ౼
4QBSLPO&.3 +FOLJOTPO&$ -BNCEB ࣌ؒʹճ -BNCEBؔΛίʔϧ &.3ΫϥελʔΛىಈ
&5- &.3Ϋϥελʔىಈ <2">ͳͥ-BNCEBؔʁ ༷ʑͳνʔϜͰ&.3ΫϥελʔΛؾܰʹར༻ͯ͠Β͏ͨΊ &5-ॲཧҎ֎ʹ༷ʑͳνʔϜɾ༻్Ͱ&.3Λར༻͍ͯ͠Δ &.3Ϋϥελʔͷىಈύϥϝʔλʔ͕ଟ͘Ұ͔Βىಈ͢Δͷେม Ϋϥελʔىಈͷڞ௨తͳॲཧΛ1ZUIPO CPUP Ͱ࣮ ֤νʔϜ͔ΒͷཁΛݩʹΫϥελʔͷεϖοΫΛઃఆϑΝΠϧʹهड़͠1ZUIPO
ϞδϡʔϧʹؚΊͯ-BNCEBؔͱͯ͠Ξοϓϩʔυ ֤νʔϜઃఆϑΝΠϧΛࢦఆ͠-BNCEBؔΛݺͼग़͢͜ͱͰΫϥελʔىಈ 4QBSLPO&.3 +FOLJOTPO&$ -BNCEB ࣌ؒʹճ -BNCEBؔΛίʔϧ &.3ΫϥελʔΛىಈ
&5- 3FETIJGUɾ)JWFϩʔυ ݱࡏ.Z42-3%4Λ)JWFϝλετΞ ςʔϒϧఆٛͷཧઌ ͱͯ͠ར༻ (MVFσʔλΧλϩάͷҠߦɾସΛ࣮ࢪத 3%4͔Β(MVFͷҠߦ(JU)VCͷBXTMBCTͷπʔϧΛར༻ IUUQTHJUIVCDPNBXTMBCTBXTHMVFTBNQMFTUSFFNBTUFS VUJMJUJFT)JWF@NFUBTUPSF@NJHSBUJPO ॳͷέʔε͕͍͔ͭ͋͘Γগ͠ϋϚ͕ͬͨ"84αϙʔτͷ͓ӄͰղܾʂ
4QBSL PO&.3 4 ([JQ 4 1BSRVFU 3FETIJGU 3%4 )JWF.FUBTUPSF ऩूɾੵ 4
&5- 3FETIJGUɾ)JWFϩʔυ <1PJOU>)JWFϝλετΞ3%4ΑΓ(MVF%BUB$BUBMPH͕͓͢͢Ί 3%4͕410' ୯Ұো ʹͳΒͳ͍Α͏ʹؾΛݣ͏ඞཁ͕͋Δ 3%4ಉ࣌ଓͷ੍ݶ͕͋ΔͨΊ&.3Ϋϥελʔͷಉ࣌ىಈʹ੍ݶ͕ੜ͡Δ ࠷େಉ࣌ଓϝϞϦґଘͷઃఆ ࠷େಉ࣌ଓΛ্͛ΔʹΑΓϝϞϦ͕ଟ͍ΠϯελϯελΠϓͷมߋ͕ඞཁ ϝλσʔλ͔͠ཧ͠ͳ͍ͷʹϦονͳεϖοΫମແ͍
(MVF%BUB$BUBMPHϑϧϚωʔδυ͔ͭಉ࣌ଓͷ੍ݶͳ͠ 4QBSL PO&.3 4 ([JQ 4 1BSRVFU 3FETIJGU 3%4 )JWF.FUBTUPSF ऩूɾੵ 4
&5- 3FETIJGUɾ)JWFϩʔυ 4QBSLPO&.3Ͱ࣌ؒͷϩάΛೖྗͱͯ͠ҎԼεςοϓΛ࣮ߦ 4%JTU$QͰ ݸ ,#ڃ ͷϑΝΠϧΛݸ .#d(#ڃ ͷϑΝΠϧʹू <1PJOU>4QBSL
)BEPPQ େྔͷখ͞ͳϑΝΠϧΛѻ͏ͷෆಘҙ 4QBSLͰ([JQQFE+40/Λग़ྗ)JWFςʔϒϧʹ*/4&3507&383*5& εςοϓऴྃޙɺ&.3Ϋϥελʔࣗಈআ ࣌ؒͷॲཧΛಠཱͨ͠ΫϥελʔͰ࣮ߦ͢ΔͷͰϦΧόϦʔͳͲ͕Γ͍͢ 4্ͷ([JQϑΝΠϧΛ3FETIJGUͷ$01:ίϚϯυͰϩʔυ 4QBSL PO&.3 4 ([JQ 4 1BSRVFU 3FETIJGU 3%4 )JWF.FUBTUPSF ऩूɾੵ 4
σʔλऩूܥʹ,JOFTJT4USFBN͕͓͢͢Ί )JWFϝλετΞ(MVF%BUB$BUBMPH͕͓͢͢Ί 3%4͔Β(MVFͷҠߦʹ(JU)VCͷBXTMBCTͷπʔϧ͕͑Δ IUUQTHJUIVCDPNBXTMBCTBXTHMVFTBNQMFTUSFFNBTUFSVUJMJUJFT )JWF@NFUBTUPSF@NJHSBUJPO 4QBSL )BEPPQ େྔͷখ͍͞ϑΝΠϧΛѻ͏ͷෆಘҙͳͨΊɺ 4%JTU$QͳͲΛ༻͍ͯ͋Δఔͷେ͖͞ʹ·ͱΊΔͷ͕͓͢͢Ί &.3ϕετϓϥΫςΟεͰ([JQѹॖͷ߹ɺʙ(#ϑΝΠϧΛਪ
IUUQTNFEJBBNB[POXFCTFSWJDFTDPNKQXQ "84@"NB[PO@&.3@#FTU@1SBDUJDFTQEG લͷ·ͱΊ
"84ΞφϦςΟΫεαʔϏε Ϣʔεέʔε
γεςϜΞʔΩςΫνϟ "VUP4DBMJOH &$ ,JOFTJT "VUP4DBMJOH &$ 4 4 3FETIJGU "UIFOB
1SFTUP PO&.3 4 4QBSL PO&.3 (MVF +FOLJOT PO&$ -BNCEB %FWFMPQFST %BUB"OBMZTUT σʔλϑϩʔ ࢀরͳͲ 3%4 )JWF.FUBTUPSF ੳ
γεςϜΞʔΩςΫνϟ "VUP4DBMJOH &$ ,JOFTJT "VUP4DBMJOH &$ 4 4 3FETIJGU "UIFOB
1SFTUP PO&.3 4 4QBSL PO&.3 (MVF +FOLJOT PO&$ -BNCEB %FWFMPQFST %BUB"OBMZTUT σʔλϑϩʔ ࢀরͳͲ 3%4 )JWF.FUBTUPSF 3FETIJGU +FOLJOT ఆظఆܕੳ
γεςϜΞʔΩςΫνϟ "VUP4DBMJOH &$ ,JOFTJT "VUP4DBMJOH &$ 4 4 3FETIJGU "UIFOB
1SFTUP PO&.3 4 4QBSL PO&.3 (MVF +FOLJOT PO&$ -BNCEB %FWFMPQFST %BUB"OBMZTUT σʔλϑϩʔ ࢀরͳͲ 3%4 )JWF.FUBTUPSF "UIFOB1SFTUPPO&.3 3FEBTI ΞυϗοΫੳ
3FETIJGU ఆظఆܕੳ͕த৺ +FOLJOTΛδϣϒεέδϡʔϥʔͱͯ͠ར༻ σʔλαΠζͱϫʔΫϩʔυʹ߹ͬͨεϖοΫͷ3*Λߪೖ 3*ͷظݶΕ͕͍ۙͨΊ)JWFPO&.3ͷҠߦΛਪਐத ΞφϦςΟΫεαʔϏεͷ͍͚
"UIFOB 1SFTUPPO&.3 ΞυϗοΫੳ͕த৺ 3FEBTI 044ͷμογϡϘʔυπʔϧ Λ(6*ͱͯ͠ར༻ ॳ಄͔Β3FEBTI "UIFOBಋೖ ݩʑ3FETIJGUͰΞυϗοΫੳߦͳ͍ͬͯͨ σʔλྔ૿Ճɺूܭύλʔϯ૿Ճ
ఆظఆܕੳͱΞυϗοΫੳͰͷϦιʔεͷୣ͍߹͍ ΞφϦςΟΫεαʔϏεͷ͍͚
ͳͥ"UIFOBͱ1SFTUPPO&.3ͷ྆ํΛར༻ʁ "UIFOBͷར༻ྉ͕ۚఆΑΓߴ͘ͳͬͯ͠·ͬͨ ྉۚ ݄ εΩϟϯαΠζ1# ݄ ࣍ળͷࡦͱͯ͠1SFTUPPO&.3Λಋೖ ΞφϦςΟΫεαʔϏεͷ͍͚
ΞυϗοΫੳͷද 3FETIJGU ར༻։࢝ ݄ w 3FEBTIར༻։࢝ w σʔλιʔεʹ
3FETIJGUͱ "UIFOBΛՃ ݄ 3FEBTIͷ σʔλιʔε͔Β 3FETIJGUΛআ ݄ ✖3FETIJGUෛՙ૿େ ✔ࣾʹ͘ීٴ ✖"UIFOBͷ ར༻ྉ͕ۚ ݄ 1# εΩϟϯ w 1SFTUPPO&.3 ར༻։࢝ w "UIFOBͷΫΤϦ Λ1SFTUPʹҠߦ ✖ੑೳ໘Ͱෆຬ ✔ར༻ྉ͕ۚ ݄Ͱ҆ఆ ݱࡏ ΞυϗοΫੳͷ සग़ͷूܭॲཧΛ )JWFPO&.3Ͱ όονॲཧԽ ݱࡏਐߦத ݄
ϋʔυΣΞϦιʔεΛҙࣝͤͣʹ5#ΦʔμʔͷεΩϟϯΛݱ࣮తͳ࣌ؒͰॲཧͰ͖Δ ͋ΔఔʮແʯͳΫΤϦ"UIFOBͳΒݱ࣮తͳ࣌ؒͰॲཧͰ͖ͯ͠·͏ "UIFOBͷ͍উखͷྑ͞ ԯ݅ͷϩάΛ࡞ผʹूܭ "UIFOBඵͰྃ εΩϟϯαΠζ(# 1SFTUPPO&.3Ͱྃ NYMBSHF .BTUFS $PSF
5BTL ඵ "UIFOB 1SFTUPPO&.3
"UIFOBͷ͍উखͷྑ͞ ϋʔυΣΞϦιʔεͷ੍ "UIFOB σϑΥϧτͷಉ࣮࣌ߦΫΤϦͷ্ݶ ಉ࣮࣌ߦͨ͠ΫΤϦؒͰϦιʔεͷୣ͍߹͍ൃੜ͠ͳ͍ 1SFTUPPO&.3 ΫϥελʔͷϝϞϦͳͲͷϦιʔεΛෳΫΤϦͰγΣΞ͢Δ ԼهͷϝϞϦઃఆΛ͑ΔΫΤϦ࣮ߦͰ͖ͳ͍ ઃఆ߲ આ໌
RVFSZNBYNFNPSZ ΫΤϦͰ༻͢ΔϝϞϦͷ࠷େ RVFSZNBYNFNPSZQFSOPEF ΫΤϦϊʔυͰ༻͢ΔϝϞϦͷ࠷େ
"UIFOBͷར༻ྉۚߴಅͷݪҼ 3FEBTIͷΫΤϦεέδϡʔϧػೳ 3FEBTIʹอଘͨ͠ΫΤϦΛࢦఆͨ͠සͰ࣮ߦͰ͖Δ "UIFOBͷ͍উखͷྑ͞ ͋ΔఔʮແʯͳΫΤϦݱ࣮తͳ࣌ؒͰॲཧͰ͖Δ 5#ΛεΩϟϯ͢ΔΫΤϦ܈͕සൟʹ࣮ߦ ߹ܭεΩϟϯαΠζ͕1#ΛΦʔόʔ
ݱࡏ1SFTUPPO&.3ΛϝΠϯͰར༻ نͰ"UIFOBʹશવఢΘͳ͍ʜ εΩϟϯαΠζΛখ͘͢͞ΔͨΊɺසग़ͷूܭॲཧΛ )JWFPO&.3ͰόονॲཧԽ͢ΔऔΛਪਐத ্هऔ͕ྃͨ͠Β"UIFOBͷํ͕҆͘ͳΔՄೳੑ͕ ͋ΔͨΊɺ"UIFOBΛϝΠϯʹ͢Δ͜ͱݕ౼ ΞυϗοΫੳͷݱࡏͱࠓޙ
ϏοάσʔλͷΞυϗοΫੳͷจ຺ʹ͓͍ͯ "UIFOB࠷ڧͷબࢶͷҰͭ ಛʹ੍ݶΛઃ͚ͣʹ"UIFOBΛಋೖ͢ΔͱఆΑΓར༻ྉ͕ۚߴ͘ ͳΔέʔε͕͋Δ 3FEBTIͱͷ߹ͤͰ"UIFOBීٴͷϋʔυϧάϯͱԼ͕Δ͕ɺ ΫΤϦεέδϡʔϧػೳͳͲҙ͕ඞཁ "84ར༻ྉۚΛීஈ͋·Γҙࣝ͠ͳ͍Ϣʔβʔ͕"UIFOBΛར༻ ͢Δ߹ɺίετҙࣝͳͲΛఆணͤ͞Δ׆ಈ͕ඞཁ ޙͷ·ͱΊɾڭ܇
ޙͷ·ͱΊɾڭ܇ ίετҙࣝ ΫΤϦ࣮ߦʹΑΓԿ(#εΩϟϯ͢Δͷ͔ɺͦͷ݁Ռྉ͍ۚ͘Βֻ͔Δ͔Λ Ϣʔβʔ͕ҙࣝ͢Δ͜ͱ͕ඇৗʹॏཁ "84ཧऀ͚ Ϣʔβʔ͕ར༻ྉۚΛ֬ೝͰ͖ΔΈΛ༻ҙ͢Δ %3:ݪଇ %PO`U3FQFBU:PVSTFMG εΩϟϯαΠζ͕େ͖͍ΫΤϦΛԿճ࣮ߦ͠ͳ͍ʗͤ͞ͳ͍
සग़ͷΫΤϦճ͚࣮ͩߦͯ݁͠ՌΛอଘ͢Δ ͓࡞๏ͷపఈ εΩϟϯαΠζݮͷͨΊύʔςΟγϣϯΛඞͣࢦఆ͢Δ ඞཁ࠷ݶͷΧϥϜΛ4&-&$5͢Δ ҆қʹ4&-&$5 ͠ͳ͍ FUD "UIFOBΛίετޮྑ͘׆༻͢ΔͨΊͷϚΠϯυηοτ
&0'