Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AWSをフル活用した大規模ログ収集基盤 / log collecting foundation...
Search
yu
December 16, 2018
Technology
0
950
AWSをフル活用した大規模ログ収集基盤 / log collecting foundation of big data by AWS
SoftBank × AWS Drink Meetup #1
yu
December 16, 2018
Tweet
Share
More Decks by yu
See All by yu
Spark Streamingで全世界の 混雑状況を20分ごとに集計 / All over the world with Spark Streaming Congested situation every 20 minutes
hamada
0
1.1k
AWSをフル活用した大規模ログ収集基盤.pdf
hamada
0
48
Other Decks in Technology
See All in Technology
20250910_障害注入から効率的復旧へ_カオスエンジニアリング_生成AIで考えるAWS障害対応.pdf
sh_fk2
3
280
LLM時代のパフォーマンスチューニング:MongoDB運用で試したコンテキスト活用の工夫
ishikawa_pro
0
170
会社紹介資料 / Sansan Company Profile
sansan33
PRO
6
380k
2つのフロントエンドと状態管理
mixi_engineers
PRO
3
150
Webアプリケーションにオブザーバビリティを実装するRust入門ガイド
nwiizo
7
890
AWSを利用する上で知っておきたい名前解決のはなし(10分版)
nagisa53
10
3.2k
「Linux」という言葉が指すもの
sat
PRO
4
140
Django's GeneratedField by example - DjangoCon US 2025
pauloxnet
0
160
dbt開発 with Claude Codeのためのガードレール設計
10xinc
2
1.3k
「全員プロダクトマネージャー」を実現する、Cursorによる仕様検討の自動運転
applism118
22
12k
スマートファクトリーの第一歩 〜AWSマネージドサービスで 実現する予知保全と生成AI活用まで
ganota
2
320
EncryptedSharedPreferences が deprecated になっちゃった!どうしよう! / Oh no! EncryptedSharedPreferences has been deprecated! What should I do?
yanzm
0
490
Featured
See All Featured
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.5k
Scaling GitHub
holman
463
140k
RailsConf 2023
tenderlove
30
1.2k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
The Art of Programming - Codeland 2020
erikaheidi
56
13k
How to Ace a Technical Interview
jacobian
279
23k
Building Flexible Design Systems
yeseniaperezcruz
329
39k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
36
2.5k
The Cult of Friendly URLs
andyhume
79
6.6k
Making Projects Easy
brettharned
117
6.4k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.9k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
930
Transcript
"84Λϑϧ׆༻ͨ͠ େنϩάऩूج൫ 4PGUCBOL$PSQ
ᖛాɹ༎ ιϑτόϯΫגࣜձࣾ ݉ "HPPQ ͖ͳ"84αʔϏε "UIFOB(MVF όοΫΤϯυશൠ
Ґஔใऩू ม ׆༻
Ґஔใऩू ม ׆༻
εϚϗΞϓϦͷاը։ൃ اը͔Β։ൃ·ͰશͯԽ ϩάΛूΊΔػೳΛΞϓϦʹՃ ϏοάσʔλͷऩूɾՁͷఏڙ
None
None
Ґஔใऩू ม ׆༻
None
Title Text Main Point -! - 10 ϐϯϙΠϯτਓྲྀσʔλͷՄࢹԽ
ڵຯ͕͋Δํฐࣾ)1·Ͱ IUUQTXXXBHPPQDPKQ
Ґஔใऩू ม ਓͷྲྀΕ
ϩάσʔλͷ֓ཁ εϚʔτϑΥϯΞϓϦ͔Βऩू த௨৴ঢ়گͳͲʹؔ͢Δϩά +40/ܗࣜ Ͱऩू͢ΔσʔλϘϦϡʔϜ ݅ԯ݅ σʔλαΠζ5# γεςϜ͕ऩू͢Δϩά
γεςϜΞʔΩςΫνϟ "VUP4DBMJOH &$ ,JOFTJT "VUP4DBMJOH &$ 4 4 3FETIJGU "UIFOB
1SFTUP PO&.3 4 4QBSL PO&.3 (MVF %FWFMPQFST %BUB"OBMZTUT σʔλϑϩʔ ࢀরͳͲ 3%4 )JWF.FUBTUPSF
γεςϜΞʔΩςΫνϟ "VUP4DBMJOH &$ ,JOFTJT "VUP4DBMJOH &$ 4 4 3FETIJGU "UIFOB
1SFTUP PO&.3 4 4QBSL PO&.3 (MVF +FOLJOT PO&$ -BNCEB %FWFMPQFST %BUB"OBMZTUT σʔλϑϩʔ ࢀরͳͲ 3%4 )JWF.FUBTUPSF ऩूɾੵ
ऩूɾੵ +BWB൛ͷ,JOFTJT1SPEVDFS-JCSBSZͱ,JOFTJT$POTVNFS-JCSBSZΛར༻ ,JOFTJTϓϩσϡʔαʔड৴ͨ͠+40/Λ΄΅ͦͷ··,JOFTJTʹೖ ,JOFTJTʹೖΕ͓͚ͯ࣌ؒ ࠷ؒ σʔλϩετͷ৺͕ແ͍ͨΊ ,JOFTJTίϯγϡʔϚʔҎԼͷॲཧΛ࣮ࢪ +40/Λύʔεͯ͠ޙଓͷੳͰ༻͢ΔใΛՃ &$ͰՔಇ͢ΔqVFOUEʹόοϑΝͯ͠ҰఆִؒͰ4ʹ([JQܗࣜͰग़ྗ <1PJOU>,JOFTJTಋೖͰ҆ఆੑ͕͔ͳΓ্ˠσʔλऩूܥʹ͔ͳΓΦεεϝ
"VUP4DBMF&$ ,JOFTJT "VUP4DBMF&$ 4
γεςϜΞʔΩςΫνϟ "VUP4DBMJOH &$ ,JOFTJT "VUP4DBMJOH &$ 4 4 3FETIJGU "UIFOB
1SFTUP PO&.3 4 4QBSL PO&.3 (MVF %FWFMPQFST %BUB"OBMZTUT σʔλϑϩʔ ࢀরͳͲ 3%4 )JWF.FUBTUPSF &5-
&5- 3FETIJGUɾ)JWFϩʔυ <1PJOU>)JWFϝλετΞ3%4ΑΓ(MVF%BUB$BUBMPH͕Φεεϝ 3%4͕410' ୯Ұো ʹͳΒͳ͍Α͏ʹؾΛݣ͏ඞཁ͕͋Δ 3%4ಉ࣌ଓͷ੍ݶ͕͋ΔͨΊ&.3Ϋϥελʔͷಉ࣌ىಈʹ੍ݶ͕ੜ͡Δ ಉ࣌ଓϝϞϦґଘͷύϥϝʔλʔ ಉ࣌ଓͷ্ݶΛ্͛ΔͨΊʹΠϯελϯελΠϓΛ্͛Δඞཁ͕͋Δ ϝλσʔλ͔͠ཧ͠ͳ͍ͷʹϦονͳεϖοΫମແ͍
(MVF%BUB$BUBMPHϑϧϚωʔδυ͔ͭಉ࣌ଓͷ੍ݶͳ͠ 4QBSL PO&.3 4 ([JQ 4 1BSRVFU 3FETIJGU 3%4 )JWF.FUBTUPSF ऩूɾੵ 4
&5- 3FETIJGUɾ)JWFϩʔυ 4QBSLPO&.3Ͱ࣌ؒͷϩάΛೖྗͱͯ͠ҎԼεςοϓΛ࣮ߦ 4%JTU$QͰ ݸ ,#ڃ ͷϑΝΠϧΛݸ .#d(#ڃ ͷϑΝΠϧʹू <1PJOU>4QBSL
)BEPPQ େྔͷখ͞ͳϑΝΠϧΛѻ͏ͷෆಘҙ 4QBSLͰ([JQQFE+40/Λग़ྗ)JWFςʔϒϧʹ*/4&3507&383*5& εςοϓऴྃޙɺ&.3Ϋϥελʔࣗಈআ ࣌ؒͷॲཧΛಠཱͨ͠ΫϥελʔͰ࣮ߦ͢ΔͷͰϦΧόϦʔͳͲ͕Γ͍͢ 4্ͷ([JQϑΝΠϧΛ3FETIJGUͷ$01:ίϚϯυͰϩʔυ 4QBSL PO&.3 4 ([JQ 4 1BSRVFU 3FETIJGU 3%4 )JWF.FUBTUPSF ऩूɾੵ 4
γεςϜΞʔΩςΫνϟ "VUP4DBMJOH &$ ,JOFTJT "VUP4DBMJOH &$ 4 4 3FETIJGU "UIFOB
1SFTUP PO&.3 4 4QBSL PO&.3 (MVF +FOLJOT PO&$ -BNCEB %FWFMPQFST %BUB"OBMZTUT σʔλϑϩʔ ࢀরͳͲ 3%4 )JWF.FUBTUPSF ੳ
ੳπʔϧ "UIFOB 1SFTUP PO&.3 (MVF %FWFMPQFST %BUB"OBMZTUT 3FETIJGU "UIFOB 1SFTUPPO&.3
ࠒΑΓར༻։࢝ ɹ 3FETIJGU ϩάऩू։࢝ॳΑΓར༻ ࠓޙͷϩά૿ՃΛݟࠐΈɺ &.3 "UIFOBҠߦத 4 "UIFOBͷར༻ྉۚߴಅ
"UIFOBͷར༻ྉۚߴಅͷݪҼ 3FEBTIͷΫΤϦεέδϡʔϧػೳ 3FEBTIʹอଘͨ͠ΫΤϦΛࢦఆͨ͠සͰ࣮ߦͰ͖Δ "UIFOBͷ͍উखͷྑ͞ ͋ΔఔɺແͳΫΤϦݱ࣮తͳ࣌ؒͰॲཧͰ͖Δ 5#ΛεΩϟϯ͢ΔΫΤϦ܈͕සൟʹ࣮ߦ τʔλϧεΩϟϯαΠζ͕1#ΛΦʔόʔ
"UIFOBར༻ͷڭ܇ ίετҙࣝ ͜ͷΫΤϦΛ࣮ߦ͢Δ͜ͱͰԿ(#εΩϟϯ͢Δͷ͔ɺͦͷ݁Ռྉ͍ۚ͘Βֻ ͔Δ͔Λҙࣝ͢Δ͜ͱඇৗʹॏཁ "84ཧऀ͚ σʔλΞφϦετʹྉۚΛೝࣝͤ͞ΔΈ͕ඞཁ %3:ݪଇ %PO`U3FQFBU:PVSTFMG ϔϏʔͳΫΤϦΛԿճ࣮ߦ͠ͳ͍ɾͤ͞ͳ͍
Α͋͘ΔΫΤϦճ͚࣮ͩߦͯ݁͠ՌΛอଘ͢Δ ͓࡞๏ͷపఈ εΩϟϯྔݮͷͨΊύʔςΟγϣϯΛඞͣࢦఆ͢Δ ඞཁ࠷ݶͷΧϥϜΛ4&-&$5͢Δ 4&-&$5 μϝ FUD "UIFOBഁ࢈͠ͳ͍ͨΊʹϢʔβʔ͕͖࣋ͭϚΠϯυηοτ
ࠓޙͷల SFJOWFOUͰൃද͞Εͨ৽αʔϏεΛੵۃతʹಋೖ༧ఆ 5JNFTUSFBN $POUPM5PXFS -BLF'PSNBUJPO 5SBOTJU(BUFXBZ
&0'