Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Akka streamsを活用したログ集計に優しいデータフローの構築
Search
Shuhei Kimura
December 05, 2018
Technology
2
5.5k
Akka streamsを活用したログ集計に優しいデータフローの構築
Shuhei Kimura
December 05, 2018
Tweet
Share
More Decks by Shuhei Kimura
See All by Shuhei Kimura
pmconf2017
kimurashuhei
0
3.6k
MDH-LT-Thursday-20170126
kimurashuhei
0
1.6k
AWS Summit Tokyo 2015
kimurashuhei
0
100
Other Decks in Technology
See All in Technology
室長の逆襲 :データ活用の陣地を増やすためのヒント
masatoshi0205
0
190
データ駆動経営の道しるべ:プロダクト開発指標の戦略的活用法
ham0215
2
230
FAST導入1年間のふりかえり〜現実を直視し、さらなる進化を求めて〜 / Review of the first year of FAST implementation
wooootack
1
120
Amazon CloudWatchのメトリクスインターバルについて / Metrics interval matters
ymotongpoo
3
210
Wasmで社内ツールを作って配布しよう
askua
0
130
株式会社島津製作所_研究開発(集団協業と知的生産)の現場を支える、OSS知識基盤システムの導入
akahane92
1
1.2k
Snowflake のアーキテクチャは本当に筋がよかったのか / Data Engineering Study #30
indigo13love
0
260
エンジニアリングマネージャー“お悩み相談”パネルセッション
ar_tama
1
670
2025/07/22_家族アルバム みてねのCRE における生成AI活用事例
masartz
2
110
Shadow DOMとセキュリティ - 光と影の境界を探る / Shibuya.XSS techtalk #13
masatokinugawa
0
270
MCPに潜むセキュリティリスクを考えてみる
milix_m
1
740
Step Functions First - サーバーレスアーキテクチャの新しいパラダイム
taikis
1
280
Featured
See All Featured
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
47
9.6k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
GitHub's CSS Performance
jonrohan
1031
460k
YesSQL, Process and Tooling at Scale
rocio
173
14k
Building Adaptive Systems
keathley
43
2.7k
We Have a Design System, Now What?
morganepeng
53
7.7k
Raft: Consensus for Rubyists
vanstee
140
7k
A Modern Web Designer's Workflow
chriscoyier
695
190k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.3k
Why You Should Never Use an ORM
jnunemaker
PRO
58
9.5k
Done Done
chrislema
184
16k
Transcript
BLLBTUSFBNΛ׆༻ͨ͠ϩάूܭʹ༏͍͠ σʔλϑϩʔͷߏஙʹ͍ͭͯ !#POpSF#BDLFOE
1SPpMF ໊લ ଜऺฏ4IVIFJ,JNVSB IUUQTXXXGBDFCPPLDPNTIVIFJLJNVSB ॴଐ גࣜձࣾαΠόʔΤʔδΣϯτ
ΞυςΫຊ෦"E5FDI4UVEJP%ZOBMZTU 1SPEVDU.BOBHFS4PGUXBSF&OHJOFFS ܦྺ ৽ଔೖࣾ 5SBDLJOH 1$"ET 4NBSU 1IPOF"ET %ZOBNJD 3FUBSHFUJOH "ET (MPCBM &YQBOTJPO
%ZOBMZTUͱ͍͏ࠂ৴αʔϏεͷنײ d,SFRTFD NTGPSFBDI &$*OTUBODFT 'PS#VZJOH*NQSFTTJPOT 5# MPHpMFTEBZ ѻ͏ͷ·͊·͊େมɻɻ ϚϧνϦʔδϣϯͰ
࣮ࡍ͜ͷഒͷྔ
5PEBZ`T5PQJDdϩάσʔλΛ៉ྷʹ4ʹӡͿd d,SFRTFD 5# QFSEBZ ‑‑‑‑‑
"LLB4USFBN͕ొͨ͠എܠ طଘͷ-JCSBSZ͕όά͍ͬͯͨ ,JOFTJT$POOFDUPS-JCSBSZͦͦ044ʹλμΓ͍ͯ͠Δ͜ͱ͕ ΑΖ͘͠ͳ͍͕ɺ ͍ͩͿϝϯς͞Ε͍ͯͳ͍ͷͰɺ CVHpY͢Δͷɻɻ ͍·ͩͱ͍Ζ͍ΖͳιϦϡʔγϣϯ͕͋Δʁ ,JOFTJT'JSFIPTFʁΩϨΠʹ4ʹΦϒδΣΫτΛஔ͢Δʹɺ ͕ඞཁʢ-BNCEB'VODUJPOڬΉͷͪΐͬͱɻʣ
-BNCEB'VODUJPOʁ,JOFTJT%BUB4USFBN͔Βͷ1PMMJOH*OUFSWBMΛ ࢦఆͰ͖ͳ͍ͷͰ4ͷΦϒδΣΫτ͕େʹ ʢ&5-Λ"84(MVFʹͤͯΑ͍͕ɻ8PSL'MPX&OHJOFొɻɻʣ ,$-XJUI"LLB4USFBN͕γϯϓϧͰΑ͍͔ʁ
"LLB4USFBNTͷߏཁૉ 4PVSDFϝοηʔδΛు͖ग़͢ίϯϙʔωϯτ ࢝ 'MPXϝοηʔδΛड͚औͬͯϝοηʔδΛૹΔίϯϙʔωϯτ 4JOLϝοηʔδΛड͚औΔίϯϙʔωϯτ ऴ ࢀߟURL: http://chariotsolutions.com/wp-content/uploads/blog/2016/08/akkastreamstopology.png
͜ΕΒͷίϯϙʔωϯτΛΈ߹Θͤͯ 3VOOBCMF(SBQIΛߏங
৴ϩάΛ4ʹӡͿͨΊͷ(SBQIߏங Kinesis Source Extract Record Flow Upload Log Flow Sink
˞ຊ424NFTTBHJOH'MPXɺ #SPBE$BTUͳͲར༻͍ͯ͠·ׂ͕͢Ѫ
ͲͷΜ͕ूܭʹ༏͍͠ͷ͔ʁ Kinesis Source Extract Record Flow Upload Log Flow Sink
‑‑‑‑‑ TCVDLFUYYYYYYYYZZZZH[ YYYYYY[[[[[H[ ʜ TCVDLFUYYYYZZH[ YY[[H[ ʜ 6QMPBEͨ࣌ؒ͠Ͱͳ͘ɺ ϩά͕ग़ྗ͞Εͨ࣌ؒϕʔεͰ 4ͷ࣌ؒ۠Γͷύʔςʔγϣϯ Ͱ֨ೲ 4QBSL$MVTUFS4ͷࢦఆ࣌ؒͷύεͷϩάΛ ରʹूܭॲཧΛΒͤΔ ूܭɺIPVSMZ EBJMZ ͕ओ
ͲͷΜ͕ूܭʹ༏͍͠ͷ͔ʁ Kinesis Source Extract Record Flow Upload Log Flow Sink
‑‑‑‑‑ TCVDLFUYYYYYYYYZZZZH[ YYYYYY[[[[[H[ ʜ TCVDLFUYYYYZZH[ YY[[H[ ʜ Before After BufferType Memory Local Disc S3 Object Size 5mbલޙ 15mbલޙ ूܭ࣌ؒ 30min 15min
͓·͚ɿ&$4ͷDPNQVUF3FTPVSDFʹ༏͍͠࡞Γʹ Kinesis Source Extract Record Flow Upload Log Flow Sink
‑‑‑‑‑ 'MPXͷத ,JOFTJT3FDPSE͔ΒɺඞཁͳใΛൈ͖ग़ͯ͠ɺΩϨΠʹ͢Δ ύʔςΟγϣϯ͝ͱʹ-PDBMͷετϨʔδʹϩάΛόοϑΝϦϯά ϝϞϦফඅ੍ʢ(#(#ʣ Ұఆ༰ྔҰఆ࣌ؒܦա͢Δͱ4ʹ1VU0CKFDU ‑‑‑‑‑
͓ฉ͖͍͖ͨͩ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ