Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AWSのマネージドサービスを活用したログ可視化
Search
Shinji Fujimoto
February 11, 2017
Technology
1
3.3k
AWSのマネージドサービスを活用したログ可視化
2017/02/11 合同勉強会 in 福岡
Shinji Fujimoto
February 11, 2017
Tweet
Share
More Decks by Shinji Fujimoto
See All by Shinji Fujimoto
AWS のサービスを活用して CI/CD #akibaaws
shinjifujimoto
0
18k
Amazon Elasticsearch Service の使いドコロ in 福岡
shinjifujimoto
1
740
Amazon Elasticsearch Service の使いドコロ
shinjifujimoto
3
54k
Amazon Elasticsearch Serviceを利用したAWSのログ活用 /amazones-aws-integration
shinjifujimoto
3
2.7k
はじめてのIoT
shinjifujimoto
0
5.1k
Beats開発の始め方 #cmdevio
shinjifujimoto
2
2.3k
Other Decks in Technology
See All in Technology
AI開発ツールCreateがAnythingになったよ
tendasato
0
100
2025年になってもまだMySQLが好き
yoku0825
8
3.8k
異業種出身エンジニアが気づいた、転向して十数年経っても変わらない自分の武器とは
macnekoayu
0
280
落ちる 落ちるよ サーバーは落ちる
suehiromasatoshi
0
120
ChatGPTとPlantUML/Mermaidによるソフトウェア設計
gowhich501
1
110
Vault meets Kubernetes
mochizuki875
0
250
ガチな登山用デバイスからこんにちは
halka
1
210
データアナリストからアナリティクスエンジニアになった話
hiyokko_data
2
380
研究開発と製品開発、両利きのロボティクス
youtalk
1
390
LLM翻訳ツールの開発と海外のお客様対応等への社内導入事例
gree_tech
PRO
0
500
Obsidian応用活用術
onikun94
0
360
「魔法少女まどか☆マギカ Magia Exedra」での負荷試験の実践と学び
gree_tech
PRO
0
510
Featured
See All Featured
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
6k
A designer walks into a library…
pauljervisheath
207
24k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Building a Modern Day E-commerce SEO Strategy
aleyda
43
7.5k
Thoughts on Productivity
jonyablonski
69
4.8k
Documentation Writing (for coders)
carmenintech
73
5k
Code Reviewing Like a Champion
maltzj
525
40k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
Agile that works and the tools we love
rasmusluckow
330
21k
Making the Leap to Tech Lead
cromwellryan
134
9.5k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Transcript
AWS ͷ αʔϏεΛ׆༻ͨ͠ ϩάՄࢹԽ ߹ಉษڧձ in Ԭ 2017/02/11 ౻ຊ ਅ࢘
ࣗݾհ • ౻ຊ ਅ࢘ • Work AWS Solutions Architect @Classmethod,
Inc. • Interest Elastic Stack
ձࣾհ
ձࣾհ "84ϞόΠϧɺϏοάσʔλͳͲ ࣾһ૯ग़Ͱ͖ͳΑ͏ʹϒϩάॻ͍͍ͯ·͢
AWSࣄۀ෦հ
AWSࣄۀ෦հ ओʹ"84ʹؔ͢Δϒϩάॻ͍͍ͯ·͢
ຊ͍͑ͨ͜ͱ
ϩάͷՄࢹԽ͕ ؆୯ʹͳΓ·ͨ͠
ΞδΣϯμ • ϩάՄࢹԽͬͯʁ • AWSͷαʔϏεΛ׆༻ͨ͠ϩάՄࢹԽ • Demo
ϩάՄࢹԽͬͯʁ
Έͳ͞Μ ϩάΛ׆༻͍ͯ͠·͔͢ʁ
ϩάͬͯԿ͚ͩͬʁ • ޠݯ • ߤւͷધͷΛଌΔͨΊʹ ؙଠ(log)ʹҰఆִؒͷ͋ΔೄΛׅΓ͚ ͨͷ ʢग़యɿWikipediaʣ
ԿͰϩά͕ඞཁʁ • ࢹɺΞϥʔςΟϯά • োௐࠪ • ύϑΥʔϚϯεղੳ • σʔλੳ
ԿͰϩάͷՄࢹԽ͕ඞཁʁ • มԽͷؾ͖ͮΛಘΔ • োͷ༧ஹɺधཁͷ༧ଌ • આ໌ͷઆಘྗ • จࣈࣈΑΓҰྎવ
ϩάՄࢹԽͷ՝
ϩάՄࢹԽͷ՝ • δϣϒεέδϡʔϦϯά • ETL • ՄࢹԽπʔϧͷબఆ
ϩάՄࢹԽͷ՝ • δϣϒεέδϡʔϥ • ϦΞϧλΠϜͳͷ͔ɺόονͳͷ͔ • ޭɺࣦഊͷఆ • ϦτϥΠॲཧ
ϩάՄࢹԽͷ՝ • Extract • Ͳ͔͜ΒϩάΛऔಘ͢Δ͔ • Transform • ՄࢹԽ͍ͨ͠ใɺܗࣜͷม •
Load • ՄࢹԽπʔϧͷσʔλೖ
ϩάՄࢹԽͷ՝ • ՄࢹԽπʔϧͷબఆ • Kibana • Grafana • re:Dash •
Superset • Google Data Studio • etc.. etc..
AWS ʹ͓͚ΔϩάՄࢹԽ
Amazon Elasticsearch Service
Amazon Elasticsearch Service • Elasticsearch • ݕࡧʗੳΤϯδϯ • Kibana •
ՄࢹԽɺμογϡϘʔυԽ • ४ϦΞϧλΠϜʹՄࢹԽ
Amazon Elasticsearch Service • Elasticsearch + Kibana ͷϚωʔδυαʔϏε • ΫϦοΫͰڥߏங
• ӡ༻ AWS ʹ͓ͤ • ࣍εφοϓγϣοτͷऔಘ • ো࣌ͷ෮چରԠ
Amazon Elasticsearch Service Lambda S3 EC2 Elasticsearch Service
Amazon Elasticsearch Service • 2017/01/31 Ξοϓσʔτ • Elasticsearch / Kibana
5 ܥʹରԠ • εΫϦϓτͷར༻Մ • Ingest Node • Kibana ͷ DevTools Timelion Λར༻Մ
Amazon Athena & Amazon QuickSight
͜ͷαʔϏε͍ͬͯ·͔͢ʁ Amazon Athena Amazon QuickSight
Amazon Athena • AWS re:Invent 2016 ൃදˍϦϦʔε • S3 ͷඇߏԽσʔλʹ
SQL ͰߏԽσʔλ ΛऔΓग़͢
Amazon Athena • αʔόʔϨε • ӡ༻ෆཁɻ͍͍ͨ࣌ʹ͑Δ • ߴͳύϑΥʔϚϯε • 1000ສ݅ͷςΩετͷूܭ͕ඵ
• ίετ • εΩϟϯରαΠζ՝ۚɹ5$ / TB
Amazon QuickSight • AWS re:Invent 2015 ൃදɻ2016/11ϦϦʔε • AWS ۘ
BI πʔϧ
Amazon QuickSight • αʔόʔϨε • SPICE ʹΑΔߴͳՄࢹԽ • ଟ͘ͷ AWS
αʔϏεʹରԠ • ίετͳ BI πʔϧ
Amazon Athena & QuickSight
͍ॲ ʢ˞ϩάՄࢹԽͷ؍ʣ
Ϣʔεέʔε • Elasticsearch Service • χΞϦΞϧλΠϜͳଟ࣍ݩੳ • Athena & QuickSight
• ΞυϗοΫͳੳ
ར༻ίετ • Elasticsearch Service • ElasticsearchΫϥελͷىಈ࣌ؒ • ྫ͑ɺr3.large 50GBσΟεΫ x
3 ౦ژϦʔδϣϯͷ߹ɺ$659 / ݄
ར༻ίετ • Athena & QuickSight • Athena ΫΤϦͨ͠ϑΝΠϧαΠζ • QuickSight
ϢʔβʔˍՃσΟεΫ • ྫ͑ɺ5Ϣʔβʔ 10TB εΩϟϯ $95 / ݄
ͦͷଞίετ • Elasticsearch Service • Elasticsearch ϩάΛೖΕΔͨΊͷΈ ͕ඞཁ • Kibana
ॳݟͰ৮Δʹਏ͍ • Athena & QuickSight • Athena SQL ͕৮ΕΕ͑ͨ • QuickSight ॳݟͰ৮Εͨ
Demo
·ͱΊ • ϩάͬͯຯ͚ͩͲେࣄ • ϩάՄࢹԽͷબࢶ͕Ճ͞Εͨ • ༻్ʹ͋ͬͨՄࢹԽΛબ • ՄࢹԽָ͍ͬͯ͠