Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AWSのマネージドサービスを活用したログ可視化
Search
Shinji Fujimoto
February 11, 2017
Technology
1
3.2k
AWSのマネージドサービスを活用したログ可視化
2017/02/11 合同勉強会 in 福岡
Shinji Fujimoto
February 11, 2017
Tweet
Share
More Decks by Shinji Fujimoto
See All by Shinji Fujimoto
AWS のサービスを活用して CI/CD #akibaaws
shinjifujimoto
0
18k
Amazon Elasticsearch Service の使いドコロ in 福岡
shinjifujimoto
1
730
Amazon Elasticsearch Service の使いドコロ
shinjifujimoto
3
54k
Amazon Elasticsearch Serviceを利用したAWSのログ活用 /amazones-aws-integration
shinjifujimoto
3
2.6k
はじめてのIoT
shinjifujimoto
0
5.1k
Beats開発の始め方 #cmdevio
shinjifujimoto
2
2.3k
Other Decks in Technology
See All in Technology
Lakebaseを使ったAIエージェントを実装してみる
kameitomohiro
0
180
スタックチャン家庭用アシスタントへの道
kanekoh
0
110
[SRE NEXT] ARR150億円_エンジニア140名_27チーム_17プロダクトから始めるSLO.pdf
satos
5
2.1k
スタートアップに選択肢を 〜生成AIを活用したセカンダリー事業への挑戦〜
nstock
0
290
話題の MCP と巡る OCI RAG ソリューションの旅 - Select AI with RAG と Generative AI Agents ディープダイブ
oracle4engineer
PRO
5
110
「クラウドコスト絶対削減」を支える技術—FinOpsを超えた徹底的なクラウドコスト削減の実践論
delta_tech
4
190
ソフトウェアテストのAI活用_ver1.25
fumisuke
1
560
ClaudeCodeにキレない技術
gtnao
0
560
クラウド開発の舞台裏とSRE文化の醸成 / SRE NEXT 2025 Lunch Session
kazeburo
1
450
Lufthansa ®️ USA Contact Numbers: Complete 2025 Support Guide
lufthanahelpsupport
0
240
アクセスピークを制するオートスケール再設計: 障害を乗り越えKEDAで実現したリソース管理の最適化
myamashii
1
330
AWS CDK 入門ガイド これだけは知っておきたいヒント集
anank
5
610
Featured
See All Featured
Mobile First: as difficult as doing things right
swwweet
223
9.7k
Bash Introduction
62gerente
613
210k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Raft: Consensus for Rubyists
vanstee
140
7k
We Have a Design System, Now What?
morganepeng
53
7.7k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
A Tale of Four Properties
chriscoyier
160
23k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.7k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
181
54k
Done Done
chrislema
184
16k
Git: the NoSQL Database
bkeepers
PRO
430
65k
KATA
mclloyd
30
14k
Transcript
AWS ͷ αʔϏεΛ׆༻ͨ͠ ϩάՄࢹԽ ߹ಉษڧձ in Ԭ 2017/02/11 ౻ຊ ਅ࢘
ࣗݾհ • ౻ຊ ਅ࢘ • Work AWS Solutions Architect @Classmethod,
Inc. • Interest Elastic Stack
ձࣾհ
ձࣾհ "84ϞόΠϧɺϏοάσʔλͳͲ ࣾһ૯ग़Ͱ͖ͳΑ͏ʹϒϩάॻ͍͍ͯ·͢
AWSࣄۀ෦հ
AWSࣄۀ෦հ ओʹ"84ʹؔ͢Δϒϩάॻ͍͍ͯ·͢
ຊ͍͑ͨ͜ͱ
ϩάͷՄࢹԽ͕ ؆୯ʹͳΓ·ͨ͠
ΞδΣϯμ • ϩάՄࢹԽͬͯʁ • AWSͷαʔϏεΛ׆༻ͨ͠ϩάՄࢹԽ • Demo
ϩάՄࢹԽͬͯʁ
Έͳ͞Μ ϩάΛ׆༻͍ͯ͠·͔͢ʁ
ϩάͬͯԿ͚ͩͬʁ • ޠݯ • ߤւͷધͷΛଌΔͨΊʹ ؙଠ(log)ʹҰఆִؒͷ͋ΔೄΛׅΓ͚ ͨͷ ʢग़యɿWikipediaʣ
ԿͰϩά͕ඞཁʁ • ࢹɺΞϥʔςΟϯά • োௐࠪ • ύϑΥʔϚϯεղੳ • σʔλੳ
ԿͰϩάͷՄࢹԽ͕ඞཁʁ • มԽͷؾ͖ͮΛಘΔ • োͷ༧ஹɺधཁͷ༧ଌ • આ໌ͷઆಘྗ • จࣈࣈΑΓҰྎવ
ϩάՄࢹԽͷ՝
ϩάՄࢹԽͷ՝ • δϣϒεέδϡʔϦϯά • ETL • ՄࢹԽπʔϧͷબఆ
ϩάՄࢹԽͷ՝ • δϣϒεέδϡʔϥ • ϦΞϧλΠϜͳͷ͔ɺόονͳͷ͔ • ޭɺࣦഊͷఆ • ϦτϥΠॲཧ
ϩάՄࢹԽͷ՝ • Extract • Ͳ͔͜ΒϩάΛऔಘ͢Δ͔ • Transform • ՄࢹԽ͍ͨ͠ใɺܗࣜͷม •
Load • ՄࢹԽπʔϧͷσʔλೖ
ϩάՄࢹԽͷ՝ • ՄࢹԽπʔϧͷબఆ • Kibana • Grafana • re:Dash •
Superset • Google Data Studio • etc.. etc..
AWS ʹ͓͚ΔϩάՄࢹԽ
Amazon Elasticsearch Service
Amazon Elasticsearch Service • Elasticsearch • ݕࡧʗੳΤϯδϯ • Kibana •
ՄࢹԽɺμογϡϘʔυԽ • ४ϦΞϧλΠϜʹՄࢹԽ
Amazon Elasticsearch Service • Elasticsearch + Kibana ͷϚωʔδυαʔϏε • ΫϦοΫͰڥߏங
• ӡ༻ AWS ʹ͓ͤ • ࣍εφοϓγϣοτͷऔಘ • ো࣌ͷ෮چରԠ
Amazon Elasticsearch Service Lambda S3 EC2 Elasticsearch Service
Amazon Elasticsearch Service • 2017/01/31 Ξοϓσʔτ • Elasticsearch / Kibana
5 ܥʹରԠ • εΫϦϓτͷར༻Մ • Ingest Node • Kibana ͷ DevTools Timelion Λར༻Մ
Amazon Athena & Amazon QuickSight
͜ͷαʔϏε͍ͬͯ·͔͢ʁ Amazon Athena Amazon QuickSight
Amazon Athena • AWS re:Invent 2016 ൃදˍϦϦʔε • S3 ͷඇߏԽσʔλʹ
SQL ͰߏԽσʔλ ΛऔΓग़͢
Amazon Athena • αʔόʔϨε • ӡ༻ෆཁɻ͍͍ͨ࣌ʹ͑Δ • ߴͳύϑΥʔϚϯε • 1000ສ݅ͷςΩετͷूܭ͕ඵ
• ίετ • εΩϟϯରαΠζ՝ۚɹ5$ / TB
Amazon QuickSight • AWS re:Invent 2015 ൃදɻ2016/11ϦϦʔε • AWS ۘ
BI πʔϧ
Amazon QuickSight • αʔόʔϨε • SPICE ʹΑΔߴͳՄࢹԽ • ଟ͘ͷ AWS
αʔϏεʹରԠ • ίετͳ BI πʔϧ
Amazon Athena & QuickSight
͍ॲ ʢ˞ϩάՄࢹԽͷ؍ʣ
Ϣʔεέʔε • Elasticsearch Service • χΞϦΞϧλΠϜͳଟ࣍ݩੳ • Athena & QuickSight
• ΞυϗοΫͳੳ
ར༻ίετ • Elasticsearch Service • ElasticsearchΫϥελͷىಈ࣌ؒ • ྫ͑ɺr3.large 50GBσΟεΫ x
3 ౦ژϦʔδϣϯͷ߹ɺ$659 / ݄
ར༻ίετ • Athena & QuickSight • Athena ΫΤϦͨ͠ϑΝΠϧαΠζ • QuickSight
ϢʔβʔˍՃσΟεΫ • ྫ͑ɺ5Ϣʔβʔ 10TB εΩϟϯ $95 / ݄
ͦͷଞίετ • Elasticsearch Service • Elasticsearch ϩάΛೖΕΔͨΊͷΈ ͕ඞཁ • Kibana
ॳݟͰ৮Δʹਏ͍ • Athena & QuickSight • Athena SQL ͕৮ΕΕ͑ͨ • QuickSight ॳݟͰ৮Εͨ
Demo
·ͱΊ • ϩάͬͯຯ͚ͩͲେࣄ • ϩάՄࢹԽͷબࢶ͕Ճ͞Εͨ • ༻్ʹ͋ͬͨՄࢹԽΛબ • ՄࢹԽָ͍ͬͯ͠