Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ログ集約基盤をCloudWatchからOpenSearchに変えてみた

098ad475722e3697ec2fba28c8654f9f?s=47 YouYou
August 02, 2022
Technology
0
130

 ログ集約基盤をCloudWatchからOpenSearchに変えてみた

詳細ブログ↓
https://cuebic.hatenablog.com/entry/2022/07/11/154446

098ad475722e3697ec2fba28c8654f9f?s=128

YouYou

August 02, 2022
Tweet

More Decks by YouYou

See All by YouYou
dev.toの記事もGitHubで管理してみた
098ad475722e3697ec2fba28c8654f9f?s=48 yuhta28
0
500
Repographyでいい感じにGitコミットを視覚化してみた
098ad475722e3697ec2fba28c8654f9f?s=48 yuhta28
1
360
IaCのCI_CDを実現するSpaceliftを触ってみた
098ad475722e3697ec2fba28c8654f9f?s=48 yuhta28
0
730
既存インフラをコード化する時に気を付けること
098ad475722e3697ec2fba28c8654f9f?s=48 yuhta28
1
2.4k
PythonではなくRcloneで アップロードしてみた
098ad475722e3697ec2fba28c8654f9f?s=48 yuhta28
0
1k
IAMロールでTerraformのCI/CDを構築してみた
098ad475722e3697ec2fba28c8654f9f?s=48 yuhta28
0
1.9k
Instance Schedulerを使ってEC2の稼働時間を管理してみた
098ad475722e3697ec2fba28c8654f9f?s=48 yuhta28
0
1.4k
EC2のキーペア置換に気を付けよう
098ad475722e3697ec2fba28c8654f9f?s=48 yuhta28
0
1.3k
いい感じにCLWをtailしてみる
098ad475722e3697ec2fba28c8654f9f?s=48 yuhta28
0
420

Other Decks in Technology

See All in Technology
eBPF-based Container Networking
98b5759510e487ade4145247bc856366?s=48 johnlin
2
1.1k
Istioを活用したセキュアなマイクロサービスの実現/Secure Microservices with Istio
00851927294532e0742c2c174730dff0?s=48 ido_kara_deru
3
350
Step-by-Step MLOps and Microsoft Products
0fa6038e477031fcca028bab0efe07e3?s=48 shisyu_gaku
1
460
CityGMLとFBXの連携で地理空間のエンタメ化
A3990cfe49309642cb8d1f50b617c141?s=48 soh_mitian
0
480
初めてのLambdaによる運用自動化 ~ 不要リソース削除大作戦 ~
8785139c395ce2345ce535822b522dde?s=48 kentosuzuki
1
340
年700万円損するサーバレスの 認可システムをご紹介します！！
Fb0a40e5e7a9dc85520f1646fd41eb44?s=48 higuuu
3
290
cobra は便利になっている
6ed12627fec46a135f1bce5d56f3568e?s=48 nwiizo
0
130
ソフトバンクのシナジーがもたらすクラウドソリューションについて、クラウドエンジニアが話してみた。
61c616e83bef28a1cd2666439ebf334b?s=48 sbtechnight
0
290
Microsoft Data Analytics trends : ”Lakehouse” , ”Data Mesh"
0d7a3b61c5c1f64a50136cf4bb5702b7?s=48 ryomaru0825
2
100
〇〇みたいな検索作ってと言われたときに考えること / thinking before developing search system like that one
E96c81ea6ec9fc4258a1fba04ae7ca5e?s=48 ryook
4
2.6k
データをコネコネ！メール配信用データ生成の仕組み
Cdb7fe48c050935995f8a6a58a5ceba9?s=48 kappezoro
0
110
eBPFで実現するコンテナランタイムセキュリティ / Container Runtime Security with eBPF
2f73f93f91c4401b0baf12029226a681?s=48 tobachi
PRO
5
1.4k

Featured

See All Featured
The Web Native Designer (August 2011)
0bce06bd06ee7a2c4f5500f25dcf7f18?s=48 paulrobertlloyd
75
2k
How to train your dragon (web standard)
053e75a5b48b44d6dd0612795dfb326d?s=48 notwaldorf
60
3.9k
XXLCSS - How to scale CSS and keep your sanity
1b8ad785acdd1ce1c99914b1c2a4e10e?s=48 sugarenia
236
1.1M
Raft: Consensus for Rubyists
B6a8f005f39d23ffc930508ac9da68b9?s=48 vanstee
127
5.5k
No one is an island. Learnings from fostering a developers community.
6bb82b13cda86d3b821fa44100335ddf?s=48 thoeni
9
1.3k
The Illustrated Children's Guide to Kubernetes
0438ae60cde4c7add6f9da48f28c15cc?s=48 chrisshort
18
40k
jQuery: Nuts, Bolts and Bling
9cde37f47e4a800ea081ea42de8d749a?s=48 dougneiner
56
6.4k
Building a Scalable Design System with Sketch
1177e050db6bafe62885362edf6e3537?s=48 lauravandoore
448
30k
Intergalactic Javascript Robots from Outer Space
6804f1775cb4babfcc3851298566fbce?s=48 tanoku
260
25k
Building Flexible Design Systems
91cefdf141106fa10674aae74ce05890?s=48 yeseniaperezcruz
310
34k
The MySQL Ecosystem @ GitHub 2015
Be9caeb9d4ef9944d151af909063ed6e?s=48 samlambert
239
11k
Learning to Love Humans: Emotional Interface Design
5f50f94346fbcb23706f0707169317a4?s=48 aarron
261
37k

Transcript

  1. ログ集約基盤をCloudWatchから OpenSearchに変えてみた 1

  2. Name：ユータ Occupation：SRE Twitter：@Y0u281 （オーでなくゼロです） ブログ：https://zenn.dev/yuta28 自己紹介 Twitter 2

  3. 目次 • 背景 • 実装 • 課題 • 改善 •

    よかったこと • まとめ 3

  4. 背景 4

  5. 背景 5 課題
 • ログ収集が遅い
 • 検索しにくい
 • グラフがほしい


  6. 実装 6 AWS側でCloudWatchのログを OpenSearchに転送してくれる

  7. 課題 7 すべてのレコードが文字列型で登 録される!!

  8. 改善 8

  9. 改善 9 すべてのレコードが文字列型で登 録される!!

  10. 改善 10 数値型に変換! Fluentdの設定はブログを 御覧ください

  11. よかったこと 11 専用のIAMユーザーを 発行する必要がなくなった

  12. よかったこと 12 ステータスコード割合

  13. よかったこと 13 解決 • ほぼリアルタイムで検索 • 全文検索で検索性向上 • ダッシュボード作成 •

    Google認証で簡単ログイン 課題
 • ログ収集が遅い
 • 検索しにくい
 • グラフがほしい


  14. まとめ 14

  15. より詳しい内容は弊社ブログに 15 CloudWatch LogsからOpenSearchへログ集 約を移行した - CUEBiC TEC BLOG (hatenablog.com)

  16. ありがとうございました 16