Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
ログ集約基盤をCloudWatchからOpenSearchに変えてみた
YouYou
August 02, 2022
Technology
0
130
ログ集約基盤をCloudWatchからOpenSearchに変えてみた
詳細ブログ↓
https://cuebic.hatenablog.com/entry/2022/07/11/154446
YouYou
August 02, 2022
Tweet
Share
More Decks by YouYou
See All by YouYou
dev.toの記事もGitHubで管理してみた
yuhta28
0
500
Repographyでいい感じにGitコミットを視覚化してみた
yuhta28
1
360
IaCのCI_CDを実現するSpaceliftを触ってみた
yuhta28
0
730
既存インフラをコード化する時に気を付けること
yuhta28
1
2.4k
PythonではなくRcloneで アップロードしてみた
yuhta28
0
1k
IAMロールでTerraformのCI/CDを構築してみた
yuhta28
0
1.9k
Instance Schedulerを使ってEC2の稼働時間を管理してみた
yuhta28
0
1.4k
EC2のキーペア置換に気を付けよう
yuhta28
0
1.3k
いい感じにCLWをtailしてみる
yuhta28
0
420
Other Decks in Technology
See All in Technology
eBPF-based Container Networking
johnlin
2
1.1k
Istioを活用したセキュアなマイクロサービスの実現/Secure Microservices with Istio
ido_kara_deru
3
350
Step-by-Step MLOps and Microsoft Products
shisyu_gaku
1
460
CityGMLとFBXの連携で地理空間のエンタメ化
soh_mitian
0
480
初めてのLambdaによる運用自動化 ~ 不要リソース削除大作戦 ~
kentosuzuki
1
340
年700万円損するサーバレスの 認可システムをご紹介します!!
higuuu
3
290
cobra は便利になっている
nwiizo
0
130
ソフトバンクのシナジーがもたらすクラウドソリューションについて、クラウドエンジニアが話してみた。
sbtechnight
0
290
Microsoft Data Analytics trends : ”Lakehouse” , ”Data Mesh"
ryomaru0825
2
100
〇〇みたいな検索作ってと言われたときに考えること / thinking before developing search system like that one
ryook
4
2.6k
データをコネコネ!メール配信用データ生成の仕組み
kappezoro
0
110
eBPFで実現するコンテナランタイムセキュリティ / Container Runtime Security with eBPF
tobachi
PRO
5
1.4k
Featured
See All Featured
The Web Native Designer (August 2011)
paulrobertlloyd
75
2k
How to train your dragon (web standard)
notwaldorf
60
3.9k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
236
1.1M
Raft: Consensus for Rubyists
vanstee
127
5.5k
No one is an island. Learnings from fostering a developers community.
thoeni
9
1.3k
The Illustrated Children's Guide to Kubernetes
chrisshort
18
40k
jQuery: Nuts, Bolts and Bling
dougneiner
56
6.4k
Building a Scalable Design System with Sketch
lauravandoore
448
30k
Intergalactic Javascript Robots from Outer Space
tanoku
260
25k
Building Flexible Design Systems
yeseniaperezcruz
310
34k
The MySQL Ecosystem @ GitHub 2015
samlambert
239
11k
Learning to Love Humans: Emotional Interface Design
aarron
261
37k
Transcript
ログ集約基盤をCloudWatchから OpenSearchに変えてみた 1
Name:ユータ Occupation:SRE Twitter:@Y0u281 (オーでなくゼロです) ブログ:https://zenn.dev/yuta28 自己紹介 Twitter 2
目次 • 背景 • 実装 • 課題 • 改善 •
よかったこと • まとめ 3
背景 4
背景 5 課題 • ログ収集が遅い • 検索しにくい • グラフがほしい
実装 6 AWS側でCloudWatchのログを OpenSearchに転送してくれる
課題 7 すべてのレコードが文字列型で登 録される!!
改善 8
改善 9 すべてのレコードが文字列型で登 録される!!
改善 10 数値型に変換! Fluentdの設定はブログを 御覧ください
よかったこと 11 専用のIAMユーザーを 発行する必要がなくなった
よかったこと 12 ステータスコード割合
よかったこと 13 解決 • ほぼリアルタイムで検索 • 全文検索で検索性向上 • ダッシュボード作成 •
Google認証で簡単ログイン 課題 • ログ収集が遅い • 検索しにくい • グラフがほしい
まとめ 14
より詳しい内容は弊社ブログに 15 CloudWatch LogsからOpenSearchへログ集 約を移行した - CUEBiC TEC BLOG (hatenablog.com)
ありがとうございました 16