Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ログ集約基盤をCloudWatchからOpenSearchに変えてみた

YouYou
August 02, 2022
Technology
0
200

 ログ集約基盤をCloudWatchからOpenSearchに変えてみた

詳細ブログ↓
https://cuebic.hatenablog.com/entry/2022/07/11/154446

YouYou

August 02, 2022
Tweet

More Decks by YouYou

See All by YouYou
App Runnerのドキュメントに書いていない仕様について
yuhta28
0
84
オブザーバビリティを高めよう
yuhta28
2
310
Datadogの設定をTerraformで書いてGit管理した話
yuhta28
1
580
既存AWSリソースをTerraformで管理するのはつらいよ
yuhta28
1
280
dev.toの記事もGitHubで管理してみた
yuhta28
0
770
Repographyでいい感じにGitコミットを視覚化してみた
yuhta28
1
570
IaCのCI_CDを実現するSpaceliftを触ってみた
yuhta28
0
1k
既存インフラをコード化する時に気を付けること
yuhta28
1
3.3k
PythonではなくRcloneで アップロードしてみた
yuhta28
0
1.6k

Other Decks in Technology

See All in Technology
IoT から見る AWS re:invent 2022 ― AWSのIoTの歴史を添えて/Point of view the AWS re:invent 2022 with IoT - with a history of IoT in AWS
ma2shita
0
280
Logbii(ログビー) 会社紹介
logbii
0
160
Deep Neural Networkの共同学習
hf149
0
330
Cloudflare Workersで動くOG画像生成器
aiji42
1
500
Periodic Multi-Agent Path Planning
hziwara
0
120
OPENLOGI Company Profile
hr01
0
12k
AWS re:Invent 2022で発表された新機能を試してみた ～Cloud OperationとSecurity～ / New Cloud Operation and Security Features Announced at AWS reInvent 2022
yuj1osm
1
220
私見「UNIXの考え方」/20230124-kameda-unix-phylosophy
opelab
1
170
IoTを始めたきっかけの話と個人でできるIoTの今後 / 新年LT会「私の愛するIoT 2023」
you
0
240
JAWS-UG 横浜 #54 資料
takakuni
0
220
OCIコンテナサービス関連の技術詳細 /oke-ocir-details
oracle4engineer
PRO
0
780
データ分析基盤の要件分析の話（202201_JEDAI）
yabooun
0
290

Featured

See All Featured
A Tale of Four Properties
chriscoyier
149
21k
Principles of Awesome APIs and How to Build Them.
keavy
117
15k
Mobile First: as difficult as doing things right
swwweet
213
7.8k
Navigating Team Friction
lara
177
12k
For a Future-Friendly Web
brad_frost
166
7.8k
Code Reviewing Like a Champion
maltzj
508
38k
Writing Fast Ruby
sferik
613
58k
Side Projects
sachag
451
37k
How STYLIGHT went responsive
nonsquared
89
4.2k
Embracing the Ebb and Flow
colly
75
3.6k
Three Pipe Problems
jasonvnalue
89
8.9k
A designer walks into a library…
pauljervisheath
199
16k

Transcript

  1. ログ集約基盤をCloudWatchから OpenSearchに変えてみた 1

  2. Name：ユータ Occupation：SRE Twitter：@Y0u281 （オーでなくゼロです） ブログ：https://zenn.dev/yuta28 自己紹介 Twitter 2

  3. 目次 • 背景 • 実装 • 課題 • 改善 •

    よかったこと • まとめ 3

  4. 背景 4

  5. 背景 5 課題
 • ログ収集が遅い
 • 検索しにくい
 • グラフがほしい


  6. 実装 6 AWS側でCloudWatchのログを OpenSearchに転送してくれる

  7. 課題 7 すべてのレコードが文字列型で登 録される!!

  8. 改善 8

  9. 改善 9 すべてのレコードが文字列型で登 録される!!

  10. 改善 10 数値型に変換! Fluentdの設定はブログを 御覧ください

  11. よかったこと 11 専用のIAMユーザーを 発行する必要がなくなった

  12. よかったこと 12 ステータスコード割合

  13. よかったこと 13 解決 • ほぼリアルタイムで検索 • 全文検索で検索性向上 • ダッシュボード作成 •

    Google認証で簡単ログイン 課題
 • ログ収集が遅い
 • 検索しにくい
 • グラフがほしい


  14. まとめ 14

  15. より詳しい内容は弊社ブログに 15 CloudWatch LogsからOpenSearchへログ集 約を移行した - CUEBiC TEC BLOG (hatenablog.com)

  16. ありがとうございました 16